*: update all clients of the `CString::to_s` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: keep `to_s_full` as an indirection for retro compatibility

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: revamp `CString::to_s` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

c_src: update with CString

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

update all indirect references to native strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update to use `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: update doc of `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rename `NativeString` to `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitweb: rewritte stars

Upgrade the feedback stars form.

More stars and more details:


Demo here: http://nitweb.moz-code.org/

Pull-Request: #2341

Merge: nitweb: misc fixes

Should fix more points from #2177

* Sort list by alphabetical order
* Remove useless links on doc location
* Remove useless code tabs when the code linearization tab exists

Demo here: http://nitweb.moz-code.org/

Pull-Request: #2340

Merge: proposal: lib/config

We often need basic option handling in our app.

Here a minimalist proposal that covers the basics:
* options holder
* default values
* loading options from ini file

Extract from doc:

# Configuration options for nit tools and apps

This module provides basic services for options handling in your nit programs.

## Basic configuration holder

The `Config` class can be used as a simple option holder and processor:

~~~nit
import config

# Create a new config option
var opt_my = new OptionString("My option", "--my")

# Create the config and add the option
var config = new Config
config.add_option(opt_my)

# Parse the program arguments, usually `args`
config.parse_options(["--my", "myOption", "arg1", "arg2"])

# Access the options and args
assert opt_my.value == "myOption"
assert config.args == ["arg1", "arg2"]
~~~

## Custom configuration class

Instead of using basic `Config` instances, it is better to define new sublcasses
to store options and define custom services.

~~~nit
import config

class MyConfig
super Config

var opt_my = new OptionString("My option", "--my")

init do
super
tool_description = "Usage: MyExample [OPTION]... [ARGS]..."
add_option(opt_my)
end

fun my: String do return opt_my.value or else "Default value"
end

var config = new MyConfig
config.parse_options(["--my", "myOption", "arg1", "arg2"])

assert config.my == "myOption"
assert config.args == ["arg1", "arg2"]
~~~

We define the `my` method to provide an elegant shortcut to `opt_my.value`
and define the default value if the option was not set by the user.

The `tool_description` attribute is used to set the `usage` header printed when
the user request the `help` message.

~~~nit
config.parse_options(["-h"])
if config.help then
config.usage
exit 0
end
~~~

This will display the tool usage like this:

~~~raw
Usage: MyExample [OPTION]... [ARGS]...
 -h, --help   Show this help message
 --my         My option
~~~

## Configuration with `ini` file

The `IniConfig` class provides an easy way to link your configuration to an ini
file.

~~~nit
class MyIniConfig
super IniConfig

var opt_my = new OptionString("My option", "--my")

init do
super
tool_description = "Usage: MyExample [OPTION]... [ARGS]..."
opts.add_option(opt_my)
end

fun my: String do return opt_my.value or else ini["my"] or else "Default"
end
~~~

This time, we define the `my` method to return the option value or the ini
if no option was passed. Finally, if no ini value can be found, we return the
default value.

By default, `IniConfig` looks at a `config.ini` file in the execution directory.
This can be overrided in multiple ways.

First by the app user by setting the `--config` option:

~~~nit
var config = new MyIniConfig
config.parse_options(["--config", "my_config.ini"])

assert config.config_file == "my_config.ini"
~~~

Default config file can also be changed by the library client through the
`default_config_file` attribute:

~~~nit
config = new MyIniConfig
config.default_config_file = "my_config.ini"
config.parse_options(["arg"])

assert config.config_file == "my_config.ini"
~~~

Or by the library developper in the custom config class:

~~~nit
class MyCustomIniConfig
super IniConfig

redef var default_config_file = "my_config.ini"
end

var config = new MyCustomIniConfig
config.parse_options(["arg"])

assert config.config_file == "my_config.ini"
~~~

Pull-Request: #2339
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: encode URIs

Closes #2164

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2338
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

tests: fix model_json output with alphabetical order

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix nitrpg tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: migrate to config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: pop_repos use config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: pop_config use config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: introduce basic config classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless links on locations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless code tabs for propdefs and classdefs

Since the code is already loaded in the linearization list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: sort mentities list by name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: clean defs list rendering

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: show grade overview in specific page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: show grades in user page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite stars display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite ratings to allow dimensions (like code, feature, examples...)

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: avoid linearization errors

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: encode URIs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fix model_json and nitweb

Was broken since #2312

* Migrate `model_json` to new serialization API
* Add tests to `model_json` to ensure this doesn't happen anymore
* Migrate `web` package and `nitweb` to new API

@xymus a lot of serialization for you. Note: for each entity, I needed two deserialization version `full` and no full. Wasn't sure on how to handle this concern properly with your API

Pull-Request: #2327
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

nitweb: migrate to new json serialization API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: add nitunit for model_json

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: migrate model_json to new serialization API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

opts: fix weird indent

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: mongo: More queries

* Fix query prefixes
* Add Array related queries

Pull-Request: #2336

Merge: nitweb: /random apply limit after random

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2335

Merge: src/model: collect package modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2334

Merge: lib/github: load more user data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2333

Merge: lib/math: fix some nitunits

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2332

Merge: nitunit: set NIT_TESTING_PATH

When working with test suites, one can now use `NIT_TESTING_PATH` to retrieve the test suite path.

It can be used to access files based on the current test suite location:

~~~nit
class MyTest
super TestSuite

    fun test_suite_path do
        assert "NIT_TESTING_PATH".environ.basename == "my_test_suite.nit"
    end
end
~~~

Useful for test suites based on model loading like in #2327.

Pull-Request: #2331

mongo: add array related queries

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongo: fix query prefixes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: /random apply limit after random

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model: collect package modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: load more user data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/math: fix some nitunits

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

man: document `NIT_TESTING_PATH`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: test nitunit `NIT_TESTING_PATH`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: set NIT_TESTING_PATH before running a test suite

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: remove warnings from testing_suite (and uniformize the style)

Haters gonna hate.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: toolcontext set `NIT_TESTING_PATH`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: remove warnings from testing_base

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Updates some tests and the tests.sh script for compatibility with Windows

This is part of the ongoing effort to make Nit work under Windows using msys2 / mingw64, this time we look at tests and support tools.

* Tweak tests.sh to work correctly on Windows: diff ignore CR, don't use -s on hostname from coreutils and don't use the $tmp variable as it overwrites an environment variable.
* Make the very badly named test a bit less bad so its path is valid on Windows.
* Fix the pkg-config annotation behavior on multiple arguments and fix its broken tests. (This is not directly related to Windows support, but valid tests will help to debug.)
* As a bonus, fix the repeated typo *boostrap*.

Pull-Request: #2330
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

src: fix the scary typo boostrap

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: fix test_annot_pkgconfig.nit so it actually works

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pkgconfig annot: try all args before giving up

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests.sh: don't use -s on coreutils hostname

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests.sh: rename $tmp to avoid conflict with the $tmp env var

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests.sh: ignore end of line characters

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: make the very bad name test compatible with windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Delete the debugger from the interpreter

This PR removes the entire debugger from the interpreter including the client/server debugger. The debugger is not maintained and was never fully completed in the first place. There is a consensus that it should be rewritten from scratch if needed.

As discussed with @R4PaSs and @privat.

Pull-Request: #2329
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: lib/github: update unit test for change in Github API behavior

Update a Github API unit test for recent changes in the remote API behavior. I couldn't find any information on this change, so it may also be a temporary problem.

This commit was originally in #2326.

Pull-Request: #2328
Reviewed-by: Jean Privat <jean@pryen.org>

nit: purge the debugger from the interpreter

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/github: update for Github API changes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: pkgconfig annotation: improve error on missing dev package

This is an attempt to improve the error message on a missing development package. The current error stumps everyone on the first occurrence. The new version puts an emphasis on three things:
- it needs the _dev_ package,
- a possible solution by mentioning apt-get and brew,  and
- that it may be a problem with pkg-config itself.

I chose to mention apt-get and brew as I consider that they are the best known package manager on Linux and macOS..

Pull-Request: #2325
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

pkgconfig: more precise error on missing dev package

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: serialization: subtype check attributes & serialize part of the metamodel

This PR is a bit out of the ordinary, it tackles 2 issues with serialization:

1. Avoid deserializing unwanted types to fix a security hole where a refined attribute setter could be abused to cause side effects in the running program.

   The solution inserts 2 checks in the deserialization process, for JSON only:

   1. Check the dynamic type of the Nit object to create from a JSON object against the static type of the attribute. It is created and deserialized only if the dynamic type is a subtype of the static type. This check is activated by default, it can be turned off for some rare use case.

   2. A whitelist lists the accepted dynamic types to deserialize. It can add an extra level of security above the subtype check, or manually replace it when it can't be used. If the whitelist is empty, this check is disabled, the default.

   Pseudo-code algo:
   ~~~
   for name, value in json_object_as_hash_map do
       if value isa json_object_as_hash_map do
           # Existing: find the dynamic type from __class, class_name_heuristic or fallbacks on the static type
           var dynamic_type = heuristic_dynamic_type(value)

           # New
           check whitelist.has(dynamic_type)
           check dynamic_type isa static_type
       end
   end
   ~~~

   Note that attributes typed by `Object` still accept anything (as expected). But there is also a security hole with attributes typed by a virtual type bound to `Object`. We don't have runtime access to the precise type of the virtual attribute so we always use the upper bound `Object`. So `Array` and the like are still a vulnerable point.

2. Ask for a specific static type at serialization while preserving polymorphism.

   The solution adds an argument `static_type` to `JsonDeserializer::deserialize` to ask for a specific type. The deserialized object will be a subclass of `static_type`, or `null` on error.

   This should be preferred to calling directly `from_deserializer` as it allows for subclasses and return null on fatal errors.

   ~~~
   var engine = new JsonDeserializer("""{"item": 4}""")
   var obj = engine.deserialize("Ref[Int]")
   assert engine.errors.not_empty
   assert obj isa Ref[Int]
   ~~~

These features rely on a new intern service `class_inheritance_metamodel_json` (I'm not convinced by the name but at least it is private). This method returns a `POSet[String]` serialized to JSON representing the inheritance graph of the running program. The compiler stores the JSON string in the generated C code, it takes about 200kb for a small program.

It would be pretty easy to add other services to read the metamodel, as needed. However, there is a strong coupling between the JsonDeserializer and `class_inheritance_metamodel_json`, this could be solved by adding a few modules with abstract services.

Future work:
* Do the same in the binary serialization engine.
* Move the metamodel services out of the `json` package.
* With a runtime access to the precise type of virtual types (`V.class_name`),
  fix hole with attributes bound to a `nullable Object` static type.
* Do a full subtype check, not only subclass check (for generic classes).
* Use full qualified names in the serialized metamodel to avoid name conflicts.

@ppepos Did I correctly isolate the security issue? There is an example of the vulnerability in the test.

Pull-Request: #2311
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitcorn: handle SIGINT and SIGTERM

Intercept SIGINT and SIGTERM to close the server cleanly. The first signal request a clean exit from libevent, so it waits to complete the active events before closing. The second signal reverts to the default signal handler and quits instantly.

Fix #2294.

Pull-Request: #2323
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Ait younes Mehdi Adel <overpex@gmail.com>

Merge: nitcorn: decode GET args from percent encoding

While POST data was decoded from percent encoding, GET args were not. Some clients (`shibuqam`) manually decoded that args while others (`benitlux`) hung on requests with spaces.

There is still an issue in the HTTP request parsing where request URL with a space are broken. I'm not fixing this right away because there is no current issue associated to this problem and I have a larger rewrite of nitcorn in the works that will solve this.

Pull-Request: #2322

Merge: nitrestful: rename resources and restrict HTTP methods

The `restful` annotation makes a method accessible by HTTP requests. It saves a ton of boilerplate code by taking care of simple routes, deserializing the arguments and handling error management. It is already in use by the Benitlux server.

This PR adds documentation for the `restful` annotation and updates the example. It also improves the `restful` annotations by adding the support for two kind of arguments:

* String literals rename or add an alias for the HTTP resource. By default, the name of the HTTP resource is the name of the `restful` method. The first string literal replaces the default name, while additional strings literals add aliases.

* Ids such as `GET`, `POST`, `PUT` and `DELETE` restrict which HTTP methods are accepted. By default, all HTTP methods are accepted.

Once #2311 is merged, we will be able to update `nitrestful` to better support plain JSON objects as input.

Pull-Request: #2321

metrics: don't visit annotation nodes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: fix compatibility with light FFI and global/semi-global

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: only serialize the type model if `json::serialization_read` is imported

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update error_unk_class2 sav with change in linearisation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update nitserial test

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add test_json_deserilizer_safe

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib serialization: `deserialize` accepts the name of the static type as argument

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::serialization: check before deserializing an object if it is a subtype

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::serialization: intro services to get the class hierarchy from the engine

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::serialization: whitelist deserializable classes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc & niti: support intern method to generate serialization_metadata

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

interpreter: remove duplicated intern methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: complete some missing doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/poset: implement serialization compatible with nith

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/poset: fix warnings and a typo

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

frontend serialization: resolve type before using their static name

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

frontend serialization: don't create `core_serialize_to` if it exists

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::serialization: fix use null when an instance is not serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: clean exit on SIGINT & SIGTERM

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: intro basic event and signals support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: rename `exit_loop` and `destroy` to their C names

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/signals: silence C warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: test a url-encoded GET arg with a space

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: percent encode GET args

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

shibuqam: we can use `string_arg` directly

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: fix decoding GET args from percent encoding

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: update tests results

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: document the `restful` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: update nitrestful example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: support custom resource name and HTTP methods/verbs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: fix naming of "resources" as recommended

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>