contracts: fix usage of contract with `--erasure`

Moving the check if a contract is needed in the visitor to avoid the property creation without definition.

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

tests: Add tests for generic and virtual types

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

src/contracts: Fix contracts on virtual and generic type

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

src/toolcontext: Provide contract options

`--no-contract` option to disable the contracts usage
`--full-contract` option to enable the contracts usage in all classes

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

share/man/nitc: Adding the man explication to disable contracts

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

contracts: Adding all contract generation mechanism

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

tests: adding contract testing files

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

check_annotation: adding no_contract

Adding option to remove contract on a specific annotated method

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

check_annotation: Adding ensures annotation

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

check_annotation: Adding expects annotation

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

code_gen: Adding contracts phase

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

scope: Adding variable verification

If the variable already exists it will be used

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

modelize_property: Adding unsafe method to register an mpropdef

Add method to register an MPropDef with an APropdef without verification

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Moving the astvalidation module in astbuilder

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Merge: Ci more

some fix up and improvements on gitlab-ci

Pull-Request: #2738

ci-gitlab: contrib android-release (but not signed)

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: remove remaining allow_failure

Signed-off-by: Jean Privat <jean@pryen.org>

ci: do not run nitc with `--colors-are-symbols`: it seems broken

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: inject key for github.oauthtoken

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: do not test in `build_tools`

Signed-off-by: Jean Privat <jean@pryen.org>

ci: dont fail on empty check_signedoff_list

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Ci: move services to specific hostnames

Testing nit with various services is a PITA.

The previous solution was to test them on localhost and requires that the services are available and configured on each test node (it is not always as easy as it seems).
Another problem with `localhost` is that testing within docker is complex as running multiple services in a single container is discouraged.

Here, we propose to simply move the service from localhost to specific hostnames.
This is to be the current "good" practice and is supported out-of-the-box bu various CI infrastructure including gitlab-ci.

Pull-Request: #2737

Merge: gitlab-ci: add android

Add android test and build to gitlab-ci. This also fixes some issues.

Note: the version of the android tools are not the most recent. Trying to update the android toolchain to a more modern one should be done in another PR.

Prof of concept: https://gitlab.com/nit/nit-ci/-/jobs/164255403/artifacts/browse/apk/

Pull-Request: #2736

Merge: curl: fix concurrent requests and intro shortcut services for scripts

This PR brings 2 main changes:

* The handle to a Curl request is now kept by the `CurlRequest` instances, instead of being shared by all requests. This makes it possible to execute concurrent HTTP requests.

* Intro two new services on `Text` to execute simple HTTP requests. While these new services are useful to simple scripts, if more control is needed you should still use `CurlHTTPRequest`.

  `Text::http_get` makes a GET request and returns the response body.

  `Text::http_download` makes a GET request and saves the response body to a file.

Pull-Request: #2731
Reviewed-by: Jean Privat <jean@pryen.org>

docker/ci: need netcat and killall for some test scripts

Signed-off-by: Jean Privat <jean@pryen.org>

docker/ci: do not need postgresql server

Signed-off-by: Jean Privat <jean@pryen.org>

ci: propose a docker-compose to handle services tests locally

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: enable neo4j

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: enable postgres

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: add mongo as service

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: enable mongo

Signed-off-by: Jean Privat <jean@pryen.org>

mongo: use `mongo` instead of `localhost` by default

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: contrib android

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: add .gradle to the cache

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: don't abort if grep select nothing

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab_ci: basic test for android

Signed-off-by: Jean Privat <jean@pryen.org>

antroid/README.md: add raw (for nitunit)

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab_ci: unblacklist android

Signed-off-by: Jean Privat <jean@pryen.org>

docker/nit-ci: add imagemagick

Signed-off-by: Jean Privat <jean@pryen.org>

docker/ci: install android sdk&ndk

Note: android-ndk is downloaded in the google archive

Signed-off-by: Jean Privat <jean@pryen.org>

android-bdwgc: remove --depth=1 to avoid missing commits

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: tests.sh: special case when running in gitlab_ci

When run is a containerized environment, some tests may behave differently.
This prepares some special cases for them.

Cf #2732

Pull-Request: #2735

Merge: lib&contrib: add some raw and nitish in READMEs

nitunit in jenkins did not test READMEs (cf #2313)
In order to test them, first fix them!

Pull-Request: #2734

Merge: tests/base_autocast: workaround a gcc bug

Versions of gcc between bellow 6.4.1 and 7.3.1 failed to compile
correctly the generated C.
So this changes the Nit, so the C can be compiled with buggy gcc versions.

Cf https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85244 for details

Pull-Request: #2733

Merge: docker: add image for continuous integration (without nit)

This prepares a new image that we will use for continuous integration.

Basically, it is a lot of stuff required by tests, libs and contribs of nit, but without nit

Pull-Request: #2732

Merge: Makefile: fix make clean

make clean errors out without cleaning everything. Fixes the make file to use rm -f when appropriate and -cmd otherwise.
Added cleaned message at the end to show it completed successfully (otherwise it ends in what can seem like an error message at first glance).
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Pull-Request: #2730
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: handling of plus (+) sign when using to_i with Text objects

While doing the Advent of Code 2018 in Nit, I encountered a file with numbers prefaced with a plus (+) sign. The to_i of Text wasn't able to handle that kind of input so I added it.

The PR add handling of prefacing + signs with the current - sign implementation. Also added the same logic to is_int so that assert can work. Added new tests in the documentation to show normal usage.

Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Pull-Request: #2729
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: add some nitish to avoid service configuration issues

docunits should not require specifics like a token or a server

Signed-off-by: Jean Privat <jean@pryen.org>

tests.sh: special case when running in gitlab_ci

When run is a containerized environment, some tests may behave differently.
This prepares some special cases for them.

Cf #2732

Signed-off-by: Jean Privat <jean@pryen.org>

tests/base_autocast: workaround a gcc bug

Versions of gcc between bellow 6.4.1 and 7.3.1 failed to compile
correctly the generated C.
So this changes the Nit, so the C can be compiled with buggy gcc versions.

Cf https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85244 for details

Signed-off-by: Jean Privat <jean@pryen.org>

lib&contrib: add some raw and nitish in READMEs

nitunit in jenkins did not test READMEs (cf #2313)
In order to test them, first fix them!

Signed-off-by: Jean Privat <jean@pryen.org>

add .gitlab-ci.yml

Signed-off-by: Jean Privat <jean@pryen.org>

docker: add image for continuous integration (without nit)

Signed-off-by: Jean Privat <jean@pryen.org>

curl: update test for latest changes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo4j: remove unused curl handle (using a now private class)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

popcorn: there's no more a global curl handle, so this should be fixed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: intro shortcut methods `http_get` and `http_download` on `Text`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: the libcurl handle is initiated once per request object, closed by GC or hand

This should fix the problem with concurrent HTTP requests on different threads.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: add some more doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

compiler: fix make clean for makefile generation

Add -f option to rm so that the clean doesn't error if the files are absent
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Makefile: fix make clean

make clean errors out without cleaning everything. Fixes the make file to use rm -f when appropriate and -cmd otherwise.
Added cleaned message at the end to show it completed successfully (otherwise it ends in what can seem like an error message at first glance).
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

lib/core: handling of plus (+) sign when using to_i with Text objects

Signed-off-by: Hugo Leblanc <dullin@hololink.org>

postmerge: fix error_class_glob.res

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: src/model/model_index: model index uses BKTree

This PR makes ModelIndex use a BKTree (#2718) to speed up Nitweb name similarity search queries on large code corpora.

Levenstein names comparison with 300k+ entities took a bit long (up to 10s for Nitweb with `contrib` and `src` for some queries). The use of BKTree speeds things up and brings those queries under 0.1s.

Pull-Request: #2724
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: libevent: support UNIX domain sockets and add a test and an example

Libevent server can now listen on UNIX domain sockets by calling `ConnectionFactory::bind_unix`. The method to listen on TCP ports was renamed to `bind_tcp` for clarity.

This PR intro two new supporting programs in the form of a parallel test for a libevent server and a minimal usage example. If we already had these let me know, because otherwise these two were long overdue.

This PR is built on the work of @matthmsl in #2708, thank you!

Close #2679

Pull-Request: #2726

Merge: nitunit: Use markdown2

This PR makes nitunit use the new `markdown2` parser.

Changes:
* clean the warnings in `test_doc`
* migrate `nitunit` to `markdown2`
* fix some tests about indented Nit code blocks according to the CommonMark spec
* fix some tests about error location

This PR should close the bug signaled in #1394.

Pull-Request: #2725

lib: fix unrecognized code blocks in doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: give exact location of fenced block in tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: fix code blocks in tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: fix typos in doc of CircularArray

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: fix typos in union_find

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: update package.ini tags

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: intro minimal usage example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add parallel test with TCP and UNIX domain sockets

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: rename `bind_to` to the more precise `bind_tcp`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: code style tweaks and cleanup

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add UNIX domain socket support to addrin_to_address

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add UNIX domain socket support to libevent

Signed-off-by: Matthieu Le Guellaut <leguellaut.matthieu@gmail.com>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: src/model/model_index: model index uses BKTree

This PR makes ModelIndex use a BKTree (#2718) to speed up Nitweb name similarity search queries on large code corpora.

Levenstein names comparison with 300k+ entities took a bit long (up to 10s for Nitweb with `contrib` and `src` for some queries). The use of BKTree speeds things up and brings those queries under 0.1s.

Pull-Request: #2724
Reviewed-by: Jean Privat <jean@pryen.org>

nitweb: compute model index at startup

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: fix tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: use BKTree for similarity matches

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: name and full_name queries does not search prefix by default

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: add query time in interactive mode

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: add interactive mode

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: expect `-q` option for query

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: use the new markdown parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/nitunit: remove warnings from `testing_doc`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: src/doc/commands: clean commands hierarchy

This PR does some cleaning around commands hierarchy to prepare for the merge with new-markdown (#2720).

Pull-Request: #2723

Merge: src/doc/commands: use filters

This PR allows the DocCommands to use ModelFilter.

With this, one can setup the filter used by a command from:
* The commands programmatic Nit interface
   ~~~nit
   var filter = new ModelFilter(accept_test = false)
   var cmd = new CmdParents(model, main, filter, mentity_name = "MyEntity")
   ~~~
* The string interface through the CommandParser
   ~~~raw
   [[parents: MyEntity | no-test]]
   ~~~
* The HTTP interface
   ~~~raw
   /children/MyEntity?no-test=true
   ~~~

Pull-Request: #2722
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/markdown2: introduce a new Markdown engine

This PR introduces a new Markdown engine called `markdown2`.

The current Markdown implementation is functional but does not follows the [CommonMark](http://commonmark.org/) specification as it passes only 273 tests of the 627 from the [CommonMark test suite](https://github.com/CommonMark/CommonMark).

Also there is a few issues with it as stated in #791, #1394, #1525 and #2507.

This new implementation aims at resolving these issues and follow the CommonMark specification.

Features:
* Markdown AST creation and rendering
* Rendering to HTML
* Rendering to Markdown
* Rendering to Man format
* Rendering to LaTeX
* Parsing of Github extended mode
* Parsing of wikilinks
* Parsing of LaTeX/Maths expression (upcoming in next PR)
* Respect of the CommonMark specification with only 10 tests failed (UTF-8 related)
* Extensive testing with a total of 980 test units...

I didn't remove the old markdown implementation since the benchmarks are not really good for now. Since `markdown2` uses a lot of regular expressions, performances can be an issue compared to `markdown`:


In the following PR some Nit tools will be migrated to the new implementation:
* nitunit
* nitiwiki
* nitdoc
* nitweb

Pull-Request: #2720

src/doc/commands/templates: move `commands_json` to `json_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: move `commands_json` to `json_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: move `commands_html` to `html_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_json` in `json_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_term` in `term_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_html` in `html_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: clean `commands_docdown`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: move cmd processing to `commands_html`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: merge `doc_down` intro `templates_html`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>