Merge: gitlab-ci: add android

Add android test and build to gitlab-ci. This also fixes some issues.

Note: the version of the android tools are not the most recent. Trying to update the android toolchain to a more modern one should be done in another PR.

Prof of concept: https://gitlab.com/nit/nit-ci/-/jobs/164255403/artifacts/browse/apk/

Pull-Request: #2736

Merge: curl: fix concurrent requests and intro shortcut services for scripts

This PR brings 2 main changes:

* The handle to a Curl request is now kept by the `CurlRequest` instances, instead of being shared by all requests. This makes it possible to execute concurrent HTTP requests.

* Intro two new services on `Text` to execute simple HTTP requests. While these new services are useful to simple scripts, if more control is needed you should still use `CurlHTTPRequest`.

  `Text::http_get` makes a GET request and returns the response body.

  `Text::http_download` makes a GET request and saves the response body to a file.

Pull-Request: #2731
Reviewed-by: Jean Privat <jean@pryen.org>

gitlab-ci: contrib android

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: add .gradle to the cache

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: don't abort if grep select nothing

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab_ci: basic test for android

Signed-off-by: Jean Privat <jean@pryen.org>

antroid/README.md: add raw (for nitunit)

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab_ci: unblacklist android

Signed-off-by: Jean Privat <jean@pryen.org>

docker/nit-ci: add imagemagick

Signed-off-by: Jean Privat <jean@pryen.org>

docker/ci: install android sdk&ndk

Note: android-ndk is downloaded in the google archive

Signed-off-by: Jean Privat <jean@pryen.org>

android-bdwgc: remove --depth=1 to avoid missing commits

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: tests.sh: special case when running in gitlab_ci

When run is a containerized environment, some tests may behave differently.
This prepares some special cases for them.

Cf #2732

Pull-Request: #2735

Merge: lib&contrib: add some raw and nitish in READMEs

nitunit in jenkins did not test READMEs (cf #2313)
In order to test them, first fix them!

Pull-Request: #2734

Merge: tests/base_autocast: workaround a gcc bug

Versions of gcc between bellow 6.4.1 and 7.3.1 failed to compile
correctly the generated C.
So this changes the Nit, so the C can be compiled with buggy gcc versions.

Cf https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85244 for details

Pull-Request: #2733

Merge: docker: add image for continuous integration (without nit)

This prepares a new image that we will use for continuous integration.

Basically, it is a lot of stuff required by tests, libs and contribs of nit, but without nit

Pull-Request: #2732

Merge: Makefile: fix make clean

make clean errors out without cleaning everything. Fixes the make file to use rm -f when appropriate and -cmd otherwise.
Added cleaned message at the end to show it completed successfully (otherwise it ends in what can seem like an error message at first glance).
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Pull-Request: #2730
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: handling of plus (+) sign when using to_i with Text objects

While doing the Advent of Code 2018 in Nit, I encountered a file with numbers prefaced with a plus (+) sign. The to_i of Text wasn't able to handle that kind of input so I added it.

The PR add handling of prefacing + signs with the current - sign implementation. Also added the same logic to is_int so that assert can work. Added new tests in the documentation to show normal usage.

Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Pull-Request: #2729
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: add some nitish to avoid service configuration issues

docunits should not require specifics like a token or a server

Signed-off-by: Jean Privat <jean@pryen.org>

tests.sh: special case when running in gitlab_ci

When run is a containerized environment, some tests may behave differently.
This prepares some special cases for them.

Cf #2732

Signed-off-by: Jean Privat <jean@pryen.org>

tests/base_autocast: workaround a gcc bug

Versions of gcc between bellow 6.4.1 and 7.3.1 failed to compile
correctly the generated C.
So this changes the Nit, so the C can be compiled with buggy gcc versions.

Cf https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85244 for details

Signed-off-by: Jean Privat <jean@pryen.org>

lib&contrib: add some raw and nitish in READMEs

nitunit in jenkins did not test READMEs (cf #2313)
In order to test them, first fix them!

Signed-off-by: Jean Privat <jean@pryen.org>

add .gitlab-ci.yml

Signed-off-by: Jean Privat <jean@pryen.org>

docker: add image for continuous integration (without nit)

Signed-off-by: Jean Privat <jean@pryen.org>

curl: update test for latest changes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo4j: remove unused curl handle (using a now private class)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

popcorn: there's no more a global curl handle, so this should be fixed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: intro shortcut methods `http_get` and `http_download` on `Text`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: the libcurl handle is initiated once per request object, closed by GC or hand

This should fix the problem with concurrent HTTP requests on different threads.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: add some more doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

compiler: fix make clean for makefile generation

Add -f option to rm so that the clean doesn't error if the files are absent
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

Makefile: fix make clean

make clean errors out without cleaning everything. Fixes the make file to use rm -f when appropriate and -cmd otherwise.
Added cleaned message at the end to show it completed successfully (otherwise it ends in what can seem like an error message at first glance).
Signed-off-by: Hugo Leblanc <dullin@hololink.org>

lib/core: handling of plus (+) sign when using to_i with Text objects

Signed-off-by: Hugo Leblanc <dullin@hololink.org>

postmerge: fix error_class_glob.res

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: src/model/model_index: model index uses BKTree

This PR makes ModelIndex use a BKTree (#2718) to speed up Nitweb name similarity search queries on large code corpora.

Levenstein names comparison with 300k+ entities took a bit long (up to 10s for Nitweb with `contrib` and `src` for some queries). The use of BKTree speeds things up and brings those queries under 0.1s.

Pull-Request: #2724
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: libevent: support UNIX domain sockets and add a test and an example

Libevent server can now listen on UNIX domain sockets by calling `ConnectionFactory::bind_unix`. The method to listen on TCP ports was renamed to `bind_tcp` for clarity.

This PR intro two new supporting programs in the form of a parallel test for a libevent server and a minimal usage example. If we already had these let me know, because otherwise these two were long overdue.

This PR is built on the work of @matthmsl in #2708, thank you!

Close #2679

Pull-Request: #2726

Merge: nitunit: Use markdown2

This PR makes nitunit use the new `markdown2` parser.

Changes:
* clean the warnings in `test_doc`
* migrate `nitunit` to `markdown2`
* fix some tests about indented Nit code blocks according to the CommonMark spec
* fix some tests about error location

This PR should close the bug signaled in #1394.

Pull-Request: #2725

lib: fix unrecognized code blocks in doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: give exact location of fenced block in tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: fix code blocks in tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: fix typos in doc of CircularArray

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: fix typos in union_find

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: update package.ini tags

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: intro minimal usage example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add parallel test with TCP and UNIX domain sockets

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: rename `bind_to` to the more precise `bind_tcp`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: code style tweaks and cleanup

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add UNIX domain socket support to addrin_to_address

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: add UNIX domain socket support to libevent

Signed-off-by: Matthieu Le Guellaut <leguellaut.matthieu@gmail.com>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: src/model/model_index: model index uses BKTree

This PR makes ModelIndex use a BKTree (#2718) to speed up Nitweb name similarity search queries on large code corpora.

Levenstein names comparison with 300k+ entities took a bit long (up to 10s for Nitweb with `contrib` and `src` for some queries). The use of BKTree speeds things up and brings those queries under 0.1s.

Pull-Request: #2724
Reviewed-by: Jean Privat <jean@pryen.org>

nitweb: compute model index at startup

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: fix tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: use BKTree for similarity matches

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/model/model_index: name and full_name queries does not search prefix by default

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: add query time in interactive mode

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: add interactive mode

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/test_model_index: expect `-q` option for query

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: use the new markdown parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/nitunit: remove warnings from `testing_doc`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: src/doc/commands: clean commands hierarchy

This PR does some cleaning around commands hierarchy to prepare for the merge with new-markdown (#2720).

Pull-Request: #2723

Merge: src/doc/commands: use filters

This PR allows the DocCommands to use ModelFilter.

With this, one can setup the filter used by a command from:
* The commands programmatic Nit interface
   ~~~nit
   var filter = new ModelFilter(accept_test = false)
   var cmd = new CmdParents(model, main, filter, mentity_name = "MyEntity")
   ~~~
* The string interface through the CommandParser
   ~~~raw
   [[parents: MyEntity | no-test]]
   ~~~
* The HTTP interface
   ~~~raw
   /children/MyEntity?no-test=true
   ~~~

Pull-Request: #2722
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/markdown2: introduce a new Markdown engine

This PR introduces a new Markdown engine called `markdown2`.

The current Markdown implementation is functional but does not follows the [CommonMark](http://commonmark.org/) specification as it passes only 273 tests of the 627 from the [CommonMark test suite](https://github.com/CommonMark/CommonMark).

Also there is a few issues with it as stated in #791, #1394, #1525 and #2507.

This new implementation aims at resolving these issues and follow the CommonMark specification.

Features:
* Markdown AST creation and rendering
* Rendering to HTML
* Rendering to Markdown
* Rendering to Man format
* Rendering to LaTeX
* Parsing of Github extended mode
* Parsing of wikilinks
* Parsing of LaTeX/Maths expression (upcoming in next PR)
* Respect of the CommonMark specification with only 10 tests failed (UTF-8 related)
* Extensive testing with a total of 980 test units...

I didn't remove the old markdown implementation since the benchmarks are not really good for now. Since `markdown2` uses a lot of regular expressions, performances can be an issue compared to `markdown`:


In the following PR some Nit tools will be migrated to the new implementation:
* nitunit
* nitiwiki
* nitdoc
* nitweb

Pull-Request: #2720

src/doc/commands/templates: move `commands_json` to `json_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: move `commands_json` to `json_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: move `commands_html` to `html_commands`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_json` in `json_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_term` in `term_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands/templates: rename `templates_html` in `html_model`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: clean `commands_docdown`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: move cmd processing to `commands_html`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: merge `doc_down` intro `templates_html`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: move markdown related services from `doc_down` to `commands_md`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: merge `catalog_json` intro `templates_json`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: clean commands modules importation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: move `render_code` to clients modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: refactor `CmdCode` and `CmdEntityCode`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: redef `render_comment` in `commands_html` and `commands_md`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/templates: move `html_list_item` to `static_cards`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/doc_down: move base MDoc services to `mdoc` module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/html: escape Bootstrap links titles

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: clean importation for `commands_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

benchmarks/markdown: add benches for markdown2

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce `nitmd` client

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce wikilinks parsing

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce Github extended mode

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce markdown rendering to LaTeX

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/commands_http: parse filter options from HttpRequest

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/commands_http: clean Bool options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/commands_http: clean Int options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/commands_http: clean String options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/cmd_parser: parse filter options from cmd string

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/cmd_parser: clean Bool options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/cmd_parser: clean Int options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/cmd_parser: clean String options handling

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

cmd/cmd_parser: remove ModelFilter parameter from init

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: test commands with filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce markdown rendering to Manpages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: introduce markdown rendering to markdown

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: import tests from CommonMark spec

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: import tests from DaringFireball

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown2: add tests from issues

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>