core: fix typos in doc of CircularArray

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: fix typos in union_find

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/md5: nitunitize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2694

Merge: lib/base64: nitunize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2693

Merge: lib/a_star: nitunitize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2692

Merge: src/doc/commands: fix test class name for `commands_md`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2689

Merge: contrib: generate Makefiles with nitpackage

I applied `nitpackage --gen-makefile` (#2662) on contrib:
* generated Makefile for projects without any (76a17aa)
* replaced some existing Makefiles with their generated counterpart (a95be1e)
* manually merged generated rules into existing Makefiles (3b85ec3)

Please consider only these commits as the rest of them belongs to another PRs.

Pull-Request: #2685

Merge: contrib: apply nitpackage --gen-ini

I ran `nitpackage --gen-ini` on contrib projects.

First of all, I added 3 more accepted keys to nitpackage --check-ini that seem to be used in some projects (04abe90):
* `upstream.apk`
* `upstream.tryit`
* `source.exclude`

I expanded the package `github_merge`, the only one left in the non-expanded form in the Nit project (51df98b).

Then I corrected some `git.directory` keys with incorrect values (a4b53f7). Short note for `src`, I added the trailing `/` to be consistent with all other ini files.

Finally I generated the `package.desc` for all projects from the `mdoc_or_fallback.synopsis` values (051ab50).

Pull-Request: #2682
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/core: remove BufferedReader

Since the streams are often already buffered in the libraries we depend
upon, and since it is not used anymore on streams present in the
librarires, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2680

Merge: nitpackage: generate and check manpages

This PR adds two new features to nitpackage:

--check-man: check manpages existence and content for packages and executable modules
--gen-man: create manpages for packages and executable modules

As example I added new manpages (91b9839) to `lib/markdown` and `lib/github`.

Please only consider the 6 last commits as the rest belongs to #2652, #2653, #2656, #2657 and #2662.

Pull-Request: #2663
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitpackage: create and check Makefile

This PR adds two new features to `nitpackage`:
* `--check-makefile`: check Makefiles existence for packages and executable modules
* `--gen-makefile`: create Makefiles for packages and executable modules

As example I added new Makefiles (4f948e3) to all lib/ project if none was found.
I also updated some Makefiles from my projects (dbacfc0).

Please only consider the 4 last commits as the rest belongs to #2652, #2653, #2656 and #2657.

Pull-Request: #2662
Reviewed-by: Jean Privat <jean@pryen.org>

contrib: merge manually generated Makefiles with existing ones

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: replace Makefile form contrib with same rules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: generate Makefile for projects without any

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: add some manpages generated with `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: add some manpages generated with `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: generate and check man pages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

git: ignore `lib/*/bin`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: fix `nitmd` path

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: add two examples of Makefile generated by `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: generate and check Makefiles

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: rename phase

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: generate `package.desc` key for all contrib projects

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: fix wrong `git.directory` in some contrib projects

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: accept more `package.ini` keys

Added:
* `upstream.apk`
* `upstream.tryit`
* `source.exclude`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: contrib/wiringPi: fix `shift` module name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2681
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: contrib/nitiwiki: protect non-nit code blokcs in README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2683

Merge: contrib: use `config` instead of `opts`

Modified two contrib projects to make then use `config`:
* `github_merge`
* `nitiwiki`

They now automatically provide the `--stub-manpage` option from `config`.

Pull-Request: #2686

Merge: contrib: fix readmes

Fix some unprotected raw code blocks in contrib READMES.

Pull-Request: #2687

lib/md5: nitunitize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/base64: nitunize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/a_star: nitunitize tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc/commands: fix test class name for `commands_md`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitiwiki: use `config` instead of `opts`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/github_merge: use `config` instead of `opts`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: expand package `github_merge`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/sort_downloads: protect README doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitin: protect README doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/brainfuck: protect README doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitiwiki: protect non-nit code blocks in README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/wiringPi: fix `shift` module name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: remove BufferedReader

Since the streams are often already buffered in the libraries we depend
upon, and since it is not used anymore on streams present in the
librarires, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: lib/config: better tool configuration

This PR reworks some aspects of the `lib/config`:
* Add option `-?` as help
* Introduce `--stub-man` option (almost the same thing than in `ToolContext`)
* Make `nitmd` use `config` instead of `opts`
* Define a better `tool_description` for `github/loader`

Pull-Request: #2674
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: doc/commands: introduce Markdown rendering for commands

This PR introduces Markdown rendering for all DocCommands.

Also adds tests.

Pull-Request: #2673
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Trace system

To install lttng: https://lttng.org/docs/v2.10/#doc-installing-lttng

To compile using the trace system: add -t or --trace

To test tracing some instances :
lttng create "Nom de la session"
lttng enable-event --userspace Nit_Compiler:Object_Instance
lttng start
--> run your program
lttng stop

To read your CTF trace file:
babeltrace ~/lttng-traces/nom_de_la_session

define TRACEPOINT_INCLUDE "/home/olivier/Bureau/nit/src/nit_compile/traces.h"
This instruction is located into traces.h. You have to adapt it with your specific path.
The dynamical version is the object of the next PR.

Pull-Request: #2666
Reviewed-by: Jean Privat <jean@pryen.org>

tests: fix tests related to new config options display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: macOS: skip one of the nitpm tests because of locale issues

The test `nitpm_arg3` exposes an output from Git. It looks like there is locale issue on the macOS CI server changing the output and breaking the tests.

Test diff:
~~~
--- sav//nitpm_args3.res 2018-04-05 22:14:54.000000000 -0400
+++ out/nitpm_args3.res 2018-05-11 02:59:58.000000000 -0400
@@ -1 +1 @@
-Already up-to-date.
+Already up to date.
~~~

I didn't find a clear cause after a quick investigation. This PR as a temporary workaround, feel free to investigate and PR a real fix!

Pull-Request: #2675

Merge: opportunity: add a docker-compose.yml file

Pull-Request: #2677

Merge: Small improvements on the oot.sh script

Pull-Request: #2676

Merge: File no buffered

Still as part of the Stream refactor, this commit removes the BufferedReader dependency for FileReader.

Note: last commit only to review, the previous one is from #2648

Pull-Request: #2649
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Added HTTP METHODS to CurlHTTPRequest

Pull-Request: #2655
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Bitmap fix missing checks

Some checks were missing after fixing some warnings in PR #2658, we add these checks here.

Note: the last commit only is relevant, the other comes from #2658

Pull-Request: #2659
Reviewed-by: Jean Privat <jean@pryen.org>

Merge:  lib/socket: remove BufferedReader superclass

Since BufferedReader is scheduled for removal, we remove it as superclass from the TCPSocket.

As the TCPSocket will be buffered at the system-level, it is not a big problem for performance.

Note: Last commit is to be reviewed only, the others are from #2648

Pull-Request: #2665

Merge: Fix Reader::read

With the stream refactor being developed and tested alongside, some buggy behaviours are being discovered.
This PR fixes one of such, where calling read on a dead stream caused the program to segfault.

Pull-Request: #2670
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: add blocking eof implementation

eof is a problematic operation for Streams as its state may be decided
by reading input (in sockets for instance).

Because of that, operations relying on it may read one extra byte at the
end of a file, causing the apparition of bad characters (null byte, or
replacement character).

By changing the semantic of eof and making it blocking, we ensure that
querying eof will always produce the appropriate error.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: fix read_bytes_to_cstring implementation

When reading bytes from both the lookahead and a source, the lookahead
bytes were not kept in the cstring and we re-written by the
raw_read_bytes after that.

This commit fixes that behaviour.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove BufferedReader as file superclass

Since files are already buffered at the libc-level, we do not need to
have a BufferedReader on top of it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

opportunity: add a docker-compose.yml file

Signed-off-by: Jean Privat <jean@pryen.org>

add the trace system with a first test which is instance tracing

Signed-off-by: olivierschirm <olive.schirm@gmail.com>

contrib/oot.sh: allow an optional list argument

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/oot.sh: do not error if no makefile

Signed-off-by: Jean Privat <jean@pryen.org>

lib/github: define better `tool_description` for loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: nitmd use `config` instead of `options`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: introduce --stub-man option

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: add `-?` option as help

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce Markdown rendering for commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

macOS: skip one of the nitpm tests because of locale issues

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: docker: nitpm requires libcurl, move it up from `full`

This PR should fix the compilation of the nitlang/nit Docker which was broken since adding nitpm.

See: https://hub.docker.com/r/nitlang/nit/builds/bgtphmftqbdp9o7eqhqzn9f/

I've activated email alerts on hub.docker.com to hopefully catch these problems sooner next time.

Pull-Request: #2672

lib/websocket: refactor websocket as a Protocol

Websocket can be re-implemented as a Protocol to be implemented atop a
TCP stream.

This refactor should be more memory-efficient when handling incoming
data.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/socket: remove BufferedReader superclass

Since BufferedReader is scheduled for removal, we remove it as a
superclass from the TCPSocket.

As the TCPSocket will be buffered at the system-level, it is not a big
problem for performance.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: add protocols for decorator streams

Protocol are a class of streams designed to be decorators over others
and provide a high-level interface to protocols.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

docker: nitpm requires libcurl, move it up from `full`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: add failsafe to UTF8Codec::decode_string

Calling decode_string on the UTF-8 codec with a negative legth would
cause memmove to crash the program with a segfault.

Adding an assert gives more information on what went wrong and will help
investigate future bugs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: fix Reader::read

Reader::read would crash if trying to read from an empty socket, as the
codec::decode_string would be called with a negative length.

We add a failsafe to prevent that.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/bitmap: fix unchecked error while reading bytes

The `read_byte` method from `Reader` may return a negative int if an
error is encountered while reading.

This was not checked in lib/bitmap, we therefore add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/bitmap: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: android: remove the deprecated armeabi target platform

Android NDK tools do not support the armeabi target platform anymore, breaking the compilation of all Nit app for Android. This PR removes this target, fixing our compilation issues. This platform version should not be active anywhere, it was widely replaced by armeabi-v7a.

Unless you update the Android SDK tool, compiling Nit apps for Android should still work on your machine and the CI server. However, it fails on the Nit docker, as with:
https://gitlab.com/xymus/darpg/-/jobs/67649353
https://gitlab.com/Skyline76/memory_gamnit/-/jobs/67571796

Pull-Request: #2671

Merge: lib/crypto: add in-place xor cipher on CStrings

The xor operation as defined in xor_ciphers lacked a performance-aware
version on byte sequences.

This commit adds a fast version to perform it on a CString.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2669

Merge: lib: add `package.desc` keys to the `package.ini` file of most of the packages in `lib`

This PR adds a `package.desc` key to all `package.ini` files into `lib/`.

For most of them the description is imported from the `mdoc_or_fallback.synopsis` with some light modifications (removing the starting `#` and the trailing `.`).

After this automated fix, 5 packages still missed the `package.desc` key:
* `dummy_array`
* `filter_stream`
* `graph`
* `mnit`
* `postgresql`

I manually added the key for `graph` and `postgresql`, so after this PR only 3 packages still miss the key:
* `dummy_array`
* `filter_stream`
* `mnit`

Pull-Request: #2667

Merge: lib/core/text: add memset to `CString`

Memset is an operation used for setting bytes to a particular value.

Since it was not defined on CStrings, we add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2668

android: remove the deprecated armeabi target

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: provide default codec-aware read_char

Previous implementations of read_char were unaware of codec issues, and
used to read a byte and convert it to a code point.

For ASCII characters this was enough, but once unicode characters were
read on a char-by-char basis, wrong characters would appear.

This commit fixes this issue by using the Codec API to read a character
intelligently, and properly support multibyte encodings.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2648
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: doc/commands: introduce `main` related commands

This PR introduce new doc commands related to executable files:
* `CmdMains`: list all executable files from a package
* `CmdMainCompile`: return the `nitc` command to compile an executable file
* `CmdTesting`: return the `nitunit` command to test a package
* `CmdManSynopsis`: return the command synopsis from its manpage
* `CmdManOptions`: return the command options descriptions from its manpage

Pull-Request: #2656
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: rename and improve the quick and easy `deserialize_json`

Rename the service `String::from_json_string` to a nicer `deserialize_json`. I believe that the old name was counter-intuitive and may explain why the method was used so rarely/never.

Add the argument `static_type` to `deserialize_json` to limit the type of objects that can be deserialized. This argument is passed directly to the JSON deserializer.

The method `deserialize_json` still prints errors to the console, so it should be used for quick prototypes or scripts.

This could make prettier and safer examples in #2655.

Pull-Request: #2664

lib/core: provide default codec-aware read_char

Previous implementations of read_char were unaware of codec issues, and
used to read a byte and convert it to a code point.

For ASCII characters this was enough, but once unicode characters were
read on a char-by-char basis, wrong characters would appear.

This commit fixes this issue by using the Codec API to read a character
intelligently, and properly support multibyte encodings.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

niti: fix CString::fast_cstring semantics

The old implementation of CString::fast_cstring used to create a new
CString instance instead of sharing the underlying buffer.

This in turn caused code relying on this semantic to fail as the memory
was not re-initialized properly.

This commit fixes this behaviour by introducing a new cstring
constructor specific for the VM and Interpreter.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: fix tests related to test_prog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term handles `commands_main`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_main` as JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_main` as HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse `commands_main`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce `commands_main`, commands about main programs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/crypto: add in-place xor cipher on CStrings

The xor operation as defined in xor_ciphers lacked a performance-aware
version on byte sequences.

This commit adds a fast version to perform it on a CString.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Added HTTP METHODS to CurlHTTPRequest

Signed-off-by: Matthieu Le Guellaut <leguellaut.matthieu@gmail.com>

lib/core/text: add memset to `CString`

Memset is an operation used for setting bytes to a particular value.

Since it was not defined on CStrings, we add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib: manually add `package.desc` keys to some packages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: generate `package.desc` keys to all packages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: allow NitUnit entities in model view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect all mmodules for a mgroup

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests/test_prog: add a dummy test suite

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>