contrib/nitin: protect README doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/brainfuck: protect README doc units

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitiwiki: protect non-nit code blocks in README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/wiringPi: fix `shift` module name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: remove BufferedReader

Since the streams are often already buffered in the libraries we depend
upon, and since it is not used anymore on streams present in the
librarires, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: lib/config: better tool configuration

This PR reworks some aspects of the `lib/config`:
* Add option `-?` as help
* Introduce `--stub-man` option (almost the same thing than in `ToolContext`)
* Make `nitmd` use `config` instead of `opts`
* Define a better `tool_description` for `github/loader`

Pull-Request: #2674
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: doc/commands: introduce Markdown rendering for commands

This PR introduces Markdown rendering for all DocCommands.

Also adds tests.

Pull-Request: #2673
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Trace system

To install lttng: https://lttng.org/docs/v2.10/#doc-installing-lttng

To compile using the trace system: add -t or --trace

To test tracing some instances :
lttng create "Nom de la session"
lttng enable-event --userspace Nit_Compiler:Object_Instance
lttng start
--> run your program
lttng stop

To read your CTF trace file:
babeltrace ~/lttng-traces/nom_de_la_session

define TRACEPOINT_INCLUDE "/home/olivier/Bureau/nit/src/nit_compile/traces.h"
This instruction is located into traces.h. You have to adapt it with your specific path.
The dynamical version is the object of the next PR.

Pull-Request: #2666
Reviewed-by: Jean Privat <jean@pryen.org>

tests: fix tests related to new config options display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: macOS: skip one of the nitpm tests because of locale issues

The test `nitpm_arg3` exposes an output from Git. It looks like there is locale issue on the macOS CI server changing the output and breaking the tests.

Test diff:
~~~
--- sav//nitpm_args3.res 2018-04-05 22:14:54.000000000 -0400
+++ out/nitpm_args3.res 2018-05-11 02:59:58.000000000 -0400
@@ -1 +1 @@
-Already up-to-date.
+Already up to date.
~~~

I didn't find a clear cause after a quick investigation. This PR as a temporary workaround, feel free to investigate and PR a real fix!

Pull-Request: #2675

Merge: opportunity: add a docker-compose.yml file

Pull-Request: #2677

Merge: Small improvements on the oot.sh script

Pull-Request: #2676

Merge: File no buffered

Still as part of the Stream refactor, this commit removes the BufferedReader dependency for FileReader.

Note: last commit only to review, the previous one is from #2648

Pull-Request: #2649
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Added HTTP METHODS to CurlHTTPRequest

Pull-Request: #2655
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Bitmap fix missing checks

Some checks were missing after fixing some warnings in PR #2658, we add these checks here.

Note: the last commit only is relevant, the other comes from #2658

Pull-Request: #2659
Reviewed-by: Jean Privat <jean@pryen.org>

Merge:  lib/socket: remove BufferedReader superclass

Since BufferedReader is scheduled for removal, we remove it as superclass from the TCPSocket.

As the TCPSocket will be buffered at the system-level, it is not a big problem for performance.

Note: Last commit is to be reviewed only, the others are from #2648

Pull-Request: #2665

Merge: Fix Reader::read

With the stream refactor being developed and tested alongside, some buggy behaviours are being discovered.
This PR fixes one of such, where calling read on a dead stream caused the program to segfault.

Pull-Request: #2670
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: add blocking eof implementation

eof is a problematic operation for Streams as its state may be decided
by reading input (in sockets for instance).

Because of that, operations relying on it may read one extra byte at the
end of a file, causing the apparition of bad characters (null byte, or
replacement character).

By changing the semantic of eof and making it blocking, we ensure that
querying eof will always produce the appropriate error.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: fix read_bytes_to_cstring implementation

When reading bytes from both the lookahead and a source, the lookahead
bytes were not kept in the cstring and we re-written by the
raw_read_bytes after that.

This commit fixes that behaviour.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove BufferedReader as file superclass

Since files are already buffered at the libc-level, we do not need to
have a BufferedReader on top of it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

opportunity: add a docker-compose.yml file

Signed-off-by: Jean Privat <jean@pryen.org>

add the trace system with a first test which is instance tracing

Signed-off-by: olivierschirm <olive.schirm@gmail.com>

contrib/oot.sh: allow an optional list argument

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/oot.sh: do not error if no makefile

Signed-off-by: Jean Privat <jean@pryen.org>

lib/github: define better `tool_description` for loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: nitmd use `config` instead of `options`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: introduce --stub-man option

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: add `-?` option as help

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce Markdown rendering for commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

macOS: skip one of the nitpm tests because of locale issues

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: docker: nitpm requires libcurl, move it up from `full`

This PR should fix the compilation of the nitlang/nit Docker which was broken since adding nitpm.

See: https://hub.docker.com/r/nitlang/nit/builds/bgtphmftqbdp9o7eqhqzn9f/

I've activated email alerts on hub.docker.com to hopefully catch these problems sooner next time.

Pull-Request: #2672

lib/websocket: refactor websocket as a Protocol

Websocket can be re-implemented as a Protocol to be implemented atop a
TCP stream.

This refactor should be more memory-efficient when handling incoming
data.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/socket: remove BufferedReader superclass

Since BufferedReader is scheduled for removal, we remove it as a
superclass from the TCPSocket.

As the TCPSocket will be buffered at the system-level, it is not a big
problem for performance.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: add protocols for decorator streams

Protocol are a class of streams designed to be decorators over others
and provide a high-level interface to protocols.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

docker: nitpm requires libcurl, move it up from `full`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: add failsafe to UTF8Codec::decode_string

Calling decode_string on the UTF-8 codec with a negative legth would
cause memmove to crash the program with a segfault.

Adding an assert gives more information on what went wrong and will help
investigate future bugs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: fix Reader::read

Reader::read would crash if trying to read from an empty socket, as the
codec::decode_string would be called with a negative length.

We add a failsafe to prevent that.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/bitmap: fix unchecked error while reading bytes

The `read_byte` method from `Reader` may return a negative int if an
error is encountered while reading.

This was not checked in lib/bitmap, we therefore add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/bitmap: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: android: remove the deprecated armeabi target platform

Android NDK tools do not support the armeabi target platform anymore, breaking the compilation of all Nit app for Android. This PR removes this target, fixing our compilation issues. This platform version should not be active anywhere, it was widely replaced by armeabi-v7a.

Unless you update the Android SDK tool, compiling Nit apps for Android should still work on your machine and the CI server. However, it fails on the Nit docker, as with:
https://gitlab.com/xymus/darpg/-/jobs/67649353
https://gitlab.com/Skyline76/memory_gamnit/-/jobs/67571796

Pull-Request: #2671

Merge: lib/crypto: add in-place xor cipher on CStrings

The xor operation as defined in xor_ciphers lacked a performance-aware
version on byte sequences.

This commit adds a fast version to perform it on a CString.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2669

Merge: lib: add `package.desc` keys to the `package.ini` file of most of the packages in `lib`

This PR adds a `package.desc` key to all `package.ini` files into `lib/`.

For most of them the description is imported from the `mdoc_or_fallback.synopsis` with some light modifications (removing the starting `#` and the trailing `.`).

After this automated fix, 5 packages still missed the `package.desc` key:
* `dummy_array`
* `filter_stream`
* `graph`
* `mnit`
* `postgresql`

I manually added the key for `graph` and `postgresql`, so after this PR only 3 packages still miss the key:
* `dummy_array`
* `filter_stream`
* `mnit`

Pull-Request: #2667

Merge: lib/core/text: add memset to `CString`

Memset is an operation used for setting bytes to a particular value.

Since it was not defined on CStrings, we add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2668

android: remove the deprecated armeabi target

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: provide default codec-aware read_char

Previous implementations of read_char were unaware of codec issues, and
used to read a byte and convert it to a code point.

For ASCII characters this was enough, but once unicode characters were
read on a char-by-char basis, wrong characters would appear.

This commit fixes this issue by using the Codec API to read a character
intelligently, and properly support multibyte encodings.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2648
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: doc/commands: introduce `main` related commands

This PR introduce new doc commands related to executable files:
* `CmdMains`: list all executable files from a package
* `CmdMainCompile`: return the `nitc` command to compile an executable file
* `CmdTesting`: return the `nitunit` command to test a package
* `CmdManSynopsis`: return the command synopsis from its manpage
* `CmdManOptions`: return the command options descriptions from its manpage

Pull-Request: #2656
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: rename and improve the quick and easy `deserialize_json`

Rename the service `String::from_json_string` to a nicer `deserialize_json`. I believe that the old name was counter-intuitive and may explain why the method was used so rarely/never.

Add the argument `static_type` to `deserialize_json` to limit the type of objects that can be deserialized. This argument is passed directly to the JSON deserializer.

The method `deserialize_json` still prints errors to the console, so it should be used for quick prototypes or scripts.

This could make prettier and safer examples in #2655.

Pull-Request: #2664

lib/core: provide default codec-aware read_char

Previous implementations of read_char were unaware of codec issues, and
used to read a byte and convert it to a code point.

For ASCII characters this was enough, but once unicode characters were
read on a char-by-char basis, wrong characters would appear.

This commit fixes this issue by using the Codec API to read a character
intelligently, and properly support multibyte encodings.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

niti: fix CString::fast_cstring semantics

The old implementation of CString::fast_cstring used to create a new
CString instance instead of sharing the underlying buffer.

This in turn caused code relying on this semantic to fail as the memory
was not re-initialized properly.

This commit fixes this behaviour by introducing a new cstring
constructor specific for the VM and Interpreter.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: fix tests related to test_prog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term handles `commands_main`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_main` as JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_main` as HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse `commands_main`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce `commands_main`, commands about main programs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/crypto: add in-place xor cipher on CStrings

The xor operation as defined in xor_ciphers lacked a performance-aware
version on byte sequences.

This commit adds a fast version to perform it on a CString.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Added HTTP METHODS to CurlHTTPRequest

Signed-off-by: Matthieu Le Guellaut <leguellaut.matthieu@gmail.com>

lib/core/text: add memset to `CString`

Memset is an operation used for setting bytes to a particular value.

Since it was not defined on CStrings, we add it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib: manually add `package.desc` keys to some packages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: generate `package.desc` keys to all packages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: allow NitUnit entities in model view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect all mmodules for a mgroup

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests/test_prog: add a dummy test suite

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests/test_prog: add a dummy man page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: src/nit: remove unused primitive_types module

The primitive_types module contained legacy native file IO methods which
were unused in the current interpreter.

Since it is not necessary anymore, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2660

Merge: lib/actors: uniformize Makefile names with the rest of the Nit project

Some of the `actors` Makefile where named `makefile`, this looks weird compared to all others Makefiles in the Nit project.

This PR renames them.

Pull-Request: #2661

Merge: doc/commands: introduce INI commands

This PR introduces commands related to `package.ini` files:
* `CmdIniDescription`: return the package description from the `package.ini` file
* `CmdIniGitUrl`: return the package Git URL from the `package.ini` file
* `CmdIniCloneCommand`: return the package `git clone` command from the `package.ini` file
* `CmdIniIssuesUrl`: return the package issues URL from the `package.ini` file
* `CmdIniMaintainer`: return the maintainer name from the `package.ini` file
* `CmdIniContributors`: return the contributors list from the `package.ini` file
* `CmdIniLicense`: return the license string from the `package.ini` file
* `CmdLicenseFile` and `CmdLicenseFileContent`: return the LICENSE.md file and its content
* `CmdContribFile` and `CmdContribFileContent`: return the CONTRIBUTING.md file and its content

Pull-Request: #2657
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitpackage: generate ini files

This PR replace the old `nit-makepackage` sheel script by an option in the `nitpackage` tool.

`nitpackage` is now able to generate `package.ini` files automatically with the following command:

```sh
nitpackage lib/ --gen-ini
```

As examples, I provide two generated ini files:
* `lib/fca/package.ini`
* `lib/vsm/package.ini`

Both file were generated with `nitpackage`, I only edited manually the `tags` and `desc` keys.

Please ignore the three first commits as they belong to #2652.

Pull-Request: #2653
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/ini: better output

This PR changes three things:
* remove `nullable` warnings
* keep the keys in the same order than they are added to the config file
* group keys in the ini output

Pull-Request: #2652
Reviewed-by: Jean Privat <jean@pryen.org>

json: rename and improve the quick and easy `deserialize_json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: fix test for `test_sort_perf`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove old and useless `doc` view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add HTML view for ini commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: serve routes for ini commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term handles `commands_ini`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_ini` as JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_ini` as HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse `commands_ini`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce `commands_ini` for .INI related commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: update man page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: add option to check existing package.ini files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: remove unknown ini key `version`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: update INI files with for expanded paths

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: generate missing INI files with `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: generate INI files

Also remove the old shell script `nit-makepackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model/mpackage: introduce INI path related services

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: make package expension optional

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/actors: uniformize Makefile names with the rest of the Nit project

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/nit: remove unused primitive_types module

The primitive_types module contained legacy native file IO methods which
were unused in the current interpreter.

Since it is not necessary anymore, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

nitpackage: only work on packages passed as argument

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: move package path services up to `model/mpackage.nit`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: write output with groups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: write output with groups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Nitcatalog for nitpm

This move the packages fetched by nitpm to nitlanguage.org and use the nitcatalog infrastructure to publish and update the ini files.

The list of public packages is now in `contrig/nitpm_packages.txt` (was `oot.txt`) and new public packages can be added to the file trough PR and review by the community.

Note that there is nothing yet to check the sanity of public pagkage (nor do any long run quality assurance).

Pull-Request: #2650
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: pnacl: remove target and related projects

Since PNaCl is now deprecated for all targets, and since nobody use the
platform or the contributed online_ide, we remove the packages from the
repo.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2651

Merge: share/man: update man page for nitweb

This PR fixes the warning thrown by check-manpages.sh for the `nitweb` tool.

Pull-Request: #2654

tests/test_prog: add dummy documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: update man page for nitweb

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>