Added HTTP METHODS to CurlHTTPRequest

Signed-off-by: Matthieu Le Guellaut <leguellaut.matthieu@gmail.com>

Merge: lib: expand packages

I'm currently working on generating README files for packages that don't already have one.
The first step is to create a directory for each package (I call it *expanding* the package).

In this PR, I move all singleton packages to their own directory:
* `lib/a_star.nit` --> `lib/a_star/a_star.nit`
* `lib/x11.nit` --> `lib/x11/x11.nit`
* ...

The `package.ini` file is also moved and renamed.

I used the `nitreadme` bin to do that:

~~~sh
nitreadme --expand lib/
~~~

Next step will be to create the README.md file into the newly created directory.

Pull-Request: #2637
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: doc/commands: introduce CmdEntityLink command

This PR introduce the CmdEntityLink command.

The link command is used to create a link from the generated documentation file to an external resource.

Command forms:
* `[[popcorn]]` generates a link to the `popcorn` package documentation resource.
* `[[popcorn | text: foo, title: bar]]` allows customization of link text and title.

The resource URL depends on the tool.

For example:
* `nitweb` (when the command is used in `docdown` or in a `README`) renders a link to the HTML documentation page on the server
* `nitdoc` (TODO) renders a link to the static documentation page
* `nitx` replaces the link commands by the comment commands (that contains the file location)

Pull-Request: #2641
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Write byte updates

More in the Stream refactor series, this commit adds a low-level byte writing method, to be re-implemented when needed. The read_bytes service can now be defined in writer only, as a wrapper to the lower-level service.

Pull-Request: #2642

Merge: doc/commands: add tests for html rendering

As mentioned by @R4PaSs in #2641, there is no tests for the HTML rendering of commands.

This PR adds nitunit tests for the `commands_html.nit` module.

Pull-Request: #2644
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitpick: do not warn in not explicitly required modules

The infrastructure was already in toocontext, now nitpick uses it.

Pull-Request: #2645

Merge: tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Pull-Request: #2646

Merge: Remove the binary serialization service

This PR simply removes the binary::serialization module and its tests. Clients should use `msgpack` instead.

The binary serialization service was mostly a test of the serialization framework, it uses a custom format that is hard to debug, it does not subtype check the data before deserialization, and it has no more clients. In comparison, the msgpack serialization service uses a standardized format, it is debuggable and it is generally more space efficient.

Pull-Request: #2647

tests: update tests for `c` module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add sav for nitpackage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: add manpage for `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/: expand all packages in their own directories

Using `nitreadme lib/ --expand`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add low-level byte writing method

Akin to the read without overhead, this commit adds a low-level service
to write bytes to a Writer stream.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

binary: remove the serialization service, clients should use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: parse_examples: minor fixes

This PR fixes two things:
1. call `visit_all` so statements are all visited
2. also count newly instanciated mclasses

Pull-Request: #2639

nitpick: do not warn in not explicitly required modules

Signed-off-by: Jean Privat <jean@pryen.org>

parse_examples: count new on classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: No intrude rope stream

Two things happening here, in two commits:

* the first commit moves the definition of `decoder` into Stream, and renames it to `codec` since both coding/decoding will be used by streams when dealing with String semantics.
* the second commit removes the `intrude inport ropes` from stream as this was not necessary, and performance-wise did not matter sufficiently to justify this

Pull-Request: #2632
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Read byte rewrite

As part of the stream refactor series, this patches cleanup msgpack a bit and introduce a lower-level `read_byte` implementation on which `read_byte(s)` will rely for reading data from a source.

In the future, the lowest-level interface to read bytes, and the only one required for implementing a new stream will be the `raw_read_byte(s)` functions.

A cleanup of the current streams will be needed for this to be used properly, coming in the next few PRs.

Note: The first two commits have already been submitted under #2632, therefore disregard them for this PR.

Pull-Request: #2633
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitmetrics: metrics about ReadMe files

This PR add an option `--readme` to extract metrics about ReadMe / Markdown files.

Running the following command:

~~~sh
nitmetrics --readme tests/test_prog
~~~

Will produce the following output:

~~~md
*** METRICS ***

# ReadMe metrics

 ## package test_prog (test_prog/README.md)
  * has_package 1
  * has_readme 1
  * md_lines 12
  * nb_section 0
  * md_blocks 14
  * BlockParagraph 4
  * BlockUnorderedList 1
  * BlockListItem 4
  * SpanCode 4
  * Image 1
~~~

Pull-Request: #2634
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Some lib/graph love

I needed an Eulerian circuit so I implemented a quick and dirty one

Pull-Request: #2635
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2638

Merge: lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2640
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

doc/api: allow entity url customization

Also update tests for HTML since the URLs are different.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: DocDown accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: do not accept empty CmdEntity names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink command strings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink command to HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink to JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink commands from http

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce CmdEntityLink command

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix linearization warnings for commands HTML rendering

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix HTML rendering for CmdEntity

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: add tests for commands_html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitreadme: introduce `nitreadme` a tool to manage README files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add no-overhead read_bytes implementation

read_bytes as a simple interface is relevant, but may hinder
performances in case a chunk is repeatedly read and discarded as for
each read operation, a buffer is re-allocated.

A secondary read operation is introduced to read directly to a CString,
using closer-to-C semantics.

Also start using codec lookahead as source for reading bytes.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: add test for --readme option from nitmetrics

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: extract metrics about Readme/Markdown files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

parse_examples: visit all statements

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graph: add `Digraph::eulerian_path`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: add MutableDigraph::add_graph

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: remove unneeded import in docunits

Signed-off-by: Jean Privat <jean@pryen.org>

lib: rename graphs to graph

plurial in packagename is weird

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2631

core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: nitc: do not autocast primitive types

Fix #2629

Pull-Request: #2630

Merge: tests: fix locale issue on non-Debian linux

The C.UTF-8 locale is Debian-specific and causes issues on other
platforms.

To avoid setlocale error messages, the LC_ALL export will default on C
if C.UTF-8 is unavailable on the target platform.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2628

Merge: gitignore: ignore nit_compile folders and contents

nit_compile are a series of generated intermediate C files that should
not be versioned.

We therefore add them to the .gitignore to eliminate them from the
index.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2627
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: console: don't color output when stdout is not a TTY (by default)

Change the behavior of the `console` package to ignore color commands like `Text::green` when stdout is not a TTY. You can override this behavior by setting `force_console_colors = true`.

I made this change to color the output of nitpm, however, it can be useful to other tools to support stdout redirection by default.

Pull-Request: #2626

Merge: Extend nitpm (formerly picnit) to support package versions and dependencies

Rename picnit to nitpm and intro 4 main new features.

### Install package versions

Install specific versions of a package using the following command:

~~~
nitpm install gamnit=0.5
~~~

The version string (the `0.5` in the above example) must be a Git branch or tag, it will be used when cloning the package locally. The package will be downloaded to `~/.local/lib/nit/gamnit=0.5/`, allowing multiple versions of the same package to be installed concurrently.

### Dependencies in package.ini

Packages should now declare dependencies to other nitpm packages in the `package.ini` at the `import` key:

~~~
[package]
name=my_package
import=hello_nitpm, gamnit=0.5
~~~

The dependencies can then be installed automatically with `nitpm install` from the root of the package.

Nit tools read the local `package.ini` to redirect imports of `gamnit` inside this package to this specific version. So for `my_package` described above, all references to `gamnit` will use the implementation `gamnit=0.5`.

### Recursive installation

nitpm installs dependencies recursively, so if `gamnit` requires `glesv2`, after an explicit command to install `gamnit` nitpm will also install `glesv2`. This implementation is minimal, it could be improved by precalculating all dependencies and asking for confirmation.

### Customizable install directory

You can now use the env var `NITPM_PATH` to set the path where libraries are installed. This will override the default path at `~/.local/lib/nit/`.

### Others

* `nitpm uninstall` can uninstall many packages at once, it is safer and it accepts the -f option to skip the confirmation.
* `nitpm list` lists packages in alphabetical order.

Pull-Request: #2622
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

nitc: do not autocast primitive types

Signed-off-by: Jean Privat <jean@pryen.org>

tests: fix locale issue on non-Debian linux

The C.UTF-8 locale is Debian-specific and causes issues on other
platforms.

To avoid setlocale error messages, the LC_ALL export will default on
C.UTF-8, the system utf-8 locale if unavailable, and on C if no better
choice is available.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

gitignore: ignore nit_compile folders and contents

nit_compile are a series of generated intermediate C files that should
not be versioned.

We therefore add them to the .gitignore to eliminate them from the
index.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: remove colors from savs of nitls, nitlight, etc.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rubix: force console colors because it makes no sense without it

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

console: only color outputs if stdout isa TTY

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Make the `do catch` great again

This PR removes some of the limitations of the `do catch` :
* Hard-coded limit of 100 jumping environments is gone, the array is now dynamic
* The structure for managing jump environments is now lazy initialized
* Now using gcc's `__thread` specifier so that each thread has it's own jumping stack

Pull-Request: #2612
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: share: shallow clone bdwgc for Android and iOS

When compiling a Nit app for Android, a specific branch of bdwgc/libgc/boehm-gc is cloned locally. Using a shallow clone only fetches the last commit, for a faster download and to use less disk space.

Closes #2621.

Pull-Request: #2624
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: curl: basic Unix domain socket support

Support using a Unix socket to send an HTTP request.

~~~
var request = new CurlHTTPRequest("http://localhost/")
request.unix_socket_path = "/tmp/nginx.sock"
var response = request.execute
~~~

@matthmsl Is this what you needed for #2623?

Pull-Request: #2625
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

console: move up services from String to Text, and update doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

console: fix typos and doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: niti skips nitpm because it doesn't support curl callbacks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: updates test for nitpm with new services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: update picnit man page

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: tweak -h and -v to please check_manpages.sh

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: protect uninstall from deleting parent folders

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: uninstall accepts many packages and can be forced

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: list packages in alphabetical order

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: rename from picnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: keep going if a package is already installed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm/loader: use NITPM_PATH

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: search for the package version declared in package.ini

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: recursively install imported packages

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: support installing a specific package version

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: install packages listed in package.ini by default

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: intro service to parse the import line in package.ini

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

additional tests for `do catch` structure

Signed-off-by: Romain Chanoir <romain.chanoir@viacesi.fr>

abstract_compiler: Multi threaded and dynamic `do catch` mecanism

Signed-off-by: Romain Chanoir <romain.chanoir@viacesi.fr>

curl: intro `CurlHTTPRequest::unix_socket_path`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: shallow clone bdwgc for Android and iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: cleanup, remove a typo and a callback from C to Nit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: fix typo in `search_module_by_amodule_name`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Fix regressions in make

* nitc_0 is rebuild when needed
* tools are spited into two groups to lighten the initial build

Close #2619

Pull-Request: #2620

makefile: split tools into 2 groups

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: force dependency on all .nit file of src

It is a good approximation of tool changes I suppose.

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: nitc is in ../bin/

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Improve lib/html and nitlight

Various improprement in the whole nitlight chain.

Before: nitlight --keep-going -d tmp ../lib/ ../src
* Elapsed (wall clock) time: 28.71
* User time (seconds): 47.25
* System time (seconds): 1.05
* Maximum resident set size (Gbytes): 2.1311

After: nitlight --keep-going -d tmp ../lib/ ../src
* Elapsed (wall clock) time: 22.97 (-20%)
* User time (seconds): 34.42  (-27%)
* System time (seconds): 1.06
* Maximum resident set size (Gbytes): 1.8924 (-11%)

After + new option: nitlight --keep-going -d tmp ../lib/ ../src --no-infobox
* Elapsed (wall clock) time: 10.71 (-63%)
* User time (seconds): 14.49 (-69%)
* System time (seconds): 0.83
* Maximum resident set size (Gbytes): 1.6713 (-20%)

Pull-Request: #2618

src/nitlight: add option --no-infobox

Signed-off-by: Jean Privat <jean@pryen.org>

src/htmlight: Do not create the whole infobox unless needed

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core::Text::html_escape: better implementation.

But it is shortcut anyway by the implementation in Flat anyway :(

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: really implements Writable::write_to

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: use Array as it improve performances

Signed-off-by: Jean Privat <jean@pryen.org>