Merge: Nitcatalog for nitpm

This move the packages fetched by nitpm to nitlanguage.org and use the nitcatalog infrastructure to publish and update the ini files.

The list of public packages is now in `contrig/nitpm_packages.txt` (was `oot.txt`) and new public packages can be added to the file trough PR and review by the community.

Note that there is nothing yet to check the sanity of public pagkage (nor do any long run quality assurance).

Pull-Request: #2650
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: pnacl: remove target and related projects

Since PNaCl is now deprecated for all targets, and since nobody use the
platform or the contributed online_ide, we remove the packages from the
repo.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2651

Merge: share/man: update man page for nitweb

This PR fixes the warning thrown by check-manpages.sh for the `nitweb` tool.

Pull-Request: #2654

share/man: update man page for nitweb

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: add an official nitpm_packages.txt list of repositories

Signed-off-by: Jean Privat <jean@pryen.org>

pnacl: remove target and related projects

Since PNaCl is now deprecated for all targets, and since nobody use the
platform or the contributed online_ide, we remove the packages from the
repo.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

contrib/oot.sh: the name is optional (if guessable from the reponame)

Signed-off-by: Jean Privat <jean@pryen.org>

nitpm: use the inifiles exposed by the nit catalog

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: copy the ini files in p/name.ini

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/socket: fix socket_c documentation

The socket_c module contained a lot of undocumented functions and
classes, which in turn caused nitpick to be too verbous on subsequent
modules when editing.

This commit fixes all the documentation warnings left in the module.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2643

lib/socket: fix socket documentation

The socket modules contained a lot of undocumented functions and
classes, which in turn caused nitpick to be too verbous on subsequent
modules when editing.

This commit fixes all the documentation warnings left in the modules.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: lib: expand packages

I'm currently working on generating README files for packages that don't already have one.
The first step is to create a directory for each package (I call it *expanding* the package).

In this PR, I move all singleton packages to their own directory:
* `lib/a_star.nit` --> `lib/a_star/a_star.nit`
* `lib/x11.nit` --> `lib/x11/x11.nit`
* ...

The `package.ini` file is also moved and renamed.

I used the `nitreadme` bin to do that:

~~~sh
nitreadme --expand lib/
~~~

Next step will be to create the README.md file into the newly created directory.

Pull-Request: #2637
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: doc/commands: introduce CmdEntityLink command

This PR introduce the CmdEntityLink command.

The link command is used to create a link from the generated documentation file to an external resource.

Command forms:
* `[[popcorn]]` generates a link to the `popcorn` package documentation resource.
* `[[popcorn | text: foo, title: bar]]` allows customization of link text and title.

The resource URL depends on the tool.

For example:
* `nitweb` (when the command is used in `docdown` or in a `README`) renders a link to the HTML documentation page on the server
* `nitdoc` (TODO) renders a link to the static documentation page
* `nitx` replaces the link commands by the comment commands (that contains the file location)

Pull-Request: #2641
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Write byte updates

More in the Stream refactor series, this commit adds a low-level byte writing method, to be re-implemented when needed. The read_bytes service can now be defined in writer only, as a wrapper to the lower-level service.

Pull-Request: #2642

Merge: doc/commands: add tests for html rendering

As mentioned by @R4PaSs in #2641, there is no tests for the HTML rendering of commands.

This PR adds nitunit tests for the `commands_html.nit` module.

Pull-Request: #2644
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitpick: do not warn in not explicitly required modules

The infrastructure was already in toocontext, now nitpick uses it.

Pull-Request: #2645

Merge: tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Pull-Request: #2646

Merge: Remove the binary serialization service

This PR simply removes the binary::serialization module and its tests. Clients should use `msgpack` instead.

The binary serialization service was mostly a test of the serialization framework, it uses a custom format that is hard to debug, it does not subtype check the data before deserialization, and it has no more clients. In comparison, the msgpack serialization service uses a standardized format, it is debuggable and it is generally more space efficient.

Pull-Request: #2647

tests: update tests for `c` module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add sav for nitpackage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: add manpage for `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/: expand all packages in their own directories

Using `nitreadme lib/ --expand`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add low-level byte writing method

Akin to the read without overhead, this commit adds a low-level service
to write bytes to a Writer stream.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

binary: remove the serialization service, clients should use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: parse_examples: minor fixes

This PR fixes two things:
1. call `visit_all` so statements are all visited
2. also count newly instanciated mclasses

Pull-Request: #2639

nitpick: do not warn in not explicitly required modules

Signed-off-by: Jean Privat <jean@pryen.org>

parse_examples: count new on classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: No intrude rope stream

Two things happening here, in two commits:

* the first commit moves the definition of `decoder` into Stream, and renames it to `codec` since both coding/decoding will be used by streams when dealing with String semantics.
* the second commit removes the `intrude inport ropes` from stream as this was not necessary, and performance-wise did not matter sufficiently to justify this

Pull-Request: #2632
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Read byte rewrite

As part of the stream refactor series, this patches cleanup msgpack a bit and introduce a lower-level `read_byte` implementation on which `read_byte(s)` will rely for reading data from a source.

In the future, the lowest-level interface to read bytes, and the only one required for implementing a new stream will be the `raw_read_byte(s)` functions.

A cleanup of the current streams will be needed for this to be used properly, coming in the next few PRs.

Note: The first two commits have already been submitted under #2632, therefore disregard them for this PR.

Pull-Request: #2633
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitmetrics: metrics about ReadMe files

This PR add an option `--readme` to extract metrics about ReadMe / Markdown files.

Running the following command:

~~~sh
nitmetrics --readme tests/test_prog
~~~

Will produce the following output:

~~~md
*** METRICS ***

# ReadMe metrics

 ## package test_prog (test_prog/README.md)
  * has_package 1
  * has_readme 1
  * md_lines 12
  * nb_section 0
  * md_blocks 14
  * BlockParagraph 4
  * BlockUnorderedList 1
  * BlockListItem 4
  * SpanCode 4
  * Image 1
~~~

Pull-Request: #2634
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Some lib/graph love

I needed an Eulerian circuit so I implemented a quick and dirty one

Pull-Request: #2635
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2638

Merge: lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2640
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

doc/api: allow entity url customization

Also update tests for HTML since the URLs are different.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: DocDown accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: do not accept empty CmdEntity names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink command strings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink command to HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink to JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink commands from http

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce CmdEntityLink command

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix linearization warnings for commands HTML rendering

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix HTML rendering for CmdEntity

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: add tests for commands_html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitreadme: introduce `nitreadme` a tool to manage README files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add no-overhead read_bytes implementation

read_bytes as a simple interface is relevant, but may hinder
performances in case a chunk is repeatedly read and discarded as for
each read operation, a buffer is re-allocated.

A secondary read operation is introduced to read directly to a CString,
using closer-to-C semantics.

Also start using codec lookahead as source for reading bytes.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: add test for --readme option from nitmetrics

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: extract metrics about Readme/Markdown files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

parse_examples: visit all statements

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graph: add `Digraph::eulerian_path`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: add MutableDigraph::add_graph

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: remove unneeded import in docunits

Signed-off-by: Jean Privat <jean@pryen.org>

lib: rename graphs to graph

plurial in packagename is weird

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2631

core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: nitc: do not autocast primitive types

Fix #2629

Pull-Request: #2630

Merge: tests: fix locale issue on non-Debian linux

The C.UTF-8 locale is Debian-specific and causes issues on other
platforms.

To avoid setlocale error messages, the LC_ALL export will default on C
if C.UTF-8 is unavailable on the target platform.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2628

Merge: gitignore: ignore nit_compile folders and contents

nit_compile are a series of generated intermediate C files that should
not be versioned.

We therefore add them to the .gitignore to eliminate them from the
index.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2627
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: console: don't color output when stdout is not a TTY (by default)

Change the behavior of the `console` package to ignore color commands like `Text::green` when stdout is not a TTY. You can override this behavior by setting `force_console_colors = true`.

I made this change to color the output of nitpm, however, it can be useful to other tools to support stdout redirection by default.

Pull-Request: #2626

Merge: Extend nitpm (formerly picnit) to support package versions and dependencies

Rename picnit to nitpm and intro 4 main new features.

### Install package versions

Install specific versions of a package using the following command:

~~~
nitpm install gamnit=0.5
~~~

The version string (the `0.5` in the above example) must be a Git branch or tag, it will be used when cloning the package locally. The package will be downloaded to `~/.local/lib/nit/gamnit=0.5/`, allowing multiple versions of the same package to be installed concurrently.

### Dependencies in package.ini

Packages should now declare dependencies to other nitpm packages in the `package.ini` at the `import` key:

~~~
[package]
name=my_package
import=hello_nitpm, gamnit=0.5
~~~

The dependencies can then be installed automatically with `nitpm install` from the root of the package.

Nit tools read the local `package.ini` to redirect imports of `gamnit` inside this package to this specific version. So for `my_package` described above, all references to `gamnit` will use the implementation `gamnit=0.5`.

### Recursive installation

nitpm installs dependencies recursively, so if `gamnit` requires `glesv2`, after an explicit command to install `gamnit` nitpm will also install `glesv2`. This implementation is minimal, it could be improved by precalculating all dependencies and asking for confirmation.

### Customizable install directory

You can now use the env var `NITPM_PATH` to set the path where libraries are installed. This will override the default path at `~/.local/lib/nit/`.

### Others

* `nitpm uninstall` can uninstall many packages at once, it is safer and it accepts the -f option to skip the confirmation.
* `nitpm list` lists packages in alphabetical order.

Pull-Request: #2622
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

nitc: do not autocast primitive types

Signed-off-by: Jean Privat <jean@pryen.org>

tests: fix locale issue on non-Debian linux

The C.UTF-8 locale is Debian-specific and causes issues on other
platforms.

To avoid setlocale error messages, the LC_ALL export will default on
C.UTF-8, the system utf-8 locale if unavailable, and on C if no better
choice is available.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

gitignore: ignore nit_compile folders and contents

nit_compile are a series of generated intermediate C files that should
not be versioned.

We therefore add them to the .gitignore to eliminate them from the
index.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: remove colors from savs of nitls, nitlight, etc.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rubix: force console colors because it makes no sense without it

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

console: only color outputs if stdout isa TTY

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Make the `do catch` great again

This PR removes some of the limitations of the `do catch` :
* Hard-coded limit of 100 jumping environments is gone, the array is now dynamic
* The structure for managing jump environments is now lazy initialized
* Now using gcc's `__thread` specifier so that each thread has it's own jumping stack

Pull-Request: #2612
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: share: shallow clone bdwgc for Android and iOS

When compiling a Nit app for Android, a specific branch of bdwgc/libgc/boehm-gc is cloned locally. Using a shallow clone only fetches the last commit, for a faster download and to use less disk space.

Closes #2621.

Pull-Request: #2624
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: curl: basic Unix domain socket support

Support using a Unix socket to send an HTTP request.

~~~
var request = new CurlHTTPRequest("http://localhost/")
request.unix_socket_path = "/tmp/nginx.sock"
var response = request.execute
~~~

@matthmsl Is this what you needed for #2623?

Pull-Request: #2625
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

console: move up services from String to Text, and update doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

console: fix typos and doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: niti skips nitpm because it doesn't support curl callbacks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: updates test for nitpm with new services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: update picnit man page

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: tweak -h and -v to please check_manpages.sh

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: protect uninstall from deleting parent folders

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: uninstall accepts many packages and can be forced

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: list packages in alphabetical order

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: rename from picnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: keep going if a package is already installed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm/loader: use NITPM_PATH

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: search for the package version declared in package.ini

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: recursively install imported packages

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: support installing a specific package version

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: install packages listed in package.ini by default

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitpm: intro service to parse the import line in package.ini

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

additional tests for `do catch` structure

Signed-off-by: Romain Chanoir <romain.chanoir@viacesi.fr>

abstract_compiler: Multi threaded and dynamic `do catch` mecanism

Signed-off-by: Romain Chanoir <romain.chanoir@viacesi.fr>

curl: intro `CurlHTTPRequest::unix_socket_path`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: shallow clone bdwgc for Android and iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: cleanup, remove a typo and a callback from C to Nit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: fix typo in `search_module_by_amodule_name`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>