add destruction traces, add lttng channel configuration file, resolve the signed pointer issue by using uintptr_t instead of intptr_t.
add some infomations in nitc man page

Signed-off-by: olivierschirm <olive.schirm@gmail.com>

add the trace system with a first test which is instance tracing

Signed-off-by: olivierschirm <olive.schirm@gmail.com>

Merge: src/nit: remove unused primitive_types module

The primitive_types module contained legacy native file IO methods which
were unused in the current interpreter.

Since it is not necessary anymore, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2660

Merge: lib/actors: uniformize Makefile names with the rest of the Nit project

Some of the `actors` Makefile where named `makefile`, this looks weird compared to all others Makefiles in the Nit project.

This PR renames them.

Pull-Request: #2661

Merge: doc/commands: introduce INI commands

This PR introduces commands related to `package.ini` files:
* `CmdIniDescription`: return the package description from the `package.ini` file
* `CmdIniGitUrl`: return the package Git URL from the `package.ini` file
* `CmdIniCloneCommand`: return the package `git clone` command from the `package.ini` file
* `CmdIniIssuesUrl`: return the package issues URL from the `package.ini` file
* `CmdIniMaintainer`: return the maintainer name from the `package.ini` file
* `CmdIniContributors`: return the contributors list from the `package.ini` file
* `CmdIniLicense`: return the license string from the `package.ini` file
* `CmdLicenseFile` and `CmdLicenseFileContent`: return the LICENSE.md file and its content
* `CmdContribFile` and `CmdContribFileContent`: return the CONTRIBUTING.md file and its content

Pull-Request: #2657
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitpackage: generate ini files

This PR replace the old `nit-makepackage` sheel script by an option in the `nitpackage` tool.

`nitpackage` is now able to generate `package.ini` files automatically with the following command:

```sh
nitpackage lib/ --gen-ini
```

As examples, I provide two generated ini files:
* `lib/fca/package.ini`
* `lib/vsm/package.ini`

Both file were generated with `nitpackage`, I only edited manually the `tags` and `desc` keys.

Please ignore the three first commits as they belong to #2652.

Pull-Request: #2653
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/ini: better output

This PR changes three things:
* remove `nullable` warnings
* keep the keys in the same order than they are added to the config file
* group keys in the ini output

Pull-Request: #2652
Reviewed-by: Jean Privat <jean@pryen.org>

tests: fix test for `test_sort_perf`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove old and useless `doc` view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add HTML view for ini commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: serve routes for ini commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term handles `commands_ini`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_ini` as JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: render `commands_ini` as HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse `commands_ini`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce `commands_ini` for .INI related commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: update man page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: add option to check existing package.ini files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: remove unknown ini key `version`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: update INI files with for expanded paths

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: generate missing INI files with `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: generate INI files

Also remove the old shell script `nit-makepackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model/mpackage: introduce INI path related services

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: make package expension optional

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/actors: uniformize Makefile names with the rest of the Nit project

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/nit: remove unused primitive_types module

The primitive_types module contained legacy native file IO methods which
were unused in the current interpreter.

Since it is not necessary anymore, we remove it.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

nitpackage: only work on packages passed as argument

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: move package path services up to `model/mpackage.nit`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: write output with groups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: write output with groups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/ini: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Nitcatalog for nitpm

This move the packages fetched by nitpm to nitlanguage.org and use the nitcatalog infrastructure to publish and update the ini files.

The list of public packages is now in `contrig/nitpm_packages.txt` (was `oot.txt`) and new public packages can be added to the file trough PR and review by the community.

Note that there is nothing yet to check the sanity of public pagkage (nor do any long run quality assurance).

Pull-Request: #2650
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: pnacl: remove target and related projects

Since PNaCl is now deprecated for all targets, and since nobody use the
platform or the contributed online_ide, we remove the packages from the
repo.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2651

Merge: share/man: update man page for nitweb

This PR fixes the warning thrown by check-manpages.sh for the `nitweb` tool.

Pull-Request: #2654

tests/test_prog: add dummy documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: update man page for nitweb

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: add an official nitpm_packages.txt list of repositories

Signed-off-by: Jean Privat <jean@pryen.org>

pnacl: remove target and related projects

Since PNaCl is now deprecated for all targets, and since nobody use the
platform or the contributed online_ide, we remove the packages from the
repo.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

contrib/oot.sh: the name is optional (if guessable from the reponame)

Signed-off-by: Jean Privat <jean@pryen.org>

nitpm: use the inifiles exposed by the nit catalog

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: copy the ini files in p/name.ini

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/socket: fix socket_c documentation

The socket_c module contained a lot of undocumented functions and
classes, which in turn caused nitpick to be too verbous on subsequent
modules when editing.

This commit fixes all the documentation warnings left in the module.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2643

lib/socket: fix socket documentation

The socket modules contained a lot of undocumented functions and
classes, which in turn caused nitpick to be too verbous on subsequent
modules when editing.

This commit fixes all the documentation warnings left in the modules.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: lib: expand packages

I'm currently working on generating README files for packages that don't already have one.
The first step is to create a directory for each package (I call it *expanding* the package).

In this PR, I move all singleton packages to their own directory:
* `lib/a_star.nit` --> `lib/a_star/a_star.nit`
* `lib/x11.nit` --> `lib/x11/x11.nit`
* ...

The `package.ini` file is also moved and renamed.

I used the `nitreadme` bin to do that:

~~~sh
nitreadme --expand lib/
~~~

Next step will be to create the README.md file into the newly created directory.

Pull-Request: #2637
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: doc/commands: introduce CmdEntityLink command

This PR introduce the CmdEntityLink command.

The link command is used to create a link from the generated documentation file to an external resource.

Command forms:
* `[[popcorn]]` generates a link to the `popcorn` package documentation resource.
* `[[popcorn | text: foo, title: bar]]` allows customization of link text and title.

The resource URL depends on the tool.

For example:
* `nitweb` (when the command is used in `docdown` or in a `README`) renders a link to the HTML documentation page on the server
* `nitdoc` (TODO) renders a link to the static documentation page
* `nitx` replaces the link commands by the comment commands (that contains the file location)

Pull-Request: #2641
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Write byte updates

More in the Stream refactor series, this commit adds a low-level byte writing method, to be re-implemented when needed. The read_bytes service can now be defined in writer only, as a wrapper to the lower-level service.

Pull-Request: #2642

Merge: doc/commands: add tests for html rendering

As mentioned by @R4PaSs in #2641, there is no tests for the HTML rendering of commands.

This PR adds nitunit tests for the `commands_html.nit` module.

Pull-Request: #2644
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitpick: do not warn in not explicitly required modules

The infrastructure was already in toocontext, now nitpick uses it.

Pull-Request: #2645

Merge: tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Pull-Request: #2646

Merge: Remove the binary serialization service

This PR simply removes the binary::serialization module and its tests. Clients should use `msgpack` instead.

The binary serialization service was mostly a test of the serialization framework, it uses a custom format that is hard to debug, it does not subtype check the data before deserialization, and it has no more clients. In comparison, the msgpack serialization service uses a standardized format, it is debuggable and it is generally more space efficient.

Pull-Request: #2647

tests: update tests for `c` module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add sav for nitpackage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: add manpage for `nitpackage`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/: expand all packages in their own directories

Using `nitreadme lib/ --expand`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add low-level byte writing method

Akin to the read without overhead, this commit adds a low-level service
to write bytes to a Writer stream.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

binary: remove the serialization service, clients should use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests/nitunit: test that private methods are nitunited

The code date from #360

close #1603

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: parse_examples: minor fixes

This PR fixes two things:
1. call `visit_all` so statements are all visited
2. also count newly instanciated mclasses

Pull-Request: #2639

nitpick: do not warn in not explicitly required modules

Signed-off-by: Jean Privat <jean@pryen.org>

parse_examples: count new on classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: No intrude rope stream

Two things happening here, in two commits:

* the first commit moves the definition of `decoder` into Stream, and renames it to `codec` since both coding/decoding will be used by streams when dealing with String semantics.
* the second commit removes the `intrude inport ropes` from stream as this was not necessary, and performance-wise did not matter sufficiently to justify this

Pull-Request: #2632
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Read byte rewrite

As part of the stream refactor series, this patches cleanup msgpack a bit and introduce a lower-level `read_byte` implementation on which `read_byte(s)` will rely for reading data from a source.

In the future, the lowest-level interface to read bytes, and the only one required for implementing a new stream will be the `raw_read_byte(s)` functions.

A cleanup of the current streams will be needed for this to be used properly, coming in the next few PRs.

Note: The first two commits have already been submitted under #2632, therefore disregard them for this PR.

Pull-Request: #2633
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitmetrics: metrics about ReadMe files

This PR add an option `--readme` to extract metrics about ReadMe / Markdown files.

Running the following command:

~~~sh
nitmetrics --readme tests/test_prog
~~~

Will produce the following output:

~~~md
*** METRICS ***

# ReadMe metrics

 ## package test_prog (test_prog/README.md)
  * has_package 1
  * has_readme 1
  * md_lines 12
  * nb_section 0
  * md_blocks 14
  * BlockParagraph 4
  * BlockUnorderedList 1
  * BlockListItem 4
  * SpanCode 4
  * Image 1
~~~

Pull-Request: #2634
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Some lib/graph love

I needed an Eulerian circuit so I implemented a quick and dirty one

Pull-Request: #2635
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2638

Merge: lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2640
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

doc/api: allow entity url customization

Also update tests for HTML since the URLs are different.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: DocDown accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: term accept CmdEntityLink commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: do not accept empty CmdEntity names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink command strings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink command to HTML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: generate CmdEntityLink to JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parse CmdEntityLink commands from http

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce CmdEntityLink command

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix linearization warnings for commands HTML rendering

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix HTML rendering for CmdEntity

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: add tests for commands_html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitreadme: introduce `nitreadme` a tool to manage README files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: add no-overhead read_bytes implementation

read_bytes as a simple interface is relevant, but may hinder
performances in case a chunk is repeatedly read and discarded as for
each read operation, a buffer is re-allocated.

A secondary read operation is introduced to read directly to a CString,
using closer-to-C semantics.

Also start using codec lookahead as source for reading bytes.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

tests: add test for --readme option from nitmetrics

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: extract metrics about Readme/Markdown files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/msgpack: unify several cases for deserialization

Some cases were treated independently while retaining mostly the same
code.

This commit tries to unite such cases into a single branch.

Doing so helps readability, reduces code duplication and should
hopefully improve performance as the number of tests to be performed is
lower.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

lib/core: remove ropes intrude import in stream

The intrude import of ropes in lib/core/stream was only due to the
ropification of the read_all_bytes.

As the leaves were too small to have a positive impact with the actual
threshold value being chosen here, we remove the ropification in the
read_all function.

This simplifies code a lot, and keeps out the intrude import of the
ropes module.

We also take advantage of this modification to start using codecs here
to decode the string.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

stream: move decoder to stream and rename as codec

Since every stream will need to pass through a codec to code/decode to
and from textual data, the former 'decoder' attribute is now moved to
Stream and renamed to better reflect its use.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

parse_examples: visit all statements

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect all modules from a package

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graph: add `Digraph::eulerian_path`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: add MutableDigraph::add_graph

Signed-off-by: Jean Privat <jean@pryen.org>

lib/graph: remove unneeded import in docunits

Signed-off-by: Jean Privat <jean@pryen.org>

lib: rename graphs to graph

plurial in packagename is weird

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2631

core/stream: change read_byte return type to Int

A read_byte used to return a nullable Byte, which could cause
unnecessary boxings, and thus could harm performance.

This commit changes its return to Int, and adopts a closer-to-C api,
returning a negative value when an error occurs.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Merge: nitc: do not autocast primitive types

Fix #2629

Pull-Request: #2630

Merge: tests: fix locale issue on non-Debian linux

The C.UTF-8 locale is Debian-specific and causes issues on other
platforms.

To avoid setlocale error messages, the LC_ALL export will default on C
if C.UTF-8 is unavailable on the target platform.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2628

Merge: gitignore: ignore nit_compile folders and contents

nit_compile are a series of generated intermediate C files that should
not be versioned.

We therefore add them to the .gitignore to eliminate them from the
index.

Signed-off-by: Lucas Bajolet <lucas.bajolet@gmail.com>

Pull-Request: #2627
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: console: don't color output when stdout is not a TTY (by default)

Change the behavior of the `console` package to ignore color commands like `Text::green` when stdout is not a TTY. You can override this behavior by setting `force_console_colors = true`.

I made this change to color the output of nitpm, however, it can be useful to other tools to support stdout redirection by default.

Pull-Request: #2626