compiler: move compilation stuff from modelbuilder to the compiler

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: do not crash on fallback ffi with `extern` without a string

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: neo_doxygen: Enhance description handling

* Document the implicit nodes.
* Prepare `DocListener` for translation of the Doxygen’s markup. #1059 must be fixed before we do anything else.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1060
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/socket: fix, update style and intro features

This is a pretty big update to the `socket` module. It appeared to be broken. Did someone test it since the last modifications to streams and read_line?

* Update and cleanup the style in the first 3 or 4 commits.
* Fix (some of) what was broken.
* Revamp the API with a distinction between listening sockets and stream sockets (making it closer to Ruby and C#). This is the most important commit "lib/socket: distinguish `TCPServer` from `TCPStream`".
* Intro additionnal features used by Mineit: non-blocking `TCPServer` sockets and `TCPStream::flush`.

Still to do:
* Add `Error` support to the API.
* Rename `socket_c` to `native_socket`.
* Fix `SocketObserver` and underlying C implementation.

Pull-Request: #1063
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/socket: update socket clients

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: add an easier server example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: update examples to the latest API

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: minimal update to `SocketObserver` API and note some problems

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: intro `flush` and `blocking=`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: distinguish `TCPServer` from `TCPStream`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: neo_doxygen: location does not need noe4j

Found this while investigating #936 with @xymus

Pull-Request: #1061
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: More no warning

* process no_wargning before analysing classes
* test_suites are automatically no_warning("missing-doc")
* add no_warning in generated files

Pull-Request: #1058
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/socket: intro `NativeSocket::non_blocking` and `tcp_nodelay`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: clean up `native_accept` to better manage failed accept

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: replace `NativeSocketAcceptResult` by a Nit class

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: rename prefix `FF` to `Native` per latest best practices

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: update style of the native module & move comments to doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: use standard type names instead of local typedefs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo_doxygen: Add an API to process description markup.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

html: Add missing documentation.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add a section about brief descriptions in the `README`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add a class to manage brief descriptions.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Enable `JAVADOC_AUTOBRIEF` on Java tests.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Rename the `doc` module.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Document implicit classes.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Document modules.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: location does not need noe4j

Signed-off-by: Jean Privat <jean@pryen.org>

json: regenerate with new `no_warning`

Signed-off-by: Jean Privat <jean@pryen.org>

ffi: fix phase dependencies

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: add `no_warning` when generating files

Signed-off-by: Jean Privat <jean@pryen.org>

pep8analysis: add `no_warning` to generated files

Signed-off-by: Jean Privat <jean@pryen.org>

no_warning: automatically disable `missing-doc` on test_suites

Signed-off-by: Jean Privat <jean@pryen.org>

frontend: handle no-warnings before starting a modelize phase

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/json: introduces collection management in JsonStore.

Also improve the documentation.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1055
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: GitHub API: handles branches and commits

Github API learns to retrieve commits and branches.

Pull-Request: #1054
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: More documentation in src

A lot a documentation, especially in the AST

Pull-Request: #1050
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitdoc: Always escape

Finally fix #891.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1053
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitdoc: Always use `mdoc_or_fallback`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1052
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Activate VM

Add option `--vm` to `nit` that allows users (and jenkins) to run the VM from bin/

@jpages c'est pour toi!

Pull-Request: #1051
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Locally disable warnings

The new annotation `no_warning`, used in module, will disable specific (or all) warnings in the module.

~~~
module lexer is no_warning("missing-doc")
module parser is no_warning("missing-doc", "unread-variable")
module toto is no_warning("all")
~~~

Note: Now there is less noise, a future PR (currently in writing) will remove a lot of warnings in the `src/` directory.

Close #774

Pull-Request: #1048
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: neo_doxygen: Add some pythonic stuff

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1043
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: handles commits

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: handles branches

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src: finish documenting some module

Signed-off-by: Jean Privat <jean@pryen.org>

parser: document all properties of `parser_nodes`

Signed-off-by: Jean Privat <jean@pryen.org>

parser: add some factorization classes in `parser_nodes`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/json: introduces collection management in JsonStore.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fixes GithubAPI::get documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: Always escape names.

Fix #891.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape modifiers.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape links’ attributes.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape page title.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Factorize `nitdoc_name`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Always use `mdoc_or_fallback`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Include a tip for Python in the `README`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add an option to remove the `def` keyword of Python.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

tests: add nitvm to testall.sh

Signed-off-by: Jean Privat <jean@pryen.org>

man: add `--vm` to `nit.md`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: use `nit --vm` (thus available in bin/) for the engine `nitvm`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update nitvm.skip file

Signed-off-by: Jean Privat <jean@pryen.org>

nit: new experimental `--vm` option to run the vm

Signed-off-by: Jean Privat <jean@pryen.org>

vm: rename `run_naive_interpreter` as `run_virtual_machine`.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: tests: `grep` in skip os is now silent

Pull-Request: #1046
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: neo4j: Remove the old `jsonable` library.

That library is useless since PR #907.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1045
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Arrays comprehension

Implements and closes #896

Was not as hard as expected, not bad for less than 12 hours of thinking, coding and sleeping.

Pull-Request: #1042
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

parser: add `no_warning` in generated files to disable some warnings

Signed-off-by: Jean Privat <jean@pryen.org>

frontend: new phase and annotation `no_warning` to disable warning per module

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: enable blacklisting of warnings by source-file.

Signed-off-by: Jean Privat <jean@pryen.org>

parser: promote `collect_X` from `parser_util`

Signed-off-by: Jean Privat <jean@pryen.org>

parser_nodes: promote `get_annotation` and `AAnnotation::name` from `annotation`

Signed-off-by: Jean Privat <jean@pryen.org>

literal: promote `as_X` from annotation

Signed-off-by: Jean Privat <jean@pryen.org>

tests: `grep` in skip os is now silent

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Nitcorn: fixes crash on bufferized inputs

So... I'm not proud of this patch but it works so better this than nothing.

Partially fixes #1027 waiting for better.

Ping
@jpcaissy
@xymus

Pull-Request: #1031
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/json: introduces json store a simple json data storage system.

Store and load json data.

This simple system can be used to store and retrieve json data.

## Usage

Create a new JsonStore or reuse an existing one.
~~~
var store = new JsonStore("store_dir")
~~~

JsonStore can store json of type JsonObject and JsonArray.
~~~
var color = "red"
var obj = new JsonObject
obj["color"] = name
obj["code"] = "FF0000"
~~~

Data are stored under a key.
~~~
var key = "colors/{name}"
~~~

Store the object.
~~~
store.store_object(key, obj)
assert store.has_key(key)
~~~

Load the object.
~~~
assert store.has_key(key)
var red = store.load_object(key)
assert res["name"] == name
~~~

Clear all stored data.
~~~
store.clear
~~~

*Copied from module documentation.*

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1019
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitdoc: Fix IDs

Fix Nitdoc’s IDs to make them more robust and less redundant.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1011
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: GitHub api

Première PR d'une pas si longue série.

Juste histoire de montrer un aperçu du fonctionnement.

Please review only the last two commits.

Pull-Request: #1016
Reviewed-by: Jean Privat <jean@pryen.org>

nitdoc: Avoid HTML ID collisions.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Shorten redundant IDs.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Remove the project’s name from the groups’ IDs.

A project is only a wrapper on a group.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Mangle names in IDs.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Document constraints on `nitdoc_id`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Use a fully qualified ID for classes.

Avoid conflict when two modules define two different classes with the
same name. This also permits to support classes generated implicitly by
`neo_doxygen`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Group non-Nit entities at the bottom of `doc_model.nit`.

Follow the division indicated by the comments in this file.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Fix a minor documentation mistake.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

string: Fix `to_cmangle` to never end with an underscore.

This permits to use two underscores as a separator between two mangled
names (like Nitdoc does).

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

string: Fix `to_cmangle` to always produce valid C identifiers.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/json: introduces json store a simple json data storage system.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Do not inline lazy getter

nitc-sg's aggressive inlining caused a stack overflow during the compilation of recursive lazy attributes

Needed to pass #1011

Pull-Request: #1044

Merge: neo: Remove `full_name`.

This is not an attribute in the Nit model.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1030
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

neo4j: Remove the old `jsonable` library.

That library is useless since PR #907.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/nitcorn: handles bufferized request content

Partially fixes #1027

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: allows access to POST raw body

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add base_lazy3.nit

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: do not inline lazy getters

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test_comprehension.nit

Signed-off-by: Jean Privat <jean@pryen.org>

transform: transform array comprehension in simpler statements

Signed-off-by: Jean Privat <jean@pryen.org>

transform: introduce `full_transform_visitor` for complex transformations

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: handle direct compilation of comprehension arrays

Because of `transform`, it is only used if compiled
with `--disable-phase transform`

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: implements array comprehensions

Signed-off-by: Jean Privat <jean@pryen.org>

typing: mark expressions that belong to an array comprehension

Signed-off-by: Jean Privat <jean@pryen.org>