Merge: Nit Actor Model, with some examples

A better version than the previous PR !

The model injection and support module generation are now two phases in the frontend.

Needs #2357 to be able to compile with `nitc`, for now you have to use it as `nitc module.nit -m actors_module.nit` for compiling.

Pull-Request: #2361
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Windows: implement the `exec` module using `CreateProcess`

Until now, the `exec` services were implemented using the POSIX C functions `fork` and `execvp`. This PR introduces an alternative implement for Windows targets using `CreateProcess`.

The `exec` services are used by the compiler call external tools, most notably `pkg-config`. This should support more programs and tests with a dependency on native libraries.

The new `exec` implementation will probably need some tweaking. Testing under Windows is still problematic, but `test_exec` now passes, which is a good sign.

The `fflush` on every write is far from optimal and will slow down the compiler (and others). It solves an issue where a small write to the input of a subprocess would not be received by the subprocess. The data was probably kept in the write buffer (and not in the pipe buffer). I consider the use of `fflush` to be temporary until we have a better solution. Alternative (proven) solutions are welcome.

Pull-Request: #2375

Merge: lib/github: GitHub loader

Helper tool to download a Github repo and store it in a Mongo database.

Features:
* supports github wallets
* save current job and restore jobs after failure
* options to enable branches, commits, issues, pulls, comments and events loading

Pull-Request: #2369
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: contrib/re_parser

# RE Parser

RE parser provides a simple API to regular expression parsing.
It is also able to convert a regular expression into a NFA or a DFA and produce dot files from it.

## Building RE parser

From the `re_parser` directory:

~~~bash
make all
~~~

## RE parser in command line

RE parser can be used as a command line tool to generate NFA and DFA dot files from a regular expression:

~~~bash
./re_parser "a(b|c)+d*"
~~~

Will produce the two files `nfa.dot` and `dfa.dot`.

These can be directly viwed with `xdot`:

~~~bash
xdot nfa.dot
xdot dfa.dot
~~~

Or translated to png images with `dot`:

~~~bash
dot -Tpng -onfa.png nfa.dot
dot -Tpng -odfa.png dfa.dot
~~~

See `man dot` for available formats.

## RE parser as a web app

RE parser comes with a web app that allow users to submit regular expression and see the resulting NFA and DFA.

To run the web app server:

~~~bash
./re_app --host localhost --port 3000
~~~

The server will be available at <a href='http://localhost:3000'>http://localhost:3000</a>.

## RE parser as a library

You can also use RE parser as a library by importing `re_parser`.

~~~nit
import re_parser

var re = "a(b|c)+d*"

# Parse the expression
var l = new Lexer_re_parser(re)
var p = new Parser_re_parser
p.tokens.add_all l.lex
var node = p.parse

# Check errors
if not node isa NProd then
print "Error parsing the regular expression"
abort
end

# Get NFA and DFA
var v = new REVisitor
v.start(node)
print v.nfa.to_dot
print v.nfa.to_dfa.to_dot
~~~

Web app demo: http://re.moz-code.org/

Pull-Request: #2373
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: inkscape_tools: update expected default DPI

Inkscape changed the default DPI to 96 from 90 in order to match the CSS DPI. This change broke compatibility with our tool `svg_to_png_and_nit`. This PR updates our tool to use the new 96 DPI and work properly with the newer versions of Inkscape.

Pull-Request: #2374

skip the execution of tests on actors_*.nit files

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

ignoring actors_*.nit files generated by nitc

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

initialize $WRITE for tests others than *.args

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

A very simple example using actors

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a README to the actors group

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding actor phases to the frontend

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a hook on a module at the end of a phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors support module generation phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

windows: flush after each write

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

windows: implement services of the exec module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Actors model injection

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Fannkuch-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Chameneos-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Mandelbrot example from benchmarks game

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adds an atomic Int to pthreads

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

thread ring example from benchmarksgame

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a Nitty version of a condition variable

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors abstraction

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

contrib/re_parser: add Makefile, README and .gitignore

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/re_parser: add web app

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: introduce re_parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: improve Automaton::to_dot

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: make Automaton::to_dot return a String

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: introduce loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix deserialization of empty branch arrays

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

inkscape_tools: update expected default DPI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/popcorn: add response handler to return csv documents

Pull-Request: #2370
Reviewed-by: Jean Privat <jean@pryen.org>

nitcc: remove nullable warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: remove trailing spaces

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: rename `rfa` in `nfa`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef make_rfa types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef value types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: JSON: optimize writing strings

Changes how strings are serialized to JSON by grouping non-escaped characters in a single call to write. So if a string has no escape characters, it is written as is. This replaces the old behavior where there was a call to write for each character.

This PR addresses the same issue as #2367 and #2371 but it targets JSON string writing only. The best results are obtained when this PR is merged with #2371. On my machine, parsing and writing `magic.json`  takes the following wall clock time depending on the branch:

* master: 14s
* #2367 (char cache): 6.2s
* #2371 (buffer): 4.0s
* this PR: 4.8s
* this PR + #2371: 3.6s

Pull-Request: #2372

Merge: Use a Buffer in StringWriter

This aims to replace the dirty #2367 and might solve the underlying problem in a better way by using a Buffer instead of an Array[String] in StringWriter.

With the following pseudo-oneliner

~~~nit
import json::string_parser
import json
print args.first.to_path.read_all.parse_json.as(not null).serialize_to_json(pretty=true, plain=true).length
~~~

And the file `nit/benchmarks/json/inputs/magic.json` a 54MB json file.

Before:

* User time (seconds): 18.02
* Elapsed (wall clock) time: 13.43
* Maximum resident set size (GB): 6.09

After:

* User time (seconds): 4.26 (-76%)
* Elapsed (wall clock) time: 3.98 (-70%)
* Maximum resident set size (GB): 1.16 (-80%)

Nevertheless, 1GB of ram to process a 54MB file is still huge.

Pull-Request: #2371
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

json: optimize writing strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core/stream: StringWriter uses a Buffer internally

Signed-off-by: Jean Privat <jean@pryen.org>

json: use `write_char c` instead of `write c.to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Windows: last changes for a working bootstrap

This PR tweaks the generated Makefile so it works under Windows and silences the excessive warnings when casting ints to pointers, which is used to optimize `Int`, `Char` and `Bool`. And, to fix the heuristic that finds the Nit dir, this PR modifies two methods to support Windows path separator `\` and the PATH env var separator `;`.

These should be the last changes to get a working bootstrap on Windows using msys2/mingw64 tools. Once we regen c_src, you can clone and make Nit from Windows by following the first guide at: http://nitlanguage.org/windows.html Using msys2/mingw64 allows to compile native Windows apps using GNU tools, so the resulting program is an exe file that can use any Windows .dll file and show standard Windows windows.

These changes are far from fixing all issues for running Nit on Windows. However, a working bootstrap will simplify future incremental improvements and will allow detecting regressions with automated testing.

Pull-Request: #2368
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: new module annotation `is generated`

This annotation has no effect on the semantic.
is only intended on software engineering software to discriminate computer-generated modules from human-written ones.

Pull-Request: #2366
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

lib/github: fix api pull request

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix api milestone

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix Commit api for users

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github/curl: fix error message matching

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/serialization: fix serialization of first attribute

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/store: fix object paths

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: add response handler for csv documents

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: add some media types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: simplify_path supports Windows style path

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

toolcontext: support Windows PATH separator ';'

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: silence pointer to int cast warnings on Windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: link with pcreposix but not rt on Windows when using mingw64

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: use '> nul' on windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Use `UInt32` to manipulate Unicode chars and support 32 bits platforms

Unicode support was broken on 32 bits platforms and anywhere a C `long` was on 32 bits (such as 64 bits Windows). This caused issues when compiling Nit tools.

This PR modifies the critical code in order to use `UInt32` instead of `Int` to fit all the 32 bits of Unicode chars. To do so, the first commit inverts the dependency order of the modules `fixed_int` and `text` so that `text` becomes a client of `fixed_int`. Also, update how constants are declared and fix a few implicit cast warnings.

Fix Debian 32 bits support #2355 after a c_src regen.

Fix #1945 Unicode support on iOS.

Allows to bootstrap under Windows with other minor changes (for another PR).

Reported-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Pull-Request: #2363

Merge: improve AST dump

The debug method `ANode.dump_tree` is now more versatile and powerful:

* it can hide tokens (and others non useful nodes)
* it can display code line along with the AST
* it can display model information (through refinement in modelize and semantize modules)
* it uses some color so the output is more readable

Eg: for the code

~~~nit
var a: nullable Object = "Hello".substring(1,3)
print "{a or else "?"}"
~~~

the AST dumped is

~~~
1 var a: nullable Object = "Hello".substring(1,3)
AMainMethPropdef  @test_expr.nit:1,1--2,23
`--ABlockExpr  @test_expr.nit:1,1--2,23
   |--AVardeclExpr :nullable Object @test_expr.nit:1,1--47
   |  |--AType :nullable Object @test_expr.nit:1,8--22
   |  `--ACallExpr :String call=String.abstract_text$Text$substring(from: Int, count: Int): String @test_expr.nit:1,26--47
   |     |--AStringExpr :String @test_expr.nit:1,26--32
   |     `--AParExprs  @test_expr.nit:1,43--47
   |        |--AIntegerExpr :Int @test_expr.nit:1,44
   |        `--AIntegerExpr :Int @test_expr.nit:1,46
2 print "{a or else "?"}"
   `--ACallExpr  call=Sys.file$Sys$print(object: Object) @test_expr.nit:2,1--23
      |--AImplicitSelfExpr :Sys @test_expr.nit:2,1
      `--AListExprs  @test_expr.nit:2,7--23
         `--ASuperstringExpr :String @test_expr.nit:2,7--23
            |--AStartStringExpr :String @test_expr.nit:2,7--8
            |--AOrElseExpr :Object @test_expr.nit:2,9--21
            |  |--AVarExpr :nullable Object @test_expr.nit:2,9
            |  `--AStringExpr :String @test_expr.nit:2,19--21
            `--AEndStringExpr :String @test_expr.nit:2,22--23
~~~

Pull-Request: #2364

Merge: mongo::queries: add unwind method

Also fix `op` method so it matches the specification in the comment

Pull-Request: #2362

tests: update nitserial & nitresful sav files with 'generated'

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use is_generated in various tools and generated files

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add new module annotation `is generated`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav for test_parser

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrestful: async services and deserialize plain JSON arguments

This PR brings new features to the generated RESTful services: asynchronous RESTful methods, deserialization of plain JSON objects and more.

Using the annotation and argument `is restful(async)` triggers a method to be executed asynchronously when invoked by an HTTP request. Each RESTful call to this method will be executed by the `thread_pool` attribute of the receiving `RestfulAction`. As such, careful attention should be paid to its code to make sure that it works in parallel to the rest of the services and to other instances/threads of itself. The `thread_pool` can be customized with the desired number of threads and it can also be shared with other services.

Arguments of the RESTful methods are deserialized from JSON format. This PR applies the latest features of the deserialization services and uses the static parameter types as a heuristic to guess the Nit type the incoming data. This is also safer as only subclasses of the static type will be deserialized.

The code generated by nitrestful now considers all RESTful methods in order of declaration. This means that many methods can answer to the same `foo` name, but only the first implementation accepting the HTTP method and the type of the arguments will be executed.

As support, this PR also adds threads support to libevent, handles signal interruptions in `Float::sleep`, makes the `ThreadPool` a bit more permissive, improves support of plain JSON map object and adds a test for the nitrestful example.

Pull-Request: #2360
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

nitc: test_parser use dump_tree instead of an adhoc treeprinter

Signed-off-by: Jean Privat <jean@pryen.org>

ios: remove temporary Unicode fix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: explicitly cast long to int

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: fix large int constants

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

text: use UInt32 to manipulate chars

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: dump_tree can display the lines of the source-code

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ordered_tree: factorize `write_line` so subclasses can redefine it.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: typing and modelbuilder extends dump_info

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ASTDump exposes color helpers

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ASTDump can display aditionnal information

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ANode::dump_tree can skip structural nodes

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add ANode::is_structural

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add Location::get_line

Signed-off-by: Jean Privat <jean@pryen.org>

core: invert dependencies between `text` and `fixed_ints`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

mongo: add query unwind stage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongo: fix query op name to follow the comment/spec

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: fix before and after methods

Before and after method were not actually called in the test suite process.

This PR enables the compilation and run of these methods.

The new behavior is: if the `before_module` test case fails, all the test cases and the `after_module` are skipped and marked as failed.

Pull-Request: #2359
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: macOS: update realtime lib for Sierra

The latest version of macOS, Sierra, defines the functions `clock_gettime` and `clock_getres` which were previously missing. This PR adds support for Sierra while preserving compatibility with El Capitan using a simple heuristic to either use the system provided functions or define them locally.

Reported-by: Marie-Pier Lessard @mplessard

Pull-Request: #2358
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: nitc: inject importation

Extends the nitc code so a phase can inject new submodules.

The main new method the this PR is `ModelBuilder::inject_module_subimportation` that must be used during the analysis on a module.

Up to now, the module hierarchy was fixed and built by the loader before any phases are run.
The basic way was: 1. load the main module, 2. load its imported modules recursively and build the hierarchy, 3. run the phases on all the loaded modules from the most general to the most specific (top-down)
Now the phases can also extends the module hierarchy while running some phases.
This cause the following changes:
* `run_phase` use a work-list (instead of a simple loop)
* new modules can pop up even for the main module of a program, so a fictive main module is always created
* conditional_importations is extended to be used to by inject_module_subimportation.

Pull-Request: #2357
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

nitcorn: add test for nitrestful

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: update restful example with an async method and complex data type

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: intro module to simplify pthreads support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful & lib: use static type to limit and as heuristic at deserialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: use mclassdef instead of mclass

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: generate code for async restful methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: detect the async keyword

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: intro RestfulTask

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: intercept at `prepare_respond_and_close` instead

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: fallback on other restful services if one fails type check

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: intro services for threads and fork

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: intro `ThreadPool::join_all`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: allow to set `ThreadPool::nb_thread` before first execute

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: `ThreadPool` accept any `Task`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add tests for nitunit before and after module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/test_suite: update Sys class to nitunit fix

We need the private method so we can compile the test case with intrude.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>