nitc: clean up makefile header generation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

docker: add missing libsdl2-image-dev

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: OSX use gtime

This could help to track why jenkins runs on osx are so slow

Pull-Request: #2384

Merge: re_parser: add pre-build target in the Makefile

Some automatic jenkins jobs expect that it this target exists, it can be
used to generate the missing .nit files

Signed-off-by: Jean Privat <jean@pryen.org>

Pull-Request: #2383

Merge: lib/ini: do not abort when lines does not have "="

aborting in a library is bad™

Pull-Request: #2381

Merge: Test out-of-tree projects

This is a simple script that allows jenkins (and human users) to test out-of-tree projects that live in other repositories.

The main file is `contrib/oot.txt` that contains the various projects and `contrib/oot.sh` that tries to build them.

A preview of the current state is available at:
http://gresil.org/jenkins/job/nit_oot/lastCompletedBuild/testReport/

I will improve the script to add checks.

Pull-Request: #2379
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

macosx: silent error because hostame --vestion does no exists

Signed-off-by: Jean Privat <jean@pryen.org>

macosx: use gtime (from gnu-time) if available to measure time

Signed-off-by: Jean Privat <jean@pryen.org>

re_parser: add pre-build target in the Makefile

Some automatic jenkins jobs expect that it this target exists, it can be
used to generate the missing .nit files

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ini: do not abort when lines does not have "="

aborting in a library is bad™

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/oot: script to update and check oot projects

Signed-off-by: Jean Privat <jean@pryen.org>

misc: new script to try to make some targets

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Counter: fixes

Hey there,

Some fixes to counter:
* the first one should not be subject to discussion since it only fix the to_s nullable elements.
* the second one is more tricky. I propose to change the add_all behavior to increment all values instead of just rewriting them.

@privat, you are the main user of the `counter` lib, what is you feeling about that?

Pull-Request: #2377

Merge: gamnit: use SDL2 windows and events

_gamnit_ update to use SDL2 instead of SDL1.2. This change brings better code portability and fixes a few known SDL1.2 limitations. This PR does not significantly change the API, asides from removing the workarounds for old limitations.

As support, this PR also:
* Adds more SDL2 events and surface services.
* Updates the `opengles1_hello_triangle` example to use SDL2 and make it compatible with ANGLE and Windows.
* Drops the _gamnit_ workarounds for the previously slow mouse move events and mouse wrap for FPS like controls.
* Fixes shader compatibility with some graphics card and driver.
* General cleanup for the `egl` module.

Pull-Request: #2376
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Nit Actor Model, with some examples

A better version than the previous PR !

The model injection and support module generation are now two phases in the frontend.

Needs #2357 to be able to compile with `nitc`, for now you have to use it as `nitc module.nit -m actors_module.nit` for compiling.

Pull-Request: #2361
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

kernel: intro `Pointer::==` and `Pointer::hash`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: minor refactor of the audio services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model_viewer: update to new gamnit API with move events

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: update doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: use SDL2

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: don't use `texture` as it may be a std function

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: use SDL2 for a portable hello triangle example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: minor improvements to the hello_triangle example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: implement more events

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: more display and surface services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: fix initialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

counter: fix add all behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

counter: fix NPE on nullable element to_s

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Windows: implement the `exec` module using `CreateProcess`

Until now, the `exec` services were implemented using the POSIX C functions `fork` and `execvp`. This PR introduces an alternative implement for Windows targets using `CreateProcess`.

The `exec` services are used by the compiler call external tools, most notably `pkg-config`. This should support more programs and tests with a dependency on native libraries.

The new `exec` implementation will probably need some tweaking. Testing under Windows is still problematic, but `test_exec` now passes, which is a good sign.

The `fflush` on every write is far from optimal and will slow down the compiler (and others). It solves an issue where a small write to the input of a subprocess would not be received by the subprocess. The data was probably kept in the write buffer (and not in the pipe buffer). I consider the use of `fflush` to be temporary until we have a better solution. Alternative (proven) solutions are welcome.

Pull-Request: #2375

Merge: lib/github: GitHub loader

Helper tool to download a Github repo and store it in a Mongo database.

Features:
* supports github wallets
* save current job and restore jobs after failure
* options to enable branches, commits, issues, pulls, comments and events loading

Pull-Request: #2369
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: contrib/re_parser

# RE Parser

RE parser provides a simple API to regular expression parsing.
It is also able to convert a regular expression into a NFA or a DFA and produce dot files from it.

## Building RE parser

From the `re_parser` directory:

~~~bash
make all
~~~

## RE parser in command line

RE parser can be used as a command line tool to generate NFA and DFA dot files from a regular expression:

~~~bash
./re_parser "a(b|c)+d*"
~~~

Will produce the two files `nfa.dot` and `dfa.dot`.

These can be directly viwed with `xdot`:

~~~bash
xdot nfa.dot
xdot dfa.dot
~~~

Or translated to png images with `dot`:

~~~bash
dot -Tpng -onfa.png nfa.dot
dot -Tpng -odfa.png dfa.dot
~~~

See `man dot` for available formats.

## RE parser as a web app

RE parser comes with a web app that allow users to submit regular expression and see the resulting NFA and DFA.

To run the web app server:

~~~bash
./re_app --host localhost --port 3000
~~~

The server will be available at <a href='http://localhost:3000'>http://localhost:3000</a>.

## RE parser as a library

You can also use RE parser as a library by importing `re_parser`.

~~~nit
import re_parser

var re = "a(b|c)+d*"

# Parse the expression
var l = new Lexer_re_parser(re)
var p = new Parser_re_parser
p.tokens.add_all l.lex
var node = p.parse

# Check errors
if not node isa NProd then
print "Error parsing the regular expression"
abort
end

# Get NFA and DFA
var v = new REVisitor
v.start(node)
print v.nfa.to_dot
print v.nfa.to_dfa.to_dot
~~~

Web app demo: http://re.moz-code.org/

Pull-Request: #2373
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: inkscape_tools: update expected default DPI

Inkscape changed the default DPI to 96 from 90 in order to match the CSS DPI. This change broke compatibility with our tool `svg_to_png_and_nit`. This PR updates our tool to use the new 96 DPI and work properly with the newer versions of Inkscape.

Pull-Request: #2374

skip the execution of tests on actors_*.nit files

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

ignoring actors_*.nit files generated by nitc

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

initialize $WRITE for tests others than *.args

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

A very simple example using actors

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a README to the actors group

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding actor phases to the frontend

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a hook on a module at the end of a phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors support module generation phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

sdl2: update window_handle to support Windows and intro display_handle

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

egl: standardize the name of the 2 different handles

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

egl: clean up `initialize` and `make_current`, and fix `extensions`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

windows: flush after each write

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

windows: implement services of the exec module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Actors model injection

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Fannkuch-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Chameneos-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Mandelbrot example from benchmarks game

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adds an atomic Int to pthreads

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

thread ring example from benchmarksgame

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a Nitty version of a condition variable

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors abstraction

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

contrib/re_parser: add Makefile, README and .gitignore

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/re_parser: add web app

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: introduce re_parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: improve Automaton::to_dot

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: make Automaton::to_dot return a String

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: introduce loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix deserialization of empty branch arrays

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

inkscape_tools: update expected default DPI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/popcorn: add response handler to return csv documents

Pull-Request: #2370
Reviewed-by: Jean Privat <jean@pryen.org>

nitcc: remove nullable warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: remove trailing spaces

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: rename `rfa` in `nfa`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef make_rfa types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef value types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: JSON: optimize writing strings

Changes how strings are serialized to JSON by grouping non-escaped characters in a single call to write. So if a string has no escape characters, it is written as is. This replaces the old behavior where there was a call to write for each character.

This PR addresses the same issue as #2367 and #2371 but it targets JSON string writing only. The best results are obtained when this PR is merged with #2371. On my machine, parsing and writing `magic.json`  takes the following wall clock time depending on the branch:

* master: 14s
* #2367 (char cache): 6.2s
* #2371 (buffer): 4.0s
* this PR: 4.8s
* this PR + #2371: 3.6s

Pull-Request: #2372

Merge: Use a Buffer in StringWriter

This aims to replace the dirty #2367 and might solve the underlying problem in a better way by using a Buffer instead of an Array[String] in StringWriter.

With the following pseudo-oneliner

~~~nit
import json::string_parser
import json
print args.first.to_path.read_all.parse_json.as(not null).serialize_to_json(pretty=true, plain=true).length
~~~

And the file `nit/benchmarks/json/inputs/magic.json` a 54MB json file.

Before:

* User time (seconds): 18.02
* Elapsed (wall clock) time: 13.43
* Maximum resident set size (GB): 6.09

After:

* User time (seconds): 4.26 (-76%)
* Elapsed (wall clock) time: 3.98 (-70%)
* Maximum resident set size (GB): 1.16 (-80%)

Nevertheless, 1GB of ram to process a 54MB file is still huge.

Pull-Request: #2371
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

json: optimize writing strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core/stream: StringWriter uses a Buffer internally

Signed-off-by: Jean Privat <jean@pryen.org>

json: use `write_char c` instead of `write c.to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Windows: last changes for a working bootstrap

This PR tweaks the generated Makefile so it works under Windows and silences the excessive warnings when casting ints to pointers, which is used to optimize `Int`, `Char` and `Bool`. And, to fix the heuristic that finds the Nit dir, this PR modifies two methods to support Windows path separator `\` and the PATH env var separator `;`.

These should be the last changes to get a working bootstrap on Windows using msys2/mingw64 tools. Once we regen c_src, you can clone and make Nit from Windows by following the first guide at: http://nitlanguage.org/windows.html Using msys2/mingw64 allows to compile native Windows apps using GNU tools, so the resulting program is an exe file that can use any Windows .dll file and show standard Windows windows.

These changes are far from fixing all issues for running Nit on Windows. However, a working bootstrap will simplify future incremental improvements and will allow detecting regressions with automated testing.

Pull-Request: #2368
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: new module annotation `is generated`

This annotation has no effect on the semantic.
is only intended on software engineering software to discriminate computer-generated modules from human-written ones.

Pull-Request: #2366
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

lib/github: fix api pull request

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix api milestone

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix Commit api for users

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github/curl: fix error message matching

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/serialization: fix serialization of first attribute

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/store: fix object paths

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: add response handler for csv documents

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: add some media types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: simplify_path supports Windows style path

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

toolcontext: support Windows PATH separator ';'

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: silence pointer to int cast warnings on Windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: link with pcreposix but not rt on Windows when using mingw64

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: use '> nul' on windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Use `UInt32` to manipulate Unicode chars and support 32 bits platforms

Unicode support was broken on 32 bits platforms and anywhere a C `long` was on 32 bits (such as 64 bits Windows). This caused issues when compiling Nit tools.

This PR modifies the critical code in order to use `UInt32` instead of `Int` to fit all the 32 bits of Unicode chars. To do so, the first commit inverts the dependency order of the modules `fixed_int` and `text` so that `text` becomes a client of `fixed_int`. Also, update how constants are declared and fix a few implicit cast warnings.

Fix Debian 32 bits support #2355 after a c_src regen.

Fix #1945 Unicode support on iOS.

Allows to bootstrap under Windows with other minor changes (for another PR).

Reported-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Pull-Request: #2363

Merge: improve AST dump

The debug method `ANode.dump_tree` is now more versatile and powerful:

* it can hide tokens (and others non useful nodes)
* it can display code line along with the AST
* it can display model information (through refinement in modelize and semantize modules)
* it uses some color so the output is more readable

Eg: for the code

~~~nit
var a: nullable Object = "Hello".substring(1,3)
print "{a or else "?"}"
~~~

the AST dumped is

~~~
1 var a: nullable Object = "Hello".substring(1,3)
AMainMethPropdef  @test_expr.nit:1,1--2,23
`--ABlockExpr  @test_expr.nit:1,1--2,23
   |--AVardeclExpr :nullable Object @test_expr.nit:1,1--47
   |  |--AType :nullable Object @test_expr.nit:1,8--22
   |  `--ACallExpr :String call=String.abstract_text$Text$substring(from: Int, count: Int): String @test_expr.nit:1,26--47
   |     |--AStringExpr :String @test_expr.nit:1,26--32
   |     `--AParExprs  @test_expr.nit:1,43--47
   |        |--AIntegerExpr :Int @test_expr.nit:1,44
   |        `--AIntegerExpr :Int @test_expr.nit:1,46
2 print "{a or else "?"}"
   `--ACallExpr  call=Sys.file$Sys$print(object: Object) @test_expr.nit:2,1--23
      |--AImplicitSelfExpr :Sys @test_expr.nit:2,1
      `--AListExprs  @test_expr.nit:2,7--23
         `--ASuperstringExpr :String @test_expr.nit:2,7--23
            |--AStartStringExpr :String @test_expr.nit:2,7--8
            |--AOrElseExpr :Object @test_expr.nit:2,9--21
            |  |--AVarExpr :nullable Object @test_expr.nit:2,9
            |  `--AStringExpr :String @test_expr.nit:2,19--21
            `--AEndStringExpr :String @test_expr.nit:2,22--23
~~~

Pull-Request: #2364

Merge: mongo::queries: add unwind method

Also fix `op` method so it matches the specification in the comment

Pull-Request: #2362

tests: update nitserial & nitresful sav files with 'generated'

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use is_generated in various tools and generated files

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add new module annotation `is generated`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav for test_parser

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrestful: async services and deserialize plain JSON arguments

This PR brings new features to the generated RESTful services: asynchronous RESTful methods, deserialization of plain JSON objects and more.

Using the annotation and argument `is restful(async)` triggers a method to be executed asynchronously when invoked by an HTTP request. Each RESTful call to this method will be executed by the `thread_pool` attribute of the receiving `RestfulAction`. As such, careful attention should be paid to its code to make sure that it works in parallel to the rest of the services and to other instances/threads of itself. The `thread_pool` can be customized with the desired number of threads and it can also be shared with other services.

Arguments of the RESTful methods are deserialized from JSON format. This PR applies the latest features of the deserialization services and uses the static parameter types as a heuristic to guess the Nit type the incoming data. This is also safer as only subclasses of the static type will be deserialized.

The code generated by nitrestful now considers all RESTful methods in order of declaration. This means that many methods can answer to the same `foo` name, but only the first implementation accepting the HTTP method and the type of the arguments will be executed.

As support, this PR also adds threads support to libevent, handles signal interruptions in `Float::sleep`, makes the `ThreadPool` a bit more permissive, improves support of plain JSON map object and adds a test for the nitrestful example.

Pull-Request: #2360
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

nitc: test_parser use dump_tree instead of an adhoc treeprinter

Signed-off-by: Jean Privat <jean@pryen.org>

ios: remove temporary Unicode fix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: explicitly cast long to int

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: fix large int constants

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

text: use UInt32 to manipulate chars

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>