Merge: typing: add services for intersecting and subtracting types

Nit does not have intersection nor union types, however, the intersection and the difference operations on types are needed for a better behavior of the adaptive typing system.

Currently, the only need of type intersection and type difference is with `isa`. The previous implementation did not really implement them and only did the following:

~~~nit
var x: X
...
if x isa Y then
   # if X<:Y then x is still a X (and you get a warning) else x is now a Y
   ...
else
   # nothing never change here. x is a X
   ...
end
~~~

Now, the `then` branch, handle the merge of nullable types and the `else` branch might also be adapted.

~~~nit
var x: nullable X # where Y <: X
...
if x isa Object then
   # x is a X (instead of Object as before)
else
  #  x is null (instead of nullable X as before)
end

if x isa nullable Object then # warning, useless isa
   # x is a nullable X (as before)
else
   # x is dead (instead of nullable X as before)
end

if x isa Y then
   # x is a Y (same as before)
else
   # x is a nullable X (same as before)
end

if x isa nullable Y then
   # x is a nullable Y (as before)
else
   # x is a X without nullable (instead of nullable X as before)
end
~~~

I do not expect that these change improve that much the expressiveness of the language. However, it makes the type system a little more consistent and a little less hackish.

Pull-Request: #2385
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: grammar: add union and intersection types

This is a stub in the grammar to add intersection and union types.

* `var x: A and B`
* `var x: A or B and C or D or E`

Adding parenthesis `(A and B) or C` cause some nasty conflicts because the Nit grammar is very complex and organic (and sablecc is nowadays more a curse than a blessing).

all usage of types accept intersection and union except `new` and `isa` because LR1 conflicts with the boolean `or`.

* `x isa A or...`: shift type (`x isa A or B`) vs. reduce expr (`x isa A or true`)

This is not too much a problem because:

* intersection and union type are abstract (no `new`)
* `a isa A or B` should be the same than `a isa A or a isa B`

Note that this is only a stub: only the grammar is extended:
* there is no new AST node (`A or B` is parsed as `A`, the `B` is just dropped)
* there is no change in the metamodel of Nit

Pull-Request: #2389
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: Docker, portability and crosscompiling tweaks

* Add the missing SDL2 package (since #2376) to the full DockerFile.
* Fix a warning raised by the C compiler when called by niti on 32 bits platforms.
* Clean up Makefile generation and enable using environment variables to override the default C compiler, C++ compiler, CFLAGS and whether or not to use libunwind. Making it possible to change the compiler for cross compilation and to skip linking with libunwind to create binaries compatible with more GNU/Linux systems.

Pull-Request: #2390
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Windows: path, PATH, and exec improvements

This PR further improves Windows support in the Nit standard library and testing tools:

* Improve Windows path manipulation and standardize the solution. On Windows, services working on path strings first replace all `\` by `/`. This allows sharing the main code with other OS, data copy should be limited since only the first operation on a string should update it.
  All `file` services depending on the path separator should have been updated, except for `relpath`. Note that there is still no special treatment for FS root like `C:/`, so further work is needed.
* Support for Windows' PATH where the separator is `;`.
* Fix pipes left open on the parent side after `CreateProcess`.
* Intro a basic skip list for MINGW64 Windows system with projects that are either incompatible (cocoa & ios) or not available with msys2 and that I don't plan to configure manually on the test server in the near future.

There are still issues (including an int overflow in `Float::to_s`), but this PR allows a few larger projects to work on Windows. With #2390 gamnit projects can be compiled entirely from a Windows machine (or cross-compiled).

---

The unit tests are marked `~~~nitish` because they are only valid when `is_windows == true`. Maybe we could have a `~~~nitwindows` or something like that for such tests in the future. Note that you can set `-D is_windows=true` to try them (but not on nitunit sadly).

The Jenkins Windows test server is currently broken. I'll see if I can fix it, otherwise, I'll share the results form my test server later.

Pull-Request: #2391
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

tests: add basic MINGW64 skip list

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

exec: close child pipes from the parent process

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: split PATH on ; on Windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: standardize Windows path handling

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: 32 bits fixes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: let CC, CXX and NO_STACKTRACE use env value

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: clean up makefile header generation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

docker: add missing libsdl2-image-dev

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update more sav because of the improved null-aware adaptive typing

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate with union and intersection types

Signed-off-by: Jean Privat <jean@pryen.org>

parser: add syntax for union and intersection types

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add base_adaptive_full.nit with a lots of pattenrns

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: adaptive typing apply non-nullness when fallbacking

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update test_isa_nil message

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/typing: isa uses intersect_types and diff_types

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/typing: add intersect_types and diff_types

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/typing: document `merge_types`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: realtime: 32 bits compatibility

Fix `realtime::Timespec` services on 32 bits systems and Windows by moving some critical code to C. This PR does not change the API. However, I have plans for a future revamp of the API to reduce the number of mallocs.

Pull-Request: #2380
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: load catalog at startup instead of first page display

So the first user to access Nitweb does not have to wait 5 minutes for the catalog to be compiled.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2387

Merge: lib/json: fix array serialization

Fixes serialization error for array subclasses.

Be the following Nit code:

~~~nit
class Foo
    super Array[String]
    serialize

    var foo: String
end

print (new Foo("foo")).serialize_to_json
~~~

Output before:

~~~json
{"__kind":"obj","__id":0,"__class":"Foo", "__items":, "foo":"foo"[]}
~~~

Output after:

~~~json
{"__kind":"obj","__id":0,"__class":"Foo", "foo":"foo", "__items":[]}
~~~

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2388

lib/json: fix array serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: load catalog at startup instead of first page display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: regen csrc for Windows and to fix 32 bits support

Fix #2355.

Pull-Request: #2382

realtime: 32 bits safe

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: OSX use gtime

This could help to track why jenkins runs on osx are so slow

Pull-Request: #2384

Merge: re_parser: add pre-build target in the Makefile

Some automatic jenkins jobs expect that it this target exists, it can be
used to generate the missing .nit files

Signed-off-by: Jean Privat <jean@pryen.org>

Pull-Request: #2383

Merge: lib/ini: do not abort when lines does not have "="

aborting in a library is bad™

Pull-Request: #2381

Merge: Test out-of-tree projects

This is a simple script that allows jenkins (and human users) to test out-of-tree projects that live in other repositories.

The main file is `contrib/oot.txt` that contains the various projects and `contrib/oot.sh` that tries to build them.

A preview of the current state is available at:
http://gresil.org/jenkins/job/nit_oot/lastCompletedBuild/testReport/

I will improve the script to add checks.

Pull-Request: #2379
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

csrc: regen for 32 bits platforms and Windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

compiler: detect many versions of mingw64

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

macosx: silent error because hostame --vestion does no exists

Signed-off-by: Jean Privat <jean@pryen.org>

macosx: use gtime (from gnu-time) if available to measure time

Signed-off-by: Jean Privat <jean@pryen.org>

re_parser: add pre-build target in the Makefile

Some automatic jenkins jobs expect that it this target exists, it can be
used to generate the missing .nit files

Signed-off-by: Jean Privat <jean@pryen.org>

tests: fix listfull.sh

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/ini: do not abort when lines does not have "="

aborting in a library is bad™

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/oot: script to update and check oot projects

Signed-off-by: Jean Privat <jean@pryen.org>

misc: new script to try to make some targets

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Counter: fixes

Hey there,

Some fixes to counter:
* the first one should not be subject to discussion since it only fix the to_s nullable elements.
* the second one is more tricky. I propose to change the add_all behavior to increment all values instead of just rewriting them.

@privat, you are the main user of the `counter` lib, what is you feeling about that?

Pull-Request: #2377

Merge: gamnit: use SDL2 windows and events

_gamnit_ update to use SDL2 instead of SDL1.2. This change brings better code portability and fixes a few known SDL1.2 limitations. This PR does not significantly change the API, asides from removing the workarounds for old limitations.

As support, this PR also:
* Adds more SDL2 events and surface services.
* Updates the `opengles1_hello_triangle` example to use SDL2 and make it compatible with ANGLE and Windows.
* Drops the _gamnit_ workarounds for the previously slow mouse move events and mouse wrap for FPS like controls.
* Fixes shader compatibility with some graphics card and driver.
* General cleanup for the `egl` module.

Pull-Request: #2376
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Nit Actor Model, with some examples

A better version than the previous PR !

The model injection and support module generation are now two phases in the frontend.

Needs #2357 to be able to compile with `nitc`, for now you have to use it as `nitc module.nit -m actors_module.nit` for compiling.

Pull-Request: #2361
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

kernel: intro `Pointer::==` and `Pointer::hash`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: minor refactor of the audio services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model_viewer: update to new gamnit API with move events

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: update doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: use SDL2

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: don't use `texture` as it may be a std function

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: use SDL2 for a portable hello triangle example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: minor improvements to the hello_triangle example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: implement more events

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: more display and surface services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: fix initialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

counter: fix add all behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

counter: fix NPE on nullable element to_s

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Windows: implement the `exec` module using `CreateProcess`

Until now, the `exec` services were implemented using the POSIX C functions `fork` and `execvp`. This PR introduces an alternative implement for Windows targets using `CreateProcess`.

The `exec` services are used by the compiler call external tools, most notably `pkg-config`. This should support more programs and tests with a dependency on native libraries.

The new `exec` implementation will probably need some tweaking. Testing under Windows is still problematic, but `test_exec` now passes, which is a good sign.

The `fflush` on every write is far from optimal and will slow down the compiler (and others). It solves an issue where a small write to the input of a subprocess would not be received by the subprocess. The data was probably kept in the write buffer (and not in the pipe buffer). I consider the use of `fflush` to be temporary until we have a better solution. Alternative (proven) solutions are welcome.

Pull-Request: #2375

Merge: lib/github: GitHub loader

Helper tool to download a Github repo and store it in a Mongo database.

Features:
* supports github wallets
* save current job and restore jobs after failure
* options to enable branches, commits, issues, pulls, comments and events loading

Pull-Request: #2369
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: contrib/re_parser

# RE Parser

RE parser provides a simple API to regular expression parsing.
It is also able to convert a regular expression into a NFA or a DFA and produce dot files from it.

## Building RE parser

From the `re_parser` directory:

~~~bash
make all
~~~

## RE parser in command line

RE parser can be used as a command line tool to generate NFA and DFA dot files from a regular expression:

~~~bash
./re_parser "a(b|c)+d*"
~~~

Will produce the two files `nfa.dot` and `dfa.dot`.

These can be directly viwed with `xdot`:

~~~bash
xdot nfa.dot
xdot dfa.dot
~~~

Or translated to png images with `dot`:

~~~bash
dot -Tpng -onfa.png nfa.dot
dot -Tpng -odfa.png dfa.dot
~~~

See `man dot` for available formats.

## RE parser as a web app

RE parser comes with a web app that allow users to submit regular expression and see the resulting NFA and DFA.

To run the web app server:

~~~bash
./re_app --host localhost --port 3000
~~~

The server will be available at <a href='http://localhost:3000'>http://localhost:3000</a>.

## RE parser as a library

You can also use RE parser as a library by importing `re_parser`.

~~~nit
import re_parser

var re = "a(b|c)+d*"

# Parse the expression
var l = new Lexer_re_parser(re)
var p = new Parser_re_parser
p.tokens.add_all l.lex
var node = p.parse

# Check errors
if not node isa NProd then
print "Error parsing the regular expression"
abort
end

# Get NFA and DFA
var v = new REVisitor
v.start(node)
print v.nfa.to_dot
print v.nfa.to_dfa.to_dot
~~~

Web app demo: http://re.moz-code.org/

Pull-Request: #2373
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: inkscape_tools: update expected default DPI

Inkscape changed the default DPI to 96 from 90 in order to match the CSS DPI. This change broke compatibility with our tool `svg_to_png_and_nit`. This PR updates our tool to use the new 96 DPI and work properly with the newer versions of Inkscape.

Pull-Request: #2374

skip the execution of tests on actors_*.nit files

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

ignoring actors_*.nit files generated by nitc

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

initialize $WRITE for tests others than *.args

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

A very simple example using actors

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a README to the actors group

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding actor phases to the frontend

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a hook on a module at the end of a phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors support module generation phase

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

sdl2: update window_handle to support Windows and intro display_handle

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

egl: standardize the name of the 2 different handles

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

egl: clean up `initialize` and `make_current`, and fix `extensions`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

windows: flush after each write

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

windows: implement services of the exec module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Actors model injection

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Fannkuch-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Chameneos-redux actor example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Mandelbrot example from benchmarks game

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adds an atomic Int to pthreads

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

thread ring example from benchmarksgame

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adding a Nitty version of a condition variable

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Actors abstraction

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

contrib/re_parser: add Makefile, README and .gitignore

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/re_parser: add web app

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: introduce re_parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: improve Automaton::to_dot

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/nitcc: make Automaton::to_dot return a String

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: introduce loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix deserialization of empty branch arrays

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

inkscape_tools: update expected default DPI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/popcorn: add response handler to return csv documents

Pull-Request: #2370
Reviewed-by: Jean Privat <jean@pryen.org>

nitcc: remove nullable warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: remove trailing spaces

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc: rename `rfa` in `nfa`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef make_rfa types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitcc/re2nfa: remove redef value types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: JSON: optimize writing strings

Changes how strings are serialized to JSON by grouping non-escaped characters in a single call to write. So if a string has no escape characters, it is written as is. This replaces the old behavior where there was a call to write for each character.

This PR addresses the same issue as #2367 and #2371 but it targets JSON string writing only. The best results are obtained when this PR is merged with #2371. On my machine, parsing and writing `magic.json`  takes the following wall clock time depending on the branch:

* master: 14s
* #2367 (char cache): 6.2s
* #2371 (buffer): 4.0s
* this PR: 4.8s
* this PR + #2371: 3.6s

Pull-Request: #2372

Merge: Use a Buffer in StringWriter

This aims to replace the dirty #2367 and might solve the underlying problem in a better way by using a Buffer instead of an Array[String] in StringWriter.

With the following pseudo-oneliner

~~~nit
import json::string_parser
import json
print args.first.to_path.read_all.parse_json.as(not null).serialize_to_json(pretty=true, plain=true).length
~~~

And the file `nit/benchmarks/json/inputs/magic.json` a 54MB json file.

Before:

* User time (seconds): 18.02
* Elapsed (wall clock) time: 13.43
* Maximum resident set size (GB): 6.09

After:

* User time (seconds): 4.26 (-76%)
* Elapsed (wall clock) time: 3.98 (-70%)
* Maximum resident set size (GB): 1.16 (-80%)

Nevertheless, 1GB of ram to process a 54MB file is still huge.

Pull-Request: #2371
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

json: optimize writing strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core/stream: StringWriter uses a Buffer internally

Signed-off-by: Jean Privat <jean@pryen.org>