lib/core: Removed `last_byte` attribute in `FlatString` as it is useless

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

expanded the nit_env.sh script to register nit within .bash_profile, .bashrc

Signed-off-by: itsWill <guilhermerpmansur@gmail.com>

Merge: model: migrate model_collect to model_views

And update all the clients.

Pull-Request: #1908
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: src: introduce Nit Static Analysis Framework

This is the first step in the introduction of a static analsysis framework for the nit language.

This PR introduces the basic behaviors of a StaticAnalysis and ForwardAnalysis.
I added ReachingDefAnalysis as an example of StaticAnalysis implementation.
I also added `nitsaf`, a client example for the saf module.

I suggest to read this PR commit by commit, I splat it in steps:
* introduce base services
* handle ifs constructs
* handle loops constructs
* handle method declaration

Next steps/PRs will be:
* introduce inter-procedural analysis
* use RTA for better inter-procedural analysis precision
* backward analysis
* add more analysis (isset checks, attr isset, unused properties, useless nullables...)

Closes #511.

Pull-Request: #1764
Reviewed-by: Jean Privat <jean@pryen.org>

tests: skip nitsaf with niti and nitvm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add intraprocedural analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/collection: introduce init `HashMap::from`

HashSet has one, why not HashMap?

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add loop flow set merge

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add flow merge on `if..else` blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce `nitsaf` binary

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce reaching defs analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce Nit Static Analysis Framework

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate phases to model view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: make DocModel a ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc_base: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: make Model::model behaves like for other mentities

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate nullables metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mendel metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mclasses metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

autocomplete: use model views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: use ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelTreeVisitor instead of custom tree list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use MEntityTree instead of ad-hoc list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelView instead of model collect

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce ModelAction

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove dependencies from `model_html` to `model_collect`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: use model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Faster hex parsing

As said in #1895, we need faster parsing of UTF-16 escaping sequences, this PR is the answer.

It makes the runtime of the `large_escaped` benchmark go down from ~5s to ~3.5s, and with valgrind, from 26GIr to 20GIr

Note: based on #1886, only the 4 last commits are of interest here

Pull-Request: #1896
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: add Text::levenshtein_distance

Pull-Request: #1912
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Better mmodule location

This mainly close a undocumented issue where `mmodule.location.source` is wrong

Pull-Request: #1911
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: hightlight: correctly highlight loose comments

close #1907

Pull-Request: #1910
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: readme: add information section

Pull-Request: #1909
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added an optimized `to_hex` function to `FlatText`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update nitx sav because more information

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use mmodule.filepath at some place

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote MModule::filename to model::mmodule

Signed-off-by: Jean Privat <jean@pryen.org>

loader: update the mmodule location once the source is parsed

Signed-off-by: Jean Privat <jean@pryen.org>

core: add Text::levenshtein_distance

Signed-off-by: Jean Privat <jean@pryen.org>

hightlight: correctly highlight loose comments

Signed-off-by: Jean Privat <jean@pryen.org>

readme: add information section

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: model: Beefup model visitor

Add usefull services to model visitor and introduce a model view based on it.

Pull-Request: #1903
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Json benchmark

Added a JSON parser benchmark between different languages and Nit using 3 variants:

* Nit/NitCC: The old parser relying on NitCC, which is slow and memory-consuming (more than 6 Gio RAM for the 100Mio escaping-intensive file)
* Nit/Ad-hoc UTF-8 no ropes: The new parser working exclusively on `FlatString`
* Nit/Ad-hoc UTF-8 with ropes: The new parser with a mix of `Concat` and `FlatString`


I hear you all clamouring, well, here are the results (after #1885 and #1887, naturally):


So yeah, I guess we could do better when it comes to escaping since the biggest difference in runtime is in the `large_escape` benchmark which coincidentally contains mostly `\uXXXX` characters.

Other than that, we do as well as Go and better than Ruby (also worse than Python, but this does not count), which is nice.

About the inputs:

* large_escaped is an unusual file since it contains large strings with lots of unicode escaping sequences which should highlight the handling of String-to-Int conversions and Unicode-escape-sequences-to-UTF-8-characters, and it is big, as in very big (94.7 Mio)
* magic, a normally-formatted 54 Mio JSON file with quite a bunch of Unicode characters
* gov_data, a 6.9 Mio JSON file with ASCII characters only
* twitter, a 64 kio JSON file with a lot of japanese characters

I might add some more files later to better represent the variety of inputs, but right now is a good time to push the benchmark suite, enjoy !

Note: Since the ad-hoc JSON parser is benched, #1886 will need to be merged prior to this one if the bench is to work on your machines

Pull-Request: #1895
Reviewed-by: Jean Privat <jean@pryen.org>

tests: update tests for model_visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_view: introduce views to model based on model visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: introduce MEntityTree

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: beef up ModelVisitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/pep8analysis: Fix operand check in hexdigit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Improved performance of Unicode-escaping in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Perfized `to_hex` and have it work anywhere in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `is_surrogate` service to `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `from_hex` service to transform an hexadecimal digit to an `Int`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: rm sav/niti/fixme/test_intern_extern.res from #1898 because #1902 fixed it

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: FFI: Fix extern methods in generic classes with the interpreter, and complex types with nith

A kind of resolve was missing so the name of the generated C function was different between the call and its implementation.

Fix #1899.

Pull-Request: #1902
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Alternative intern

Improve the handling of alternative of intern methods since an extern body can be used as a fallback.

~~~
redef class Int
   fun foo is intern `{ return foo(self) `}
end
~~~

Moreover, NativeArray intern alternatives is now fixed with nitc.

There is still an issue with the extern methods of NativeArray in the interpreter.

Pull-Request: #1898
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Asteronits: add sounds and decouple app::audio from mnit

Add some sound effects to Asteronits, when opening fire, on asteroid explosion and on collisions with the ship. There is no sound for the thruster because the pause feature is currently broken on Android and inexistant on GNU/Linux.

Also update app::soounds so they no longer depend on mnit and now rely only on app.nit.

Pull-Request: #1901
Reviewed-by: Jean Privat <jean@pryen.org>

benchmarks: Added Makefile for bench_json

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks: Added multiplier for small JSON files

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

FFI nith: fix using `void*` for generics and nullables types in the light FFI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

FFI niti: fix extern methods in generic classes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add a test for extern methods in generic classes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitni: can mangle all formal type, not just virtual ones

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrpg: avoid race conditions in tests that imply database

As asked by @privat, the nitrpg test suite now uses random db names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1892
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Qualified class identifiers

Extends the parsed and the AST to handle qualified class identifiers.

Now you can parse

~~~nit
redef class m0::A
        super m1::S
        redef type m2::B::T: Int
        fun foo: m3::G[m4::C] do end
end
~~~

Currently, the class qualifiers, if any, are just ignored by semantic phases. Like with method qualifiers.

Pull-Request: #1900
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: niunit: fix after/before test calls

The specification of `nitunit` states that before and after methods can be called to initialize or clean test related things:

~~~nit
module my_test_suite

class MyTestSuite
    super TestSuite

    redef fun before_test do
          # complex things to set up the test
    end

    redef fun after_test do
          # complex things to tear down the test
    end

    fun test_foo do end
    fun test_bar do end
end
~~~

In the above example, `nitunit` will call the methods precisely in this order:

~~~nit
test_before
test_foo
test_after
test_before
test_bar
test_after
~~~

Before this PR, the before and after methods were only call if a redefinition of the before/after method exists locally in the test suite. Inheritance was not considered:

~~~nit
module my_test_suite

class TestBase
    super TestSuite

    redef fun before_test do # ...
    redef fun after_test do # ...
end

class MyTestSuite
    super TestBase

    fun test_foo do end
    fun test_bar do end
end
~~~

So the output was only:

~~~nit
test_foo
test_bar
~~~

This PR fixes that behavior.

Pull-Request: #1897
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: simple 2D API, input events and the game Asteronits

You should probably read this PR commit by commit, it is a bit long but it's mostly due to the sample game, a big XML file and changes to indentation.

The new API provided by `simple_2d` is meant to replace mnit for writing 2D games.
Client modules only have to create instances of `Sprite` which will be displayed as long as they are in `App::sprites`.

At this point, the `simple_2d` API is not optimized and you may see a slowdown at the insertion of new sprites. However, we could improve the performance by preallocating buffer space for more sprites, and by caching sprites state on the GPU to avoid unnecessary updates.

This PR also adds support for input events for Linux and Android. It uses the existing services from `mnit::input`, `sdl` and `android::input_events`.

Finally, the game Asteronits is an example for the `simple_2d` API. In this game, the player controls a ship, avoids asteroids and destroys them. The gameplay and UI is limited by design to be a simple example. Note that the `touch_ui` variant is used on Android only but it also works on Linux.

The tool texture_atlas_parser reads XML TextureAtlas files and produces Nit classes with one attribute per subtexture. We could move this tool if it is useful for any other projects.

Pull-Request: #1894
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Json Ad-Hoc string parser

Simple ad-hoc JSON parser working in a similar way as `DOMXmlParser` or `SExpParser`, on the simple  example, the runtime now is around 1.5 seconds.

Once #1885 is merged however, the runtime is ~0.65 seconds, which is nice.

Depends on #1884

Pull-Request: #1886
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

benchmarks: Added JSON benchmark script

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Update sav without escaped `/` characters in a string

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Added ad-hoc json parser test

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Added ad-hoc string parser for JSON

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/android: fix frenglish doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/asteronits: intro Android version with vibration

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/asteronits: add sound effects

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/linux: audio has no more needs for mnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: move assets_dir

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/asteronits: fix android rules dependency on pre-build

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update sav for AST-related tests

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: update code to use qclassids

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate (with qclassid)

Signed-off-by: Jean Privat <jean@pryen.org>

parser: use qualified class ids in the AST (changes API)

Signed-off-by: Jean Privat <jean@pryen.org>

parser: expose qualified class id (qclassid)

Signed-off-by: Jean Privat <jean@pryen.org>

model: fix some warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/asteronits: fix dependency on inkscape_tools

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrpg: avoid race conditions in tests that imply database

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

test: add test_intern_extern.nit

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: a method can be extern and intern, extern is used as a fallback

Signed-off-by: Jean Privat <jean@pryen.org>

nitni: can mangle all formal type, not just virtual ones

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: a method can be extern and intern, extern is used as a fallback

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: always call before/after methods

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: add a test to show how non-local redefinition of before/after methods should work

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

compiler: intern methods on NativeArray can fallback instead of no-op

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: clean warnings for testing_suite

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitweb: nitcorn based API to access model and source code

Description from man page:

# NAME

nitweb - provide a web API to nit model and source code.

# SYNOPSIS

nitweb [*options*] FILE...

# DESCRIPTION

`nitweb` use `nitcorn` actions to provide an API to loaded model and source code.

Usage:

~~~sh
nitweb --host localhost --port 3000 lib/core/
~~~

### `GET /` HOME
Show the home page of the webserver.
Display all the loaded model entities in a tree.

### `GET /search/:namespace` SEARCH BY NAMESPACE
Search all model entities matching `namespace`.

It is possible to retrieve the result as a JsonArray instead of raw html
using the uri param `json=true` (default `false`).

### `GET /code/:namespace` SHOW SOURCE CODE
Display the source code of the entity matching `namespace`.

### `GET /doc/:namespace` DOCUMENTATION PAGE
Display a short documentation page about the entity matching `namespace`.

### `GET /random/` RANDOM LIST
Display a random list of entities found in the model.

The list is parametrable with the following uri params:
* `n=10` size of the list (default `10`)
* `k=modules` kind of entities in the list (default `modules`)

It is possible to retrieve the result as a JsonArray instead of raw html
using the uri param `json=true` (default `false`).

# OPTIONS

### `--host`
The host to bind the web server on.

### `--port`
Port number to use

### `-h`, `-?`, `--help`
Show Help (the list of options).

Pull-Request: #1889
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Add simple proxy action

For now anything proxied using this action is blocking.

close #1845

Pull-Request: #1858
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks: Added benchmarks for C, Go, Ruby, Python and Nit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Make all Sets cloneable

Since there is no reason to forbid it (or I have not seen one at the very least), here's a simple `clone` method that should work on any `Set`

Pull-Request: #1893
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/asteronits: fix check rule

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>