lib/android: fix manipulation of Java stack from assets_and_resources

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/linux: implement `TextAsset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/app: intro `Asset` and `TextAsset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: add a factory to `Set` to instantiate a `HashSet` by default

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update test_string_is_numeric

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: remove support for ',' in `is_numeric`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: `is_numeric` returns false on empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: extend is_numeric to support negatives (!) and e notation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: update examples as they don't need to check for tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: skip the listening loop when running continuous integration tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: String block optimisations

This stack of commits is a batch of brand-new optimisations on `String`, especially regarding the manipulation of UTF-8 characters.

As a baseline, last Tuesday @privat tried the JSON parser on a 30MiB json file, the execution took approximately 10 seconds for ~38 GIr with Valgrind, now and with his Nitcc upgrades, the total runtime is less than 2 seconds for ~11 GIr with Valgrind.

Pull-Request: #1885
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

src: Improve speed of interpreter when working with Strings

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Fixed text_stat with improvements from lib

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Avoid boxing when comparing two NativeString instances

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improve speed of `utf8_length` in NativeString and change signature

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Perfize `substring` in `FlatString`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Have `is_empty` work with `_bytelen` instead of `length` for speed

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added shortcut for common ASCII-case in `find_beginning_of_char_at`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improved cache mechanism in `ropes` for `substring` and `[]`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improve speed of an indexed access in a UTF-8 `Text` entity

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added `to_s_unsafe` method to `NativeString` which does not cleans a `NativeString` before returning it as a `String`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improved the speed of `clean_utf8`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added prefetching of 4 chars at once on `NativeString`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: expanded the nit_env.sh script to register nit within .bash_profile and .bashrc

When running `source misc/nit_env.sh install` I noticed that it resulted in the following error:

`grep: User/user .profile: No such file or directory`

The `nit_env.sh` script created a `.profile` file in the home directory despite an existing `.bash_profile`. The `nit` command won't work since the shell will read the `.bash_profile` instead of the `profile`.

This PR checks for the existance and writes to a `.profile` or `.bashrc` or `.bash_profile`, if it finds none of those it creates a `.profile` and writes to that one.

If the PR is accepted the documentation will have to be updated.

Pull-Request: #1913
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: Re-made `length` an attribute in `FlatString` since its cost as lazy was prohibitive

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Removed `last_byte` attribute in `FlatString` as it is useless

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

expanded the nit_env.sh script to register nit within .bash_profile, .bashrc

Signed-off-by: itsWill <guilhermerpmansur@gmail.com>

Merge: model: migrate model_collect to model_views

And update all the clients.

Pull-Request: #1908
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: src: introduce Nit Static Analysis Framework

This is the first step in the introduction of a static analsysis framework for the nit language.

This PR introduces the basic behaviors of a StaticAnalysis and ForwardAnalysis.
I added ReachingDefAnalysis as an example of StaticAnalysis implementation.
I also added `nitsaf`, a client example for the saf module.

I suggest to read this PR commit by commit, I splat it in steps:
* introduce base services
* handle ifs constructs
* handle loops constructs
* handle method declaration

Next steps/PRs will be:
* introduce inter-procedural analysis
* use RTA for better inter-procedural analysis precision
* backward analysis
* add more analysis (isset checks, attr isset, unused properties, useless nullables...)

Closes #511.

Pull-Request: #1764
Reviewed-by: Jean Privat <jean@pryen.org>

tests: skip nitsaf with niti and nitvm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add intraprocedural analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/collection: introduce init `HashMap::from`

HashSet has one, why not HashMap?

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add loop flow set merge

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add flow merge on `if..else` blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce `nitsaf` binary

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce reaching defs analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce Nit Static Analysis Framework

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate phases to model view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: make DocModel a ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc_base: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: make Model::model behaves like for other mentities

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate nullables metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mendel metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mclasses metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

autocomplete: use model views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: use ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelTreeVisitor instead of custom tree list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use MEntityTree instead of ad-hoc list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelView instead of model collect

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce ModelAction

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove dependencies from `model_html` to `model_collect`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: use model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Faster hex parsing

As said in #1895, we need faster parsing of UTF-16 escaping sequences, this PR is the answer.

It makes the runtime of the `large_escaped` benchmark go down from ~5s to ~3.5s, and with valgrind, from 26GIr to 20GIr

Note: based on #1886, only the 4 last commits are of interest here

Pull-Request: #1896
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: add Text::levenshtein_distance

Pull-Request: #1912
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Better mmodule location

This mainly close a undocumented issue where `mmodule.location.source` is wrong

Pull-Request: #1911
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: hightlight: correctly highlight loose comments

close #1907

Pull-Request: #1910
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: readme: add information section

Pull-Request: #1909
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added an optimized `to_hex` function to `FlatText`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update nitx sav because more information

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use mmodule.filepath at some place

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote MModule::filename to model::mmodule

Signed-off-by: Jean Privat <jean@pryen.org>

loader: update the mmodule location once the source is parsed

Signed-off-by: Jean Privat <jean@pryen.org>

core: add Text::levenshtein_distance

Signed-off-by: Jean Privat <jean@pryen.org>

hightlight: correctly highlight loose comments

Signed-off-by: Jean Privat <jean@pryen.org>

readme: add information section

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: model: Beefup model visitor

Add usefull services to model visitor and introduce a model view based on it.

Pull-Request: #1903
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Json benchmark

Added a JSON parser benchmark between different languages and Nit using 3 variants:

* Nit/NitCC: The old parser relying on NitCC, which is slow and memory-consuming (more than 6 Gio RAM for the 100Mio escaping-intensive file)
* Nit/Ad-hoc UTF-8 no ropes: The new parser working exclusively on `FlatString`
* Nit/Ad-hoc UTF-8 with ropes: The new parser with a mix of `Concat` and `FlatString`


I hear you all clamouring, well, here are the results (after #1885 and #1887, naturally):


So yeah, I guess we could do better when it comes to escaping since the biggest difference in runtime is in the `large_escape` benchmark which coincidentally contains mostly `\uXXXX` characters.

Other than that, we do as well as Go and better than Ruby (also worse than Python, but this does not count), which is nice.

About the inputs:

* large_escaped is an unusual file since it contains large strings with lots of unicode escaping sequences which should highlight the handling of String-to-Int conversions and Unicode-escape-sequences-to-UTF-8-characters, and it is big, as in very big (94.7 Mio)
* magic, a normally-formatted 54 Mio JSON file with quite a bunch of Unicode characters
* gov_data, a 6.9 Mio JSON file with ASCII characters only
* twitter, a 64 kio JSON file with a lot of japanese characters

I might add some more files later to better represent the variety of inputs, but right now is a good time to push the benchmark suite, enjoy !

Note: Since the ad-hoc JSON parser is benched, #1886 will need to be merged prior to this one if the bench is to work on your machines

Pull-Request: #1895
Reviewed-by: Jean Privat <jean@pryen.org>

tests: update tests for model_visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_view: introduce views to model based on model visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: introduce MEntityTree

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: beef up ModelVisitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/pep8analysis: Fix operand check in hexdigit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Improved performance of Unicode-escaping in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Perfized `to_hex` and have it work anywhere in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `is_surrogate` service to `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `from_hex` service to transform an hexadecimal digit to an `Int`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: rm sav/niti/fixme/test_intern_extern.res from #1898 because #1902 fixed it

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: FFI: Fix extern methods in generic classes with the interpreter, and complex types with nith

A kind of resolve was missing so the name of the generated C function was different between the call and its implementation.

Fix #1899.

Pull-Request: #1902
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Alternative intern

Improve the handling of alternative of intern methods since an extern body can be used as a fallback.

~~~
redef class Int
   fun foo is intern `{ return foo(self) `}
end
~~~

Moreover, NativeArray intern alternatives is now fixed with nitc.

There is still an issue with the extern methods of NativeArray in the interpreter.

Pull-Request: #1898
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Asteronits: add sounds and decouple app::audio from mnit

Add some sound effects to Asteronits, when opening fire, on asteroid explosion and on collisions with the ship. There is no sound for the thruster because the pause feature is currently broken on Android and inexistant on GNU/Linux.

Also update app::soounds so they no longer depend on mnit and now rely only on app.nit.

Pull-Request: #1901
Reviewed-by: Jean Privat <jean@pryen.org>

benchmarks: Added Makefile for bench_json

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks: Added multiplier for small JSON files

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

FFI nith: fix using `void*` for generics and nullables types in the light FFI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

FFI niti: fix extern methods in generic classes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add a test for extern methods in generic classes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitni: can mangle all formal type, not just virtual ones

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrpg: avoid race conditions in tests that imply database

As asked by @privat, the nitrpg test suite now uses random db names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1892
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Qualified class identifiers

Extends the parsed and the AST to handle qualified class identifiers.

Now you can parse

~~~nit
redef class m0::A
        super m1::S
        redef type m2::B::T: Int
        fun foo: m3::G[m4::C] do end
end
~~~

Currently, the class qualifiers, if any, are just ignored by semantic phases. Like with method qualifiers.

Pull-Request: #1900
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: niunit: fix after/before test calls

The specification of `nitunit` states that before and after methods can be called to initialize or clean test related things:

~~~nit
module my_test_suite

class MyTestSuite
    super TestSuite

    redef fun before_test do
          # complex things to set up the test
    end

    redef fun after_test do
          # complex things to tear down the test
    end

    fun test_foo do end
    fun test_bar do end
end
~~~

In the above example, `nitunit` will call the methods precisely in this order:

~~~nit
test_before
test_foo
test_after
test_before
test_bar
test_after
~~~

Before this PR, the before and after methods were only call if a redefinition of the before/after method exists locally in the test suite. Inheritance was not considered:

~~~nit
module my_test_suite

class TestBase
    super TestSuite

    redef fun before_test do # ...
    redef fun after_test do # ...
end

class MyTestSuite
    super TestBase

    fun test_foo do end
    fun test_bar do end
end
~~~

So the output was only:

~~~nit
test_foo
test_bar
~~~

This PR fixes that behavior.

Pull-Request: #1897
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: simple 2D API, input events and the game Asteronits

You should probably read this PR commit by commit, it is a bit long but it's mostly due to the sample game, a big XML file and changes to indentation.

The new API provided by `simple_2d` is meant to replace mnit for writing 2D games.
Client modules only have to create instances of `Sprite` which will be displayed as long as they are in `App::sprites`.

At this point, the `simple_2d` API is not optimized and you may see a slowdown at the insertion of new sprites. However, we could improve the performance by preallocating buffer space for more sprites, and by caching sprites state on the GPU to avoid unnecessary updates.

This PR also adds support for input events for Linux and Android. It uses the existing services from `mnit::input`, `sdl` and `android::input_events`.

Finally, the game Asteronits is an example for the `simple_2d` API. In this game, the player controls a ship, avoids asteroids and destroys them. The gameplay and UI is limited by design to be a simple example. Note that the `touch_ui` variant is used on Android only but it also works on Linux.

The tool texture_atlas_parser reads XML TextureAtlas files and produces Nit classes with one attribute per subtexture. We could move this tool if it is useful for any other projects.

Pull-Request: #1894
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Json Ad-Hoc string parser

Simple ad-hoc JSON parser working in a similar way as `DOMXmlParser` or `SExpParser`, on the simple  example, the runtime now is around 1.5 seconds.

Once #1885 is merged however, the runtime is ~0.65 seconds, which is nice.

Depends on #1884

Pull-Request: #1886
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

benchmarks: Added JSON benchmark script

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Update sav without escaped `/` characters in a string

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Added ad-hoc json parser test

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Added ad-hoc string parser for JSON

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/android: fix frenglish doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/asteronits: intro Android version with vibration

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>