lib/gamnit: intro gamnit depth

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro `EulerCamera::look_at`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit flat: set array_enabled settings at each frame

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit flat: extract `App::frame_core_draw`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: rename simple_2d to flat

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: add support for map_Ka in the .mtl parser

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: move `Texture::checker` to its own class to fix loading

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: document `offset` methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Intro parsers to load 3D models from .obj and .mtl files

Intro parsers to load 3D models from the ASCII based format of .obj and .mtl files. Also as support intro a new kind of asset, `app::TextAsset`, with lazy loading in the style of `Sound` and `Texture`.

Model parsing services will be used by the 3D API of gamnit to load 3D models generated by modeler tools like Blender.

The services in `gamnit::model_parsers` are independent of gamnit. However since they are game related, it is a nice package to classify them in. They still can be used by any other 3D graphics engine, as `gamnit::network` which is also independent but game oriented. This adds a small duplication in their representation because a model is stored differently once loaded in gamnit. But the format in gamnit is so low-level (only arrays of Float) that we need an intermediate representation to triangulate faces and stuff like that.

Services of `model_parser_base` may be moved to other modules in the future as needed. The services added to `StringProcessor`, may be useful to other parsers and thus it could be moved up to `parser_base`. `Vec3` and `Vec4` apply an API similar to `vec3 & vec4` of GLSL. I may move them up to gamnit or glesv2 and add more services to transform from and to points, colors and other float based data vectors.

Pull-Request: #1918
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

lib/mnit: rename `Asset` to `MnitAsset` to fix conflict with `app::Asset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro parsers for .obj and .mtl files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro new services and refine `StringProcessor` to read model files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Extend is_numeric to support negative values and scientific notation

Pull-Request: #1917
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitcorn: skip the listening loop when running the tests

Until now, each nitcorn example checked if it was being tested, and if so it would quit to not block jenkins. This PR moves this check in the nitcorn module so it is the default behavior.

This should help for #1915 and future nitcorn programs.

Pull-Request: #1916
Reviewed-by: Jean Privat <jean@pryen.org>

lib/parser_base: intro `StringProcessor::eof` and fix index error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: implement `TextAsset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: fix manipulation of Java stack from assets_and_resources

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/linux: implement `TextAsset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/app: intro `Asset` and `TextAsset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: add a factory to `Set` to instantiate a `HashSet` by default

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update test_string_is_numeric

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: remove support for ',' in `is_numeric`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: `is_numeric` returns false on empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: extend is_numeric to support negatives (!) and e notation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: update examples as they don't need to check for tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: skip the listening loop when running continuous integration tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: String block optimisations

This stack of commits is a batch of brand-new optimisations on `String`, especially regarding the manipulation of UTF-8 characters.

As a baseline, last Tuesday @privat tried the JSON parser on a 30MiB json file, the execution took approximately 10 seconds for ~38 GIr with Valgrind, now and with his Nitcc upgrades, the total runtime is less than 2 seconds for ~11 GIr with Valgrind.

Pull-Request: #1885
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

src: Improve speed of interpreter when working with Strings

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Fixed text_stat with improvements from lib

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Avoid boxing when comparing two NativeString instances

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improve speed of `utf8_length` in NativeString and change signature

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Perfize `substring` in `FlatString`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Have `is_empty` work with `_bytelen` instead of `length` for speed

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added shortcut for common ASCII-case in `find_beginning_of_char_at`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improved cache mechanism in `ropes` for `substring` and `[]`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improve speed of an indexed access in a UTF-8 `Text` entity

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added `to_s_unsafe` method to `NativeString` which does not cleans a `NativeString` before returning it as a `String`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improved the speed of `clean_utf8`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added prefetching of 4 chars at once on `NativeString`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: expanded the nit_env.sh script to register nit within .bash_profile and .bashrc

When running `source misc/nit_env.sh install` I noticed that it resulted in the following error:

`grep: User/user .profile: No such file or directory`

The `nit_env.sh` script created a `.profile` file in the home directory despite an existing `.bash_profile`. The `nit` command won't work since the shell will read the `.bash_profile` instead of the `profile`.

This PR checks for the existance and writes to a `.profile` or `.bashrc` or `.bash_profile`, if it finds none of those it creates a `.profile` and writes to that one.

If the PR is accepted the documentation will have to be updated.

Pull-Request: #1913
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: Re-made `length` an attribute in `FlatString` since its cost as lazy was prohibitive

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Removed `last_byte` attribute in `FlatString` as it is useless

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

expanded the nit_env.sh script to register nit within .bash_profile, .bashrc

Signed-off-by: itsWill <guilhermerpmansur@gmail.com>

Merge: model: migrate model_collect to model_views

And update all the clients.

Pull-Request: #1908
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: src: introduce Nit Static Analysis Framework

This is the first step in the introduction of a static analsysis framework for the nit language.

This PR introduces the basic behaviors of a StaticAnalysis and ForwardAnalysis.
I added ReachingDefAnalysis as an example of StaticAnalysis implementation.
I also added `nitsaf`, a client example for the saf module.

I suggest to read this PR commit by commit, I splat it in steps:
* introduce base services
* handle ifs constructs
* handle loops constructs
* handle method declaration

Next steps/PRs will be:
* introduce inter-procedural analysis
* use RTA for better inter-procedural analysis precision
* backward analysis
* add more analysis (isset checks, attr isset, unused properties, useless nullables...)

Closes #511.

Pull-Request: #1764
Reviewed-by: Jean Privat <jean@pryen.org>

tests: skip nitsaf with niti and nitvm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add intraprocedural analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/collection: introduce init `HashMap::from`

HashSet has one, why not HashMap?

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add loop flow set merge

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add flow merge on `if..else` blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce `nitsaf` binary

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce reaching defs analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitsaf: introduce Nit Static Analysis Framework

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate client to new doc API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: migrate phases to model view

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: make DocModel a ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc_base: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: make Model::model behaves like for other mentities

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate nullables metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mendel metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: migrate mclasses metrics to model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

autocomplete: use model views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: use ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelTreeVisitor instead of custom tree list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use MEntityTree instead of ad-hoc list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use ModelView instead of model collect

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce ModelAction

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove dependencies from `model_html` to `model_collect`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: use model_views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Faster hex parsing

As said in #1895, we need faster parsing of UTF-16 escaping sequences, this PR is the answer.

It makes the runtime of the `large_escaped` benchmark go down from ~5s to ~3.5s, and with valgrind, from 26GIr to 20GIr

Note: based on #1886, only the 4 last commits are of interest here

Pull-Request: #1896
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: add Text::levenshtein_distance

Pull-Request: #1912
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Better mmodule location

This mainly close a undocumented issue where `mmodule.location.source` is wrong

Pull-Request: #1911
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: hightlight: correctly highlight loose comments

close #1907

Pull-Request: #1910
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: readme: add information section

Pull-Request: #1909
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added an optimized `to_hex` function to `FlatText`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update nitx sav because more information

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use mmodule.filepath at some place

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote MModule::filename to model::mmodule

Signed-off-by: Jean Privat <jean@pryen.org>

loader: update the mmodule location once the source is parsed

Signed-off-by: Jean Privat <jean@pryen.org>

core: add Text::levenshtein_distance

Signed-off-by: Jean Privat <jean@pryen.org>

hightlight: correctly highlight loose comments

Signed-off-by: Jean Privat <jean@pryen.org>

readme: add information section

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: model: Beefup model visitor

Add usefull services to model visitor and introduce a model view based on it.

Pull-Request: #1903
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Json benchmark

Added a JSON parser benchmark between different languages and Nit using 3 variants:

* Nit/NitCC: The old parser relying on NitCC, which is slow and memory-consuming (more than 6 Gio RAM for the 100Mio escaping-intensive file)
* Nit/Ad-hoc UTF-8 no ropes: The new parser working exclusively on `FlatString`
* Nit/Ad-hoc UTF-8 with ropes: The new parser with a mix of `Concat` and `FlatString`


I hear you all clamouring, well, here are the results (after #1885 and #1887, naturally):


So yeah, I guess we could do better when it comes to escaping since the biggest difference in runtime is in the `large_escape` benchmark which coincidentally contains mostly `\uXXXX` characters.

Other than that, we do as well as Go and better than Ruby (also worse than Python, but this does not count), which is nice.

About the inputs:

* large_escaped is an unusual file since it contains large strings with lots of unicode escaping sequences which should highlight the handling of String-to-Int conversions and Unicode-escape-sequences-to-UTF-8-characters, and it is big, as in very big (94.7 Mio)
* magic, a normally-formatted 54 Mio JSON file with quite a bunch of Unicode characters
* gov_data, a 6.9 Mio JSON file with ASCII characters only
* twitter, a 64 kio JSON file with a lot of japanese characters

I might add some more files later to better represent the variety of inputs, but right now is a good time to push the benchmark suite, enjoy !

Note: Since the ad-hoc JSON parser is benched, #1886 will need to be merged prior to this one if the bench is to work on your machines

Pull-Request: #1895
Reviewed-by: Jean Privat <jean@pryen.org>

tests: update tests for model_visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_view: introduce views to model based on model visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: introduce MEntityTree

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: beef up ModelVisitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/pep8analysis: Fix operand check in hexdigit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Improved performance of Unicode-escaping in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Perfized `to_hex` and have it work anywhere in a `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `is_surrogate` service to `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added `from_hex` service to transform an hexadecimal digit to an `Int`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: rm sav/niti/fixme/test_intern_extern.res from #1898 because #1902 fixed it

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: FFI: Fix extern methods in generic classes with the interpreter, and complex types with nith

A kind of resolve was missing so the name of the generated C function was different between the call and its implementation.

Fix #1899.

Pull-Request: #1902
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Alternative intern

Improve the handling of alternative of intern methods since an extern body can be used as a fallback.

~~~
redef class Int
   fun foo is intern `{ return foo(self) `}
end
~~~

Moreover, NativeArray intern alternatives is now fixed with nitc.

There is still an issue with the extern methods of NativeArray in the interpreter.

Pull-Request: #1898
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Asteronits: add sounds and decouple app::audio from mnit

Add some sound effects to Asteronits, when opening fire, on asteroid explosion and on collisions with the ship. There is no sound for the thruster because the pause feature is currently broken on Android and inexistant on GNU/Linux.

Also update app::soounds so they no longer depend on mnit and now rely only on app.nit.

Pull-Request: #1901
Reviewed-by: Jean Privat <jean@pryen.org>

benchmarks: Added Makefile for bench_json

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>