tests: Updated `test_substring` for edge case in `ASCIIFlatString::substring`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Fix substring in `ASCIIFlatString`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Some nitunit love

Two small changes

* nitunit works on directories. e.g. `nitunit lib/ contrib/`
* static errors are shown with precise location.

~~~
test_doc3.nit:17,9--15: Syntax Error: unexpected identifier 'garbage'. To suppress this message, enclose the block with a fence tagged `nitish` or `raw` (see `man nitdoc`). (invalid-block)
#      *garbage*
        ^
~~~

runtime errors are a more complex beast to track. Two solutions:

* pragma to inject line informations in the generated test program. This need to find a syntax for line pragmas and teach the parser to use them
* post-error management that parse error messages and substitute the locations from the the generated program with the original locations in the real source. Doable but more code is needed.

Pull-Request: #2075
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: CSV Benchmarks

This PR introduces a new benchmark script for CSV parsers.

Are tested here:

* Nit CSV Ad-hoc parser
* Go standard parser
* Java Apache Commons CSV parser
* Python - Pandas
* Python - Standard
* Ruby - Standard

Will upload some measurements later but *spoiler alert* Python - Pandas is the fastest on large files, Ruby is the slowest by far, Java is the second slower with a big margin from the rest.
Go/Nit/Python-Standard are almost equivalent.

Pull-Request: #2072
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Add a Dockerfile to build a full image of a Nit install

The image is based on Debian stable (jessie) with a lot of packages.
I'm not sure what is the point of such images for the end-users.

My objective was just to test a Nit installation on a fresh, full & reproductible base.

Image will be available in the docker hub: https://hub.docker.com/r/nitlang/nit/

The only tests that fails are:

* ballz_android dino_android shoot_android ui_test test_platform_android: no android
* emscripten_nodejs: no emstripten
* test_neo_args1 test_neo4j test_neo4j_batch: no neo4j
* mpi_simple: bizarre error messages
* simple_file_server: the user is root so 80 can be opened :/
* test_glsl_validation: not installed

nitunit need also to be run

Pull-Request: #2070
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: Rubix cube - Catalog and documentation update

A .ini file has been added for support in catalog, along with some module documentation for `lib/rubix.nit`

Close #2076.

Pull-Request: #2077
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Promote location in MEntity

For some unknown historical reasons, the location was only provided to some specific model entities. By extending it to all entities, this simplify clients that need to process, visit or filter entities.

Location is not nullable for all entities. This is simpler but need some place-holder object for fictive location. ie some location objects that mean "no location".

Pull-Request: #2045
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

nitc/neo.nit: adapt code to promoted locations

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/model: add location to MType

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: model_visitor shows the location

Signed-off-by: Jean Privat <jean@pryen.org>

model: add location to MClass and MProperty

Signed-off-by: Jean Privat <jean@pryen.org>

model: filepath is now just an alias on the location

Signed-off-by: Jean Privat <jean@pryen.org>

model: add location to packages and groups

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote location to any `MEntity`

Signed-off-by: Jean Privat <jean@pryen.org>

lib: Added catalog ini for `rubix` project

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Added documentation on rubix module

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks/csv: Added README

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks: Added CSV benchmark to bench suite

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nitc/location: add named constructor `opaque_file`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/base64: Support line breaks in base64 strings.

This allows to read directly ascii-armored blocks.

close #2069

Pull-Request: #2071
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Introduce crapto modules for cryptographic attacks.

Introduce a frequency analysis service for the english language.

Pull-Request: #2063
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: unitunit gives more precise error locations

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: give precise error location on invalid docunits.

Signed-off-by: Jean Privat <jean@pryen.org>

Introduce lib/crapto and a frequency analysis service.

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

nitc/loader: filter_nit_source accept directories

so `nitunit lib/` will test all the package of the `lib/` directory

Signed-off-by: Jean Privat <jean@pryen.org>

lib/base64: Support line breaks in base64 strings.

This allows to read directly ascii-armored blocks.

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

Add a Dockerfile to build a full image of a Nit install

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Calculator: add scientific features and nicer adaptations for Android and iOS

This is a long overdue update to the calculator which is the reference example for the _app.nit_ framework.

This PR adds scientific operations and constants to the calculator, directly in the logic, and only as a refinement of the UI. There is also new aesthetic adaptations for Android and iOS.

The calculator now uses Unicode operators like ÷ and ×, and internally a string instead of a `FlatBuffer` for simplicity. This change revealed errors in FFI wrappers where `to_s_with_copy` should have been used.

Pull-Request: #2066
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Added a service to xor `Bytes`

Needed a new constructor for `Bytes` to facilitate things.

Pull-Request: #2061
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Update gitignore to exclude DS_Store

The .DS_Store file is automatically generated by the Mac OS filesystem to keep metainformation about that directory. This files is unnecessary to the project so should be excluded in the .gitignore

@privat

Pull-Request: #2060
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/crypto: Remove xor cipher on Text.

It could be counter intuitive because of unicode. Explicitly casting to `Bytes`
first will be clearer.

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

lib/crypto: Add a xor'ing function to Bytes.

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

calculator: implement unary minus

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: add screenshots to the README

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: mobile apps use the scientific variant

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: intro iOS adaptation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: intro Android adaptation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: add scientific variation to the portable app

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: extend the calculator logic with scientific operators

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: replace the FlatBuffer with a simple String

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: use Unicode strings instead of single chars for operators

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/cocoa: fix NSString::to_s to use to_s_with_copy

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gtk: copy all strings into Nit memory

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

updated .gitignore to ignore .DS_Store

Signed-off-by: itsWill <guilhermerpmansur@gmail.com>

Merge: JSON Parser Optimization

This PR improves the speed of JSON parsing with the `string_parser` module. The new version of `parse_json_string` is heavily inspired by Python's implementation, available [here](https://github.com/python/cpython/blob/master/Modules/_json.c)

Time is usually either as performing as before or better, Valgrind also gives the new version an advantage, sometimes significant.

On `large_escaped` (~120M, lots of escaped characters), we have:

* Before: 13 748 436 458 Ir
* After: 11 687 104 643 Ir

i.e. an improvement of ~18%

Time is:
* Before: 0m4.428s
* After: 0m3.932s

i.e. an improvement of ~13%

Note that on this particular test, although the number of allocations is limited as much as we can, Boehm still cannibalizes the runtime, seeing that the real time is ~2.6s.
Perf gives a total time of ~38% in GC_mark and ~7% in GC_cache_miss.

Some more optimizations can be thought, but this shows how important a good GC is necessary for the future, this program can be a good metric of how GC usage can be improved.

For further reference, Python3 on the same test gives the following output on time and Valgrind:

* Time (user): 0m1.760s
* Time (real): 0m2.177s
* Valgrind: 8 845 966 867 Ir

Pull-Request: #2058
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: bugfix: `is optional` attributes was evaluated too much

`is optional` attribute must not be evaluated on the allocation, but only if `null` is given in the `new`.

Since the use of `is optional` did not spread, no one seems to have been bitten yet.

Pull-Request: #2053
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Perfize reset in `FlatBuffer`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Replaced FFI version of set_char_at by pure Nit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added new `append_substring` service to avoid creating ephemeral instances

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Faster `parse_json_string` implementation

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Flatbuffer fix

Fix a bug at initialization of a flat buffer from a string.

Reported by @BlackMinou

Pull-Request: #2056
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/fixed_ints: fix crash on `"-".is_int`

Pull-Request: #2055
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Added test for `FlatBuffer::from`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: Implemented `pretty_json_visit` on JsonParseError

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added surrogate detection methods to `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Fix `new FlatBuffer.from`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update result of test_text_stat for change to is_int

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/fixed_ints: fix crash on `"-".is_int`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Fix RopeBytes

A bug had found its way into RopeBytes when merging UTF-8, this PR should fix the issues with it.

Close #2014

Pull-Request: #2052
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Examples class name

@Morriar was interested in the `try_get_mclass_by_id` for its documentation services but wanted to pass a string (and not a AST node) and work on all module (not just one).

I suggested to use parse_something to transform the string into a qualified class name then filter the classes of the model on it. As an experimentation, I wrote a simple example program that does this.

@Morriar then suggested to put the sample program in the repository to document how can the various tools of the model can be used to do things.

This PR inaugurate the new directory `src/examples` that is intended to contains small snippets and programs that use the `nitc` package.

Pull-Request: #2050
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Clean some errors in benches

add html output for json and fix two issues in http://gresil.org/jenkins/job/nit_bench/120/testReport/

Pull-Request: #2043
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: add base_is_optional to check the evaluation order of attribute values

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/engines: do not initialize optional attributes on the allocation

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core: Fix RopeBytes::[]

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: tests also programs from `src/examples/`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update error message for class name hints

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/examples: inaugurate the directory with `get_mclasses`

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: improve hint engine with two levenshtein

Signed-off-by: Jean Privat <jean@pryen.org>

lib/more_collections: add `BestDistance` as an helper class

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Simplify CSV

This PR is a rewriting of the CSV library, it should now be easier to use and should not fail anymore due to `\r\n` being the default, this one has been replaced by a single `\n` character.

The `CSVFormat` class has been removed since it introduced more complexity than usefulness, and now the separator, eol and delimiter can be set independently after creation of the `CsvDocument` or a `CsvReader/Writer`.

Concerning performance, the new parser is way faster than the old one.
On a simple 4Mio file, parsing used to take 2.401s.
On the new parser, the measured user time is 0.179s, hence an improvement by a factor of ~12.

Old code sample
~~~nit
import csv

var fl = new FileReader.open(args[0])
var rd = new CsvReader.with_format(fl, new CsvFormat('"', ',', "\r"))

var lns = new Array[Array[String]]
for i in rd do lns.add i
~~~

New code sample
~~~nit
import csv

var rd = new CsvReader.from_string(args[0].to_path.read_all)
rd.eol = "\r"
rd.read_all
~~~

Pull-Request: #2048
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Perfize FlatBuffer

This PR introduces a bit of a performance improvement to `FlatBuffer` by limiting the number of reallocations for common cases.

Pull-Request: #2049
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: Stop allocating 1 byte more when initializing a `FlatBuffer` with capacity

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improved running time for reset

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Improve FlatBuffer re-allocation rate by pre-allocating at least 16 bytes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Added new CSV test

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src: Updated uses of CSV library

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/csv: Major rewriting for performance and simplicity

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: `u8char_len` is now public

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added simple write char method to `Writer`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Qualified Class Names

After #2034 and #2041 , some of you might had some theories about future episodes. While this is not GoT, I hope the you found that the following is a nice surprise: qualified class names are now understood by the tools.

The specification is the following:

On conflicting class-names, you can use the package_name to qualify the class. i.e. `package_name::ClassName`. This is enough for all public class, since it is the canonical name for them.
For conflicting private classes, the package_name should be enough in most cases. If there is still a conflict, you need to precise also the name of the module. i.e. `package_name::module_name::ClassName`.

Qualified properties is a more complex thing, and since the class is used as a namespace for them, there is statically less property name conflicts (except for classes commonly refined, like Sys maybe). So I plan to put qualified properly names in a boat heading to King’s Landing and let them row.

Pull-Request: #2047
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

tests: update sav because new error messages on class name error

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add `base_name_conflict` to test more conflicting names

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Rubix cube

A simple Rubix Cube library, don't mind the diff, a huge part is just test reuslts :)

It should support all the commands from the Singmaster notation (see [here](http://ruwix.com/the-rubiks-cube/notation/) for more details on the notation)

Note that the big number of specialized top-level functions with ints show in this case how useful a proper Enum system would be :)

Pull-Request: #2032
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib: add logic library

After cleaning some CTF code.

More code,  like a parser and generation of common format might come

Pull-Request: #2037
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Add nitlight and jwrapper to the benchbed

Also improve jwrapper a little

Pull-Request: #2044
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitcatalog: handle local images

nitcatalog is extended to detect links to local images, copy the resource in the catalog directory and hijack the generated link.
This should fix #2042 and fix the images in http://nitlanguage.org/catalog/p/tinks.html

Most is done by monkey-patching (aka dirty refinement) since the doc_down model uses an internal private global markdown decorator. I'm not sure what should be the best approach here, and I had to improvise since @Morriar is MIA.

Bonus:

* `file_copy_to` is fixed and do not corrupt binary files (thanks @R4PaSs)
* `tests/test_prog` is used to test the catalog

Pull-Request: #2046
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

modelize_class: use the new `get_mclass_by_id` to identify class refinement

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: Add a specific error message for class ambiguities.

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add (and use) `AQclassid::full_name` for better messages

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: split the class_not_found error in a separate function

Signed-off-by: Jean Privat <jean@pryen.org>

tests: Added rubix tests to skip for niti and nitvm

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update sav because improved error messages on class names

Signed-off-by: Jean Privat <jean@pryen.org>

tests: use more complex names for `test_model_visitor`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add `error_names` and extends the `names` hierarchy

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add `try_get_mclass_by_qid` to handle qualified class names

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add metadata & content in test_prog to test nitcatalog

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: copy local image resources inside the output directory

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: fix hint on bad classnames

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/doc/doc_down: store the current mdoc object in the decorator

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/doc/doc_down: make NitdocDecorator public to it can be extended

Signed-off-by: Jean Privat <jean@pryen.org>