Merge: lib/standard/string: Added faster to_cstring method on FlatText.

Adds a service for quick cstring in `FlatTexts`, this is mainly to speedup some methods like `write_native`, which takes a cstring in input.

This just creates a new pointer to the same `char*` with an offset.

Since no copy is ever made, its use is highly discouraged in extern code or in cases other than ephemereal uses of the resulting `NativeString`.

Since it adds a new intern service, it cannot be used as is in the standard library as it will need a regeneration of c_src beforehand.

Pull-Request: #1231
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/ios: add metadata annotations to "Hello iOS"

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: the iOS platform use app.nit annotations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib & examples: update modules using the java_package annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: move up the default values of a project from the android platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: extract common app.nit annotations from Android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model: intro `MModule::first_real_mmodule` to get the first non-fictive module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benchmarks/string: Added README

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Improve loader

This PR improves the loader that can now accepts

* directories of projects: to load all modules of all projects (eg `contrib`)
* root directories of groups: to load all modules of the groups (eg `contrib/benitlux`).
  Previously, this worked if there was no `src` subdirectory)

This works for tools that rely on full_parse (basically all tools except the engines).

~~~sh
$ ./test_test_phase ../lib -q
It works
I have 89 projects
I have 285 modules
I have 1038 classes
For 1366 definitions of classes
I have 7101 methods
For 9098 definitions of methods
~~~

Note that if any files has an error most tools will just stop.

Pull-Request: #1229
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitdoc: introduce Bootstrap components

The main objectif of this PR is to introduce a new module that abstracts Bootstrap component rendering (2d8ea6e).

Commit 63aab1e gives an example of how nitdoc will use these abstractions in the future PRs.

Also do some fixes and cleaning.

Pull-Request: #1174
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Bench markdown --semi-global

Add a second nitmd engine compiled with --semi-global.

One can see that it helps to win against some java impl.


Pull-Request: #1234
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

benchmarks/strings: Added Makefile for tests with default values.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks/string: Updated bench scripts for strings

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benches/markdown: add `pandoc` engine.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add the testosx.sh script to run OSX and iOS specific tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add savs file for ios tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: tests.sh detects directories before trying to execute them

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: get_mgroup can be given the root directory or the src directory

Signed-off-by: Jean Privat <jean@pryen.org>

loader: get_mgroup search README in src first then in the root directory

Signed-off-by: Jean Privat <jean@pryen.org>

loader: parse_full look inside directories of projects

Signed-off-by: Jean Privat <jean@pryen.org>

src/doc: uniformize name display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc: migrate topmenu to new templates.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc: introduce bootstrap components abstraction.

This will be used to migrate templates in a cleaner version.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/standard/string: Added faster cstring method on flatstring.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

version 0.7.3

bench_markdown: add a new engine, nitmd-o that is nitmd + optimisations

Signed-off-by: Jean Privat <jean@pryen.org>

bench_markdown: increase $s so that times are more meaningful

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/std/union_find: make DisjointSet Cloneable

Just because I need it.

I'm still not sure about what is the best way to deal with the various copy-constructors and clone methods. I think the following make sense:

A copy constructor named `from` that takes, if possible a general classifier (like an interface). This named constructor may use `nosuper` to avoid the automatic invocation of the standard init method if this cause a useless complex initialization that will be throw away by the copy.
A direct copy `clone` than can just return `new SELFTYPE.from(self)`

The advantage is that for simple clone, the `clone` method do the job.
If one want to change the class but keep the data, then the `from` constructor can be used. Like `new HashSet.from([1,2,3])`

Pull-Request: #1226
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Rewrite the coloration for properties and types.

This introduce a new colorer, `POSetGroupColorer` that colors elements introduced by the classes in a class-hierarchy.
The advantage of this new colorer is that it uses conflict graphs of classes to colorize elements.
By comparison, the previously used colorers work with conflict graphs of elements; that are therefore much larger.

An other advantage is that only the introductions of elements are needed by the colorer, so filling the information from the model is far more easier.

The construction of the poset of types is also removed.
Instead, subtyping tables are computed with a more standard way:

* target cast types are grouped by classes: a map class->types is created
* the map is colored: a table layout by class is computed
* for each live type, the table layout of the associated class is used to build the type table

Results are so good that most of the time of the coloring is removed.

For nitc/nitc/nit

Before:

user: 0m6.044s
total: 15096 MIr
do_property_coloring: 1420 MIr
do_type_coloring: 2600 MIr

After:

user: 0m5.608s (-7%)
total: 12800 MIr (-15%)
do_property_coloring: 452 MIr (-68%)
do_type_coloring: 895 MIr (-65%)

note that in the previous numbers, most of the time is done in the model to inherit or resolve things.
Pure coloring algorithm is now negligible:

conflict_graph: 34 MIr (<1% of the total Ir)
coloring: 60 MIr (<1% of the total Ir)

Unfortunately, with types the coloring can degenerate and produce big tables. If this is an issue, the options `--type-poset` use the previous coloring method for types

Pull-Request: #1215
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Misc for lib

Litttle features and warning-fixes for the libs

Pull-Request: #1228
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: iOS support

Adds a target platform in the compiler which generates an XCode project for iOS applications.

Intro the `ios` projet to group services for iOS. It implements the callbacks expected by the iOS system for a basic graphical application. It also triggers compilation for the iOS platform.

Adds one example of a graphical application `hello_ios` and a very minimal test for the iOS platform.

This is still very much a work in progress, you will notice many TODO in the code. Here are some of the next features to implement:
* Extend support to all iOS devices, not only the iPhone in the simulator.
* Reorganize annotations for app.nit: app_name, package_name, and maybe organization_name.
* Add more services of the Cocoa touch library and rewrite the `hello_ios` app in Nit.
* Support assets and other game related features.
* Some cleanup of the generated XCode project files could be a good thing.

Pull-Request: #1227
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: sepcomp: fixup trampoline with tagged primitive values

Thus fix --trampoline-call (and --link-boost)

Pull-Request: #1225
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Fix escape to c

close #1223

Pull-Request: #1224
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Fix warnings from clang on OS X

Pull-Request: #1222
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

lib/template: migrate the example to new constructors

Signed-off-by: Jean Privat <jean@pryen.org>

lib/geometry: document ILine

Signed-off-by: Jean Privat <jean@pryen.org>

lib: move privileges.nit to its subdirectory

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard: document FileReader::from_fd

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard: factorize File*::close

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard: add Collection::not_empty

Signed-off-by: Jean Privat <jean@pryen.org>

lib/sorter: add `MapRead::keys_sorted_by_values` and the related comparator

Signed-off-by: Jean Privat <jean@pryen.org>

tests: skip iOS tests on GNU/Linux

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/ios: add the simple hello_ios app

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add a very minimal test for the iOS platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro the iOS library

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: support compiling for the iOS platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: `Toolchain` keeps the compiler as an attribute

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/sorter: add `MapRead::values_sorted_by_key`

Signed-off-by: Jean Privat <jean@pryen.org>

test_phase: use parse_full

Signed-off-by: Jean Privat <jean@pryen.org>

semantize: handle the with statement

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate with the `with` statement

Signed-off-by: Jean Privat <jean@pryen.org>

grammar: new `with` statement

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std/union_find: make DisjointSet Cloneable

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: fixup trampoline with tagged primitive values

Signed-off-by: Jean Privat <jean@pryen.org>

examples : adds a little example using "threaded" annotation

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Adds the parallelization_phase to the frontend execution

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Introduce parallelization_phase to deal with the "threaded" annotation

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

tests: update sav/test_parser_args1.res for escape_to_c changes

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string: escape_to_c uses 3 digits in the octal form \nn to avoid misinterpretation

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string: escape_to_c transforms `"\t"` to `"\\t"`

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: do not generate class tables for dead classes

exceptions are pimitive types and classes that have a `new` factory

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: use the new `POSetGroupColorer` to color types for tests

The previous coloring with a poset of types is still available trough `--type-poset`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Fast benches

Last week benches shows some failures on some options due to recent commits.

This PR add a `--fast --fast` option that test only `hello_world` so it could be used in continuous integration to test the various meaningful combination of compiling options.

Moreover, the script is simplified to be more simple to use and extends with new options or combination of options,

Pull-Request: #1217
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Fast super strings

Superstrings, like "a{b}c", are managed in the AST as a special group of sub-expression nodes that are either literal string parts or standard expressions.
The previous example is basically `["a", b, "c"]`

Previously, the compilation of super-strings was direct: the values are grouped in an array and `to_s` is called on it.

So in fact `"a{b}c"` was compiled as `["a", b, "c"].to_s`.

This basic implementation is simple and correct. But it has some drawbacks:

* a new Array[Object] (and a NativeArray[Object]) is allocated each time the super-string is evaluated.
* all elements are to_s-ized in `Array::to_s`, even the literal parts.
* an additional NativeArray[String] is allocated in `Array:to_s` to do the fast concatenation.

Because of the numerous allocations, superstrings caused a lot of work to the GC.

This PR provides a better, but more complex implementation:

* instead of an Array[Object], a NativeArray[String] is directly build and a fast concatenation `native_to_s` is invoked.
* the allocated NativeArray is cached in a static variable so it can be reused in next evaluation.
* the literal string parts are stored in the native array as is, and only once just after the allocation of the native array.

Results for nitc/nitc/nitc:
before: 0m6.076s
after: 0m5.512s (-9% not bad!)

Pull-Request: #1219
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/std/file: do not flush on each write

Flushing for each small element of an output made things too slow.

real (not user) time for nitc/nitc/nitc:
before: 0m7.373s
after: 0m5.901s (-20%)

Pull-Request: #1216
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Some cleaning in vm files

This small PR creates a directory for all vm files and a unique entry point.

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

Pull-Request: #1221
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitc: fix closing manifest writer, should fix bug on #1216

Pull-Request: #1220
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

tests: remove sav/nitg-e/error_needed_method_alt4.res since behavior is fixed

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: fix missing includes for getpid

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: fix return value of the system method

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: Adds "threadeed" annotation

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Merge: Fix --no-union-attributes

--no-union-attributes was broken since the tagging of primitive. This PR fix it.

Pull-Request: #1218
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

compiler: prefill the native array with the literal string parts

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: `ASuperstringExpr` store the native array in a static variable

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: compile ASuperstringExpr using `native_to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

lib: introduce `NativeArray::native_to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: fix closing manifest writer when done for #1216

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitvm: Creation of a directory vm/ for the vm files

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

compiler: add native_array_get and native_array_set

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string_exp: initialize an uninitialized attribute

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: initialize lazy guards to 'false' if opt_no_union_attribute.

Otherwise the guard is let at `NULL` (aka uninitialized) and will
ironically fail at runtime because the lazy guard is not initialized.

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: isset is implemented on tagged attributes

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: tag values when storing it with opt_no_union_attribute

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: compiler: introduce and use `MType::is_c_primitive`

Thus remove all comparaison to "val*" in the code, this is cleaner.

Pull-Request: #1214
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Simplify management of primitive types

Add direct methods to access primitive types

Simplify and improve the generation of primitive values in the compiler.

More (and improved) `*_instance` methods are now available in AbstractCompilerVisitor.
One of the point is the simplification of the generated C so that less local variables are generated, maybe this will also help the C compiler to work faster.

Pull-Request: #1213
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

bench_engines: put all at the end

Signed-off-by: Jean Privat <jean@pryen.org>

bench_engine: refactor most tests in a single function

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: use the new `POSetGroupColorer` to color properties

The diff is ugly. basically it is a complete change of the code

Signed-off-by: Jean Privat <jean@pryen.org>

coloring: new class `POSetGroupColorer` to colorize bucklets of things

The difference with `POSetBucketsColorer` is that the new one is faster
but the constraint is that an element is introduced by a single holder.

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: introduce and use `MType::is_c_primitive`

Thus remove all comparison to "val*" in the code, this is cleaner.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std/exec: remove write buffon on pipes

Signed-off-by: Jean Privat <jean@pryen.org>

bench_engines: add --fast --fast to just check the compiler

It will be included in CI tests to prevent breaking benches.

Signed-off-by: Jean Privat <jean@pryen.org>

bench_engine: silent clean

Signed-off-by: Jean Privat <jean@pryen.org>

coloring: add `POSet::to_conflict_graph` for lazy peoples

Signed-off-by: Jean Privat <jean@pryen.org>

coloring: add `POSetConflictGraph:order`

to factorize the linearization

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: `compute_resolution_tables` group by classes

Inspired by #1212

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std/file: no not flush on each write

Flushing for each small element of an output made things too slow.

real (not user) time for nitc/nitc/nitc:
before: 0m7.373s
after: 0m5.901s (-20%)

Signed-off-by: Jean Privat <jean@pryen.org>

sepcomp: `compile_class_to_c` protect access to null vtf/attrs

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: import counter for better stats

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: introduce and use char_instance, float_instance and null_instance

Signed-off-by: Jean Privat <jean@pryen.org>