Merge: modelize: ask that attributes in refinements are either noautoninit or have a value

Without value, attributes in introductions does not have the same semantic that attributes in refinements

In introduction attributes are implicitly `autoinit`, in refinements they are `noautoinit`.

This is not POLA since

* this confuse beginners
* readers have to remember if they are in an intro or a refinement
* aditionnal cognitive fragility in constructors (more cases and rules to take in account)

This PR make `autoinit` the default and ask that attributes declared in refinement are either annotated `noautoinit` or have a default value.
This way, the writer has to think about the implication of adding a new attributes in existing classes, especially to think about their initialization. Thus this could help the programmer to avoid bad error.

For the moment, I just display a warning because I want to wait for feedback before doing a big migration (or doing nothing if people hate that), I also want to use jenkins to count and locate these new warnings.

Related to #1322

Pull-Request: #1411
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Byte literals

As discussed in #1370, the `u8` suffix has been chosen for Byte literal values, this PR introduces it in the compiler

NOTE: Depends on #1403 for integration

Pull-Request: #1410
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Byte data type

As discussed in #1267, we need a Byte data type to manipulate low-level data as numerics instead of how it is done for now using chars.

This PR will serve as base for future updates, notably related to #1370 which will introduce a way to express Bytes in their literal form.

Pull-Request: #1403
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Serialization: change annotation to `serialize` and intro `noserialize`

The annotation `serialize` replaces `auto_serialize` and it is also more versatile. It can annotate a module so all its class definitions are serializable. It can also annotate an attribute so only this attribute is serialized.

The `noserialize` annotation is for exceptions to `serialize`. The most common case is to mark as non-serializable an attribute such as a password or a data blob.

Pull-Request: #1389
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Introduction of convex polygons in geometry + benchmarks

Nit implementation of the convex polygon data structure.

It's based on the java implementation done during the data structures course.

There also are benchmarks for the Nit implementation and the Java implementation to compare them

Pull-Request: #1380
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitdoc: refactoring and cleaning

Now that nitx and nitdoc are fully merged with the same structure and services, we can start the refactoring to limit the differences between both tools.

Note that the first four commits are from #1401.

Demos from [Jenkins::CI-nitdoc](http://gresil.org/jenkins/job/CI-nitdoc):
* [Standard library](http://gresil.org/jenkins/job/CI-nitdoc/ws/doc/stdlib/index.html)
* [Nit compilers and tools](http://gresil.org/jenkins/job/CI-nitdoc/ws/doc/nitc/index.html)

Pull-Request: #1416
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

nitdoc: fix typo in `doc_poset` comment

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: simplify DefinitionListArticle

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove useless class ImportationListSection

This class was used to customize the generation of this particular section and limit the diff with the original nitdoc output.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove useless class InheritanceListSection

This class was used to customize the generation of this particular section and limit the diff with the original nitdoc output.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove useless class IntrosRedefsSection

This class was used to customize the generation of this particular section and limit the diff with the original nitdoc output.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: fix typo in `DefinitionListArticle` comment

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove useless class ConstructorsSection

This class was used to customize the generation of this particular section and limit the diff with the original nitdoc output.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove useless class ProjectsSection

This class was used to customize the generation of this particular section and limit the diff with the original nitdoc output.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: factorize list article into `MEntitiesListArticle`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: move `DocComposite::is_toc_hidden` to `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: introduce `DocComposite::is_hidden` services in `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: move `DocComposite::toc_title` in `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: introduce pretty printing of composite tree

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: move `DocComposite::title` to `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: replace `group:` prefix id by `.group` suffix

Because some HTML/JS tools do not like `:` in ids...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: replace `concern:` prefix id by `.concern` suffix

Because some HTML/JS tools do not like `:` in ids...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: replace `article:` prefix id by `.article` suffix

Because some HTML/JS tools do not like `:` in ids...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: replace `section:` prefix id by `.section` suffix

Because some HTML/JS tools do not like `:` in ids...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: move `DocComposite::id` to `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update serialization tests for nitg-e

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: update README with serialize scopes and with noserialize

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: update doc to refer to the `serialize` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/a_star: update to use `serialize` instead of `auto_serializable`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/more_collections & bucketed_game: declare `serialize` at the module level

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update expected results of deserialization tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test double declaration of serialize on class defs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test `serialize` on attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test `noserialize` and `serialize` at different levels

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test the `serialize` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test `noserialize` with the `lazy` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: declare the `serialize` and the `noserialize` annotations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: redirect detection of the `serialize` annotation on AModule

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: generate methods with per attribute serialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: detect serialize from class, module and attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: detect incoherence in nested serialize annotations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: move adding the `Serializable` super class at the nclassdef

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: detect more errors on serialize/noserialize annotations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: intro a service to detect the `noserialize` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: intro a service to detect the `serialize` annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/standard: remove the only `attr-in-refinement` warning

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: ask that attributes in refinements are either noautoninit or have a value

Signed-off-by: Jean Privat <jean@pryen.org>

tests: Updated test for byte literals

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

compiler: Updated toolchain for proper byte literal support

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

parser: Regenerated for u8 suffix support

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

parser: Added u8 suffix for byte literal values

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Added test for Byte data type

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard: Introduce Byte type in kernel

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src/nitserial: do not use private classes when invisible

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: introduce plain_to_s

In order to have a more POLA `to_s` on collections, it is required that a new method with the old behavior is provided for clients that need it (especially the interpreter that use it for superstrings).

the compiler use `native_to_s` for superstrings but `c_src/nitg` still use `to_s` on array, so a regeneration of the bootstrap is required before changing the behavior of `to_s` on collections.

Pull-Request: #1385
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update sav/nitserial_args1.res because change in RTA

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard/string: introduce (an use) `plain_to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Nitg-g new NativeArray fix

This is a bug that was discovered during the push of #1403.

What happens is that since NativeArrays work only with boxed values, the copy_to operation could write data beyond its intended boundaries, hence corrupting random memory.

If you execute the test bundled with the PR, on my machine, with `--hardening` on, you get this error:
`BTD BUG: Dynamic type is Sys, static type is Array[Byte]`

What happens here is that the `dest` of the `memmove` was in a emplacement before the `Array[Byte]` itself, due to its length and because the `memmove` used val* as sizeof value, it rewrote the classid of `self`, hence changing its dynamic type effectively from `Array[Byte]` to `Sys`, which produces the typing bug.

If left too long to execute, or in an unlucky memory layout, it simply segfaulted.

The behaviour of NEW_NativeArray henceforth is that it will reserve space for n `val*` instead of the `ctype` of the values.

Pull-Request: #1417
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Annotation lateinit

#857 introduced `autoinit` on attributes that has a default value to initialize them latter.

This is a rarely used feature. It is also not POLA because it overloads the name `autoinit` that has a different meaning on methods cf #1308.

Thus in order to polaize the spec, the annotation is renamed `lateinit`. So close #1308.
Note: maybe the annotation will just be removed in a future PR, this one is a last attempt to keep it.

Related to #1322; required by #1311

Pull-Request: #1409
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Advice on useless repeated types

With this PR, nitpick and other tools are able to suggest to remove useless types in signature redefinition with the option `-W`.

Example:

~~~nit
class A
fun foo(a: Bool) do end
end

class B
super A

redef fun foo(a: Bool) do end
end
~~~

~~~
$ nitc test.nit -W
test.nit:8,19--22: Warning: useless type repetition on parameter `a` for redefined method `foo` (useless-signature)
redef fun foo(a: Bool) do end
                 ^
Errors: 0. Warnings: 1.
~~~

Pull-Request: #1373
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

tests: Basic test for the allocation of NativeArray with short native values

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nitg-g: Fix allocation of NativeArray

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: fix tests with repeated types warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: contrib/header_static: a cog in the toolchains to generate Objcwrapper

### Filters preprocessed C-like header files to remove static code and keep their signatures.

This tool is used in the process of parsing header files to extract
information on the declared services (the functions and structures).
This information is then used to generate bindings for Nit code
to access these services.

The C header sometimes contains static code. It deletes static code of
headers, but keep their signatures. This tool is an extension of
header_keeper. It searches the keyword static to identify
the static code, and ignore the code into their brackets. The result is
printed to sdtout.

~~~sh
cat Pre-Processed/CGGeometry.h | header_static Pre-Processed/CGGeometry.h > Pre-Processed/static_header.h
~~~

This module can also be used as a library.
The main service is the method `header_static`

Pull-Request: #1396
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitdoc: introduce useful services

Some services needed for next PRs

No diff to HTML output

Pull-Request: #1401
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/socket: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/template: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/string_experimentations: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/curl: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/sqlite: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/geometry: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/neo4j: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/sax: remove useless types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/standard: remove useless repeated types in `standard`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: test advice for useless repeated type in redef

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: check useless repeated types in signatures

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpick: fix a typo in comments

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: check multiple page with same id

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: introduce `Page::title` and `Page::id` in `doc_base`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: introduce `mentities_by_namespace` lookup service in DocModel

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: introduce `mentities_by_name` lookup service in DocModel

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Correct warn on noautoinit

Move the analysis of the class annotation `noautoinit` after the inheritance of initializers so the warning is correct, thus fixes #1350

The main commit is mainly moving the code in the same method.

Pull-Request: #1408
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Rename the visit function of minilang example.

This PR rename the visit function of the ```minilang.nit``` file. The previous name was incoherent with the module purpose.

Pull-Request: #1406
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Use self in the FFI

As requested by everyone, replace the id `recv` by `self` in all Nit FFIs, and their users.

This PR must be integrated before regenerating c_src and using the light FFI in bootstrap critical code.

There is a few commits to update the style of files that caused white space errors.

Pull-Request: #1399
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Improve internal mechanisms of the nitvm

This PR fixes a bug that was hidden in the nitvm for a too long time, the recursion in class loading was bad and is now corrected.

Then a more accurate mechanism is introduce to deal with positions of methods and attributes in internal structures of classes and objects.
When a method dispatch is performed, this mechanism allows to ask precisely for a class the position of a block of methods (or attributes). This should increase the proportion of object mechanisms "compiled" in an efficient way.

Finally, the class loading is optimized: an indirectly loaded class is not fully constructed and allocated.
Instead, its identifier is computed to allow subtyping tests.

For now, these more accurate mechanisms need recompilations of callsite. This sould be done in further PR.

Pull-Request: #1398
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Markdown location

Introduce location in markdown parser so tools can easily retrieve the original position of a block or a token in the input file/string.

Commits:
* 2d139eb introduces de Location concept and update the parser
* fda150d isn't interesting since it only update signature in the test file
* dacc7ba adds some test suites for the locations

Pull-Request: #1397
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: contrib/header_static: a cog in the toolchains to generate Objcwrapper

### Filters preprocessed C-like header files to remove static code and keep their signatures.

This tool is used in the process of parsing header files to extract
information on the declared services (the functions and structures).
This information is then used to generate bindings for Nit code
to access these services.

The C header sometimes contains static code. It deletes static code of
headers, but keep their signatures. This tool is an extension of
header_keeper. It searches the keyword static to identify
the static code, and ignore the code into their brackets. The result is
printed to sdtout.

~~~sh
cat Pre-Processed/CGGeometry.h | header_static Pre-Processed/CGGeometry.h > Pre-Processed/static_header.h
~~~

This module can also be used as a library.
The main service is the method `header_static`

Pull-Request: #1396
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Nit Convex Polygon benchmark code

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Nit Convex Polygon benchmark config files

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Java Convex Polygon benchmark code

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>
Signed-off-by: Djomanix <johan.kayser@viacesi.fr>

Java Convex polygons benchmark config files

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Convex polygon benchmark folder

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Introduce polygon module

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

tests: update tests for lateinit

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: rename annotation `autoinit` on attributes as `lateinit`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add alt to base_init_autoinit3 to check warning on `noautoinit`

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: `noautoinit` check inherited initializes before warning

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/header_static: a cog in the toolchains to generate ObjCwrapper

Signed-off-by: Arthur Delamare <arthur.delamare@viacesi.fr>