nitg-g: Fix allocation of NativeArray

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Correct warn on noautoinit

Move the analysis of the class annotation `noautoinit` after the inheritance of initializers so the warning is correct, thus fixes #1350

The main commit is mainly moving the code in the same method.

Pull-Request: #1408
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Rename the visit function of minilang example.

This PR rename the visit function of the ```minilang.nit``` file. The previous name was incoherent with the module purpose.

Pull-Request: #1406
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Use self in the FFI

As requested by everyone, replace the id `recv` by `self` in all Nit FFIs, and their users.

This PR must be integrated before regenerating c_src and using the light FFI in bootstrap critical code.

There is a few commits to update the style of files that caused white space errors.

Pull-Request: #1399
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Improve internal mechanisms of the nitvm

This PR fixes a bug that was hidden in the nitvm for a too long time, the recursion in class loading was bad and is now corrected.

Then a more accurate mechanism is introduce to deal with positions of methods and attributes in internal structures of classes and objects.
When a method dispatch is performed, this mechanism allows to ask precisely for a class the position of a block of methods (or attributes). This should increase the proportion of object mechanisms "compiled" in an efficient way.

Finally, the class loading is optimized: an indirectly loaded class is not fully constructed and allocated.
Instead, its identifier is computed to allow subtyping tests.

For now, these more accurate mechanisms need recompilations of callsite. This sould be done in further PR.

Pull-Request: #1398
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Markdown location

Introduce location in markdown parser so tools can easily retrieve the original position of a block or a token in the input file/string.

Commits:
* 2d139eb introduces de Location concept and update the parser
* fda150d isn't interesting since it only update signature in the test file
* dacc7ba adds some test suites for the locations

Pull-Request: #1397
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: contrib/header_static: a cog in the toolchains to generate Objcwrapper

### Filters preprocessed C-like header files to remove static code and keep their signatures.

This tool is used in the process of parsing header files to extract
information on the declared services (the functions and structures).
This information is then used to generate bindings for Nit code
to access these services.

The C header sometimes contains static code. It deletes static code of
headers, but keep their signatures. This tool is an extension of
header_keeper. It searches the keyword static to identify
the static code, and ignore the code into their brackets. The result is
printed to sdtout.

~~~sh
cat Pre-Processed/CGGeometry.h | header_static Pre-Processed/CGGeometry.h > Pre-Processed/static_header.h
~~~

This module can also be used as a library.
The main service is the method `header_static`

Pull-Request: #1396
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: add alt to base_init_autoinit3 to check warning on `noautoinit`

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: `noautoinit` check inherited initializes before warning

Signed-off-by: Jean Privat <jean@pryen.org>

Fix incoherent name function in minilang

Signed-off-by: Mehdi <overpex@gmail.com>

Merge: sepcomp: fix hardening related to the instantiation of dead types

The bug was revelated by #1385

Pull-Request: #1402
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: `Int::times`: clean nitunit and expose negative behavior

I tried to use `Int::times` but the nitunit wasn't clear enough on the expected behavior.

Thanks at @BlackMinou for is moral support on this.

Pull-Request: #1393
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Rename all REAMDE to README.md

Close #1382

Pull-Request: #1383
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Intro an unrolled linked list, and fix `List::insert`

An unrolled list is a sequence implemented by a linked list of arrays.

I use this list for a very long FIFO. `Array::shift` is very slow and a large `List` can create too many small nodes for the GC.

The test compares the behavior of `UnrolledList` with `List` on random data sets. It allowed me to find a bug in `List::insert`.

Pull-Request: #1379
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Binary/Octal literal Ints

For long now we could express an `Int` in both decimal and hexadecimal form, however binary and octal forms were lacking.

This PR fixes it.

Pull-Request: #1378
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: remove utf_noindex_tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update expected results of nitpretty on the FFI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: update more libs to use `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update tests using the FFI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mongodb: fix invalid FFI code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: update other libs to use `self` from C and C++ code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/java: update to use `self` from Java code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/standard: update to use `self` in C code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/standard: update style of doc and fix whitespace in `bitset`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/ios: update Objective-C code to use `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/cocoa: update Objective-C code to use `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gtk: update to use `self` from C code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: clean up whitespace errors in `bundle`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: update to use `self` in Java code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitvm: Optimize the loading of classes

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

nitvm: Deleting absolute offset for properties

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

nitvm: Optimizing subtyping tests with new mechanisms

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

nitvm: The positions of methods and attributes are now more accurate

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

nitvm: Bug fixe in the recursion of class loading

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

sepcomp: fix hardening related to the instantiation of dead types

Signed-off-by: Jean Privat <jean@pryen.org>

Rename REAMDE to README.md

And a small whitespace fix

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav of nitserial to latest changes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: fix style of `shared_preferences_api10|11.nit`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: fix style of FFI examples

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: update FFI examples to use `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: update contribs to use `self` in FFI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/jwrapper: generate FFI code using `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: update Java and C++ FFI to use `self`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: update core FFI to use `self` instead of `recv` in C

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: Added tests for literal bases

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src/literal: Support for the new binary and octal literals

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src/parser: Regenerated parser

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src/parser: Updated grammar and parser_nodes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/string: Added to_oct and to_bin functions to Text

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Binary over network

Add services to write strings in binary streams and better support for binary in network modules.

Pull-Request: #1390
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitx: finish migration to new nitdoc architecture

`nitx` is now part of the `doc` group using the same architecture as `nitdoc`.

This PR also add two new features:
* locate calls to a MProperty
* search pieces of code

Fixes #262

Pull-Request: #1369
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nitiwiki next

Some fixes for `nitiwiki`.

Preparing for nitlanguage.org migration from ikiwiki to nitiwiki.

Pull-Request: #1367
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Apply serialization in calculator, a_star, more_collections, Couple and Container

Use `auto_serialize` in the calculator example, and remove the old custom JSON serialization.

The `a_star` module needed special care and could not rely only on `auto_serialize`. This was to avoid serializing graphs as a deep tree, instead we serialize the nodes first, then the links and we rebuild the graph at deserialization.

Besides that, more collections support the serialization.

Pull-Request: #1364
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: File and Bytes

A bit of a fix in the context of issues #1267 and #1262.

The bytes module has a `ByteBuffer` class, while it is still working with `Int` at the moment, when Nit correctly supports `Bytes`, we can change it to a real `ByteBuffer`

This class is highly recommended when working with byte streams and collections.

As such, file operations are related to this module since most of the operations are working on bytes, what they mean is up to the end-user to figure.

Pull-Request: #1309
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Ait younes Mehdi Adel <overpex@gmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/markdown: add MDLocation tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: fix tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: introduce MDLocation

MDLocation is defined on MDBlocks and Tokens to help tool retrieve the location of an element in the original input.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

range: better nitunit on `Int::times`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/serialization: intro the shortcut `CachingSerializer::link`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: intro DuplexCache

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: extract caches from json_serialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test UnrolledList

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/more_collections: intro `UnrolledLinkList`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

range: remove white space in license

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/binary: intro read/write strings as blocks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/binary: intro services to read/write null terminated strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: fix `NativeSocket::write_byte`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/libevent: implement `write_byte`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/libevent: `Connection` subclass `Writer`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: optimize `StrictHashMap` as a subclass of `HashMap`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: intro `serialization_hash` to complement `is_same_serialized`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: fix json serialization to play well with other engines

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

debugger: remove dependency to `nitx`

Since the debugger is broken, we will redo the nitx command when it will be fixed.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: use `InlineDecorator` for markdown titles in TOC

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

markdown: add misc decorators

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

examples/calculator: use serialization

This becomes a good example of a normal extra simple use of the
`auto_serializable` with `app::data_store`.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: support serializing Couple and Container

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/more_collections: update classes as serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/a_star: update `a_star` to be serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/collections: fix `List::insert` to insert at the right index

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: metrics: `--nullables` distinguishes safe and unsafe calls on `null`

In reaction of recent updates on #394 I wanted to have some up-to-date numbers.

`nitmetrics --nullable` can count the sends on nullable receivers but safe and unsafe calls where merged. Note: safe calls on nullable are things like `x == null`, that is safe even if `x` is a nullable thing.
So this PR distinguishes safe and unsafe calls.

Some numbers:

~~~
nitmetrics --nullables ../lib ../src/nit*.nit
Total number of sends: 60262
Number of sends on a unsafe nullable receiver: 1750 (2.90%)
Number of sends on a safe nullable receiver: 2639 (4.37%)
~~~

Pull-Request: #1375
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model: introduce the bottom type

An old branch that was on some disk that I forgot to PR.

While the bottom type is useless now, it should be useful on future PR.
Type theorists and lattice fanboys might like it.

Pull-Request: #1374
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Markdown: some improvement and fixes

Misc modification to markdown lib to facilitate custon Markdown parsing from external tools.

Pull-Request: #1371
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Missing a unboxing when compiling a call to `new NativeArray`

In the following code,

~~~nit
var i
i = 4
var na = new NativeArray[Object](i)
~~~

the declaration type of `i` is `nullable Object`, so the C-type of `i` is `val*` (and not `int`).
Therefore, in the `new NativeArray`, it should be unboxed because the C signature expect a `int`.

Pull-Request: #1365
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/standard: reimplement `files` with light FFI

So I can use it during the bootstrap (thanks #1323)

Pull-Request: #1363
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nit objects to plain JSON

Adds an option to write Nit objects to plain JSON in `JsonSerializer`, and the shortcut `Serializable::to_plain_json`. This format lacks the meta-data necessary for the full deserialization but it is easier to read for non-Nit programs and humans.

You can see an example in the doc of `json::serialization` and here, taken from the tests. The following class uses "complex" Nit data structures and serialize them to the closest available structure in JSON.

~~~nit
class G
auto_serializable

var hs = new HashSet[Int]
var s = new ArraySet[String]
var hm = new HashMap[String, Int]
var am = new ArrayMap[String, String]

init
do
hs.add -1
hs.add 0
s.add "one"
s.add "two"
hm["one"] = 1
hm["two"] = 2
am["three"] = "3"
am["four"] = "4"
end
end
var g = new G
g.to_plain_json # ...
~~~
~~~json
{"hs": [-1, 0], "s": ["one", "two"], "hm": {"one": 1, "two": 2}, "am": {"three": "3", "four": "4"}}
~~~

Of course, when writing to a file or in a socket, it is better to use `JsonSerializer` as the `to_plain_json` version uses a string.

Pull-Request: #1360
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/standard: reimplement `files` with basic FFI (so can be used in bootstraped)

Signed-off-by: Jean Privat <jean@pryen.org>

lib: Various fixes on lib with the new file and stream API

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/stream: Doc fixes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard: Updated stream and file to support byte-oriented manipulations

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update sav/nitmetrics_args1.res

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: update man page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: introduce code search

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: introduce search calls to MProperty

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: redo search for MType in new calls

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: `--nullables` distinguishes safe and unsafe calls on `null`

Signed-off-by: Jean Privat <jean@pryen.org>

model: introduce the bottom type

Signed-off-by: Jean Privat <jean@pryen.org>

lib/markdown: force write on current_buffer

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: introduce markdown to markdown decorator

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: use virtual type to make subclassing easier

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>