sepcomp: fix hardening related to the instantiation of dead types

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Binary over network

Add services to write strings in binary streams and better support for binary in network modules.

Pull-Request: #1390
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitx: finish migration to new nitdoc architecture

`nitx` is now part of the `doc` group using the same architecture as `nitdoc`.

This PR also add two new features:
* locate calls to a MProperty
* search pieces of code

Fixes #262

Pull-Request: #1369
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nitiwiki next

Some fixes for `nitiwiki`.

Preparing for nitlanguage.org migration from ikiwiki to nitiwiki.

Pull-Request: #1367
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Apply serialization in calculator, a_star, more_collections, Couple and Container

Use `auto_serialize` in the calculator example, and remove the old custom JSON serialization.

The `a_star` module needed special care and could not rely only on `auto_serialize`. This was to avoid serializing graphs as a deep tree, instead we serialize the nodes first, then the links and we rebuild the graph at deserialization.

Besides that, more collections support the serialization.

Pull-Request: #1364
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: File and Bytes

A bit of a fix in the context of issues #1267 and #1262.

The bytes module has a `ByteBuffer` class, while it is still working with `Int` at the moment, when Nit correctly supports `Bytes`, we can change it to a real `ByteBuffer`

This class is highly recommended when working with byte streams and collections.

As such, file operations are related to this module since most of the operations are working on bytes, what they mean is up to the end-user to figure.

Pull-Request: #1309
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Ait younes Mehdi Adel <overpex@gmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/binary: intro read/write strings as blocks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/binary: intro services to read/write null terminated strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: fix `NativeSocket::write_byte`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/libevent: implement `write_byte`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/libevent: `Connection` subclass `Writer`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

debugger: remove dependency to `nitx`

Since the debugger is broken, we will redo the nitx command when it will be fixed.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: use `InlineDecorator` for markdown titles in TOC

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

markdown: add misc decorators

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

examples/calculator: use serialization

This becomes a good example of a normal extra simple use of the
`auto_serializable` with `app::data_store`.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: support serializing Couple and Container

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/more_collections: update classes as serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/a_star: update `a_star` to be serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: metrics: `--nullables` distinguishes safe and unsafe calls on `null`

In reaction of recent updates on #394 I wanted to have some up-to-date numbers.

`nitmetrics --nullable` can count the sends on nullable receivers but safe and unsafe calls where merged. Note: safe calls on nullable are things like `x == null`, that is safe even if `x` is a nullable thing.
So this PR distinguishes safe and unsafe calls.

Some numbers:

~~~
nitmetrics --nullables ../lib ../src/nit*.nit
Total number of sends: 60262
Number of sends on a unsafe nullable receiver: 1750 (2.90%)
Number of sends on a safe nullable receiver: 2639 (4.37%)
~~~

Pull-Request: #1375
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model: introduce the bottom type

An old branch that was on some disk that I forgot to PR.

While the bottom type is useless now, it should be useful on future PR.
Type theorists and lattice fanboys might like it.

Pull-Request: #1374
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Markdown: some improvement and fixes

Misc modification to markdown lib to facilitate custon Markdown parsing from external tools.

Pull-Request: #1371
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Missing a unboxing when compiling a call to `new NativeArray`

In the following code,

~~~nit
var i
i = 4
var na = new NativeArray[Object](i)
~~~

the declaration type of `i` is `nullable Object`, so the C-type of `i` is `val*` (and not `int`).
Therefore, in the `new NativeArray`, it should be unboxed because the C signature expect a `int`.

Pull-Request: #1365
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/standard: reimplement `files` with light FFI

So I can use it during the bootstrap (thanks #1323)

Pull-Request: #1363
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nit objects to plain JSON

Adds an option to write Nit objects to plain JSON in `JsonSerializer`, and the shortcut `Serializable::to_plain_json`. This format lacks the meta-data necessary for the full deserialization but it is easier to read for non-Nit programs and humans.

You can see an example in the doc of `json::serialization` and here, taken from the tests. The following class uses "complex" Nit data structures and serialize them to the closest available structure in JSON.

~~~nit
class G
auto_serializable

var hs = new HashSet[Int]
var s = new ArraySet[String]
var hm = new HashMap[String, Int]
var am = new ArrayMap[String, String]

init
do
hs.add -1
hs.add 0
s.add "one"
s.add "two"
hm["one"] = 1
hm["two"] = 2
am["three"] = "3"
am["four"] = "4"
end
end
var g = new G
g.to_plain_json # ...
~~~
~~~json
{"hs": [-1, 0], "s": ["one", "two"], "hm": {"one": 1, "two": 2}, "am": {"three": "3", "four": "4"}}
~~~

Of course, when writing to a file or in a socket, it is better to use `JsonSerializer` as the `to_plain_json` version uses a string.

Pull-Request: #1360
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/standard: reimplement `files` with basic FFI (so can be used in bootstraped)

Signed-off-by: Jean Privat <jean@pryen.org>

lib: Various fixes on lib with the new file and stream API

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/stream: Doc fixes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard: Updated stream and file to support byte-oriented manipulations

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update sav/nitmetrics_args1.res

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: update man page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: introduce code search

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: introduce search calls to MProperty

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: redo search for MType in new calls

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: `--nullables` distinguishes safe and unsafe calls on `null`

Signed-off-by: Jean Privat <jean@pryen.org>

model: introduce the bottom type

Signed-off-by: Jean Privat <jean@pryen.org>

lib/markdown: force write on current_buffer

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: introduce markdown to markdown decorator

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: use virtual type to make subclassing easier

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: move wikilinks parsing to lib/markdown

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: redo search for MType in returns

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: redo search for MType in params

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: introduce doc page search

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: migrate to new Nitdoc architecture

Some features are still missing, will be redone in further commits.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki display error before crashing when a template got missing

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: add tests for markdown extension config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: allow user to change markdown extension

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: extends test_new_native.nit with non C-int length

Signed-off-by: Jean Privat <jean@pryen.org>

compilers: missing argument unboxing with new nativearray

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: share/libgc: option to use a local version of the source pkgs

This is only for tests servers, and should not be of any use to the regular user who doesn't trash and reclone the Nit repo many times each day.

So on Pratchett, @privat , you could download both source packages in the home directory
and the script will use and reuse them instead of repeatedly downloading them. I can change the directory to whatever you prefer, maybe ~/Downloads? or ~/.cache?

It will save us from some false CI test failure, like in http://gresil.org/jenkins/job/CI_github/2648/, and we will stop spamming the server.

Pull-Request: #1358
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Steps on iterations and ranges

A proposal to solve some things identified in #1339

This PR does 3 things:

* extends any Iterator to locally (`next_by`) or globally (`to_step`) advance with more than a single `next`
* add `Range.step` to have a generic bidirectional and stepable iterator

So now people can write

~~~nit
for i in [1..10].step(2) do print i # in order 1 3 5 7 9
for i in [10..1].step(-2) do print i # in reverse order 10 8 6 5 2
~~~

This is a neat (over?-) engineering. A maybe non-POLA thing is that empty ranges can still be iterated with a negative step.

~~~nit
assert [5..1].is_empty # but
assert [5..1].step(-2).to_a == [5,3,1]
~~~

Pull-Request: #1347
Reviewed-by: ArthurDelamare <arthur.delamare@viacesi.fr>
Reviewed-by: Etienne M. Gagnon <egagnon@j-meg.com>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Ait younes Mehdi Adel <overpex@gmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitx: start migration to `doc_phases`

This PR introduces the base rendering services for doc in console.

This will be used in the next version of `nitx` to benefit fron the new nitdoc architecture.

Pull-Request: #1315

lib/json: add doc to serialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: adds `to_plain_json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: serialization private import static

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test serializing plain JSON

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: extract JSON logic from test_deserialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: serialization can write plain JSON

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: avoid using super-strings and stream directly instead

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: extract `StrictHashMap` from `json::serialization`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib & contrib: update users of json::serialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: move `json_serialization` to `json::serialization`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: use `Range::step` in rosettacode/loops_downward_for.nit

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Safe collection access

A proposition to solve an old API issue related to covariance in collections (and fix #1353)

This PR updates the signatures of access methods in collections: `has`, `[]` and anything related that takes an `E` or a `K` in read-collections.
This make these classes covariant-safe.

Previously, the signature was to strictly accepts the bound, thus making the code unsafe but has the advantage to provide static hints

~~~nit
assert [1,2,3].has("Hello") # static error, expected int got string
~~~

But this behavior had issues because:

* unsafe code, but it is not because Nit *can* be unsafe that Nit *should* be unsafe.
* a perfect semantic answer is possible, eq returning false in the previous example. thus the existing behavior is not POLA

Because the philosophy of Nit is that static types should help the programmer without being annoying, this PR lift the constraint on parameters of all read access methods.

The semantic is now more aligned with the one of dynamically typed language where the behavior is decided by messages and not by the types of things.

This especially allows to use collections of thing when `==` does not implies the equality of static types (ex subclasses of Sequence).

~~~nit
var a = [1,2,3]
var l = new List[Int].from(a)
assert a == l # by the law of Sequence

var aa = [a]
assert aa.has(l) # before the PR, error; with the PR, true

var ma = new Map[Array[Int],String]
ma[a] = "hello"
assert ma.has_key(l) # before the PR, error; with the PR, true
~~~

Pull-Request: #1355
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Read/Write binary data

The module `binary` adds services to `Writer` and `Reader` to read/write binary data.

The services offer different size for each kind of data. They can be used to save space on a stream or for compatibility with external programs. They use type names from C:
* `write_float` write a Nit `Float` on 32 bits, with loss of precision.
* `write_double` write a Nit `Float` on 64 bits.
* `write_int64` write a Nit `Int` on 64 bits, with usually no loss of data, but it may still happen per platform.
* `write_bool` and `write_bits` to write booleans as a byte.
* There's a TODO for other suggested methods.

The endianess of each stream is configurable.

I tried to avoid touching too much to the main stream code knowing that @R4PaSs is working on reading/writing bytes. The binary module will have to be updated when we have a `Byte` type. Also, all the others types of `Writer` must be modified to implement `write_byte`.

I'll use this to write a binary alternative to json_serialization.

Pull-Request: #1354
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Serialization support SimpleCollection and Map, also bug fixes

This PR is the result of using Nit serialization to implement game saving/loading in WBTW.

Update the serialization to work with (or avoid) the new auto constructors.

Support serializing Sets and Maps.

The `is_same_serialized` fix a problem where two instances were wrongly serialized as being the same. Because it previously used a `HashMap` (and thus `==`), two different _empty_ arrays were serialized as one and resulted in a single object on deserialization.

Once this and #1348 are merge, I'll update the calculator example to use the serialization.

Pull-Request: #1352
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: location: introduce `from_string` constructor

Useful to build a Location from it's string representation.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1351
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/gtk: add `GtkEntry::input_purpose`

I don't have any immediate use for this features but it was interesting to see what GTK had to offer in this regard.

Pull-Request: #1349
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Intro the portable UI of app.nit

This PR introduces a basic API to create UI applications portable between Android and GNU/Linux. Each implementation apply refinements to implement the API using platform-specific native controls, and GTK on GNU/Linux.

A few notes on the API logic (you will want to read the readme file too):

* All attached `AppComponents` instances receive the life-cycle annotations. This includes all controls and view. So a visible `Button` will be notified when the application pauses.

* All controls can be observed by other instances so that they are notified of input events. In the calculator example, we use this to implement the behavior on button press in the window logic.

This PR also updates to the calculator example to use only the portable UI.

The scope of the portable UI at this point is limited to views needed by the calculator example.
This is intentionnal to keep a small number of views while still tweaking the portable UI foundation.

TODO next:

* Complete the abstraction of some partially implemented features: balancing the size of views in a layout and limit what can be the top-level view within a window.
* iOS, OS X, OpenGL implementations of the portable UI.
* Add more views, and concrete examples to the portable UI.
* Deal with multiple distinct windows (there is a real problem on Android where each activity must have a distinct Java class.)
* Find and document the best way for the user to create custom portable views.

Pull-Request: #1348
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Ait younes Mehdi Adel <overpex@gmail.com>

Merge: nitdoc: display constructors list in MClass page

Nitdoc now displays a list of available constructors for a class.

Fixes #875
Fixes #1195

Demos from [Jenkins::CI-nitdoc](http://gresil.org/jenkins/job/CI-nitdoc):
* [Standard library](http://gresil.org/jenkins/job/CI-nitdoc/ws/doc/stdlib/index.html)
* [Nit compilers and tools](http://gresil.org/jenkins/job/CI-nitdoc/ws/doc/nitc/index.html)

Pull-Request: #1341
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

nitdoc: assert valid key in redefinition of `provide_default_value`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test_coll_eq

Signed-off-by: Jean Privat <jean@pryen.org>

lib: fix getters in subclasses of collection

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard/collection: check the item can be compared in `Range#has`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard/collection: getter methods accepts `nullable Object` instead of a covariant parameter

Signed-off-by: Jean Privat <jean@pryen.org>

lib: remove superfluous type declaration in signatures

Signed-off-by: Jean Privat <jean@pryen.org>

share/libgc: add a feature to script to use a local version of the source pkgs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: gitignore the generated res folder

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update sav for nitserial with types used in json_serialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: fix sav with the correct behavior brought by `is_same_serialized`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add a serialization test with a `Set` and a `Map`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/bucketed_game: make Game related classes serializable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json_serialization: implement `SimpleCollection` and `Map`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json_serialization: extract `serialize_to_pure_json` from `Array`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: `SimpleCollection` and `Map` are `Serializable`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

standard/collection: add `Range::step` to get a bidirectional stepped iterator

Signed-off-by: Jean Privat <jean@pryen.org>

lib/android: update `ui_test` to the new Android UI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: update README of android and app

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: update the format of the results expected by tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: update Makefile

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: remove the old platform specific implementations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: implement state saving and loading

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/calculator: intro the calculator abstract UI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/linux: intro Linux implementation for app.nit UI using GTK

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gtk: fix missing 'h' in `GtkBox::omogeneous`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test the binary reading and writing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/binary: intro services to read/write binary data (partial API)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/socket: implement `write_byte` in `TCPStream`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro `Writer::write_byte` and implement it in `FileWriter`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json_serialization: don't register objects more than once

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>