src/doc_commands: merge Article and Comment commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove warnings from doc_readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update to doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: rewrite doc commands parser

Also add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: use annotations

This PR replace the name heuristics used by nitunit by nice and tidy annotations.

Before:

~~~nit
module test_my_test is test_suite

import test_suite

class TestMyTest
    super TestSuite

    redef fun before do # something

    fun test_my_test do
        assert true
    end
end
~~~

After:

~~~nit
module my_test is test

class MyTest
    test

    fun setup is before do # something

    fun my_test is test do
        assert true
    end
end
~~~

Motivations:
* cleaner API / naming policy
* [BDD](https://en.wikipedia.org/wiki/Behavior-driven_development) friendly
* more flexibility as one can define a `after` method in the lib that will only be executed on children module tagged with `test`
* more extensible as one can improve nitunit to support `test(timeout = 150)` or `test(res= "res/test_file.res")`

Used annotations:
* `test` on modules, classes and properties to indicate that nitunit must run this module/class/method
* `before`, `after` on properties from all classes but `Sys` for the before/after each case hooks
* `before_all`, `after_all` on properties from `Sys` for the before/after all cases hooks

This also removes the need of the `lib/test_suite` module.

I also migrated the existing test suites to the new annotations system. Let's see what Jenkins has to say about it.

Should fix #2165

Pull-Request: #2474
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: fluid API, named 3D models, faster nitpick et other fixes

General improvements to the gamnit framework and related services:
* Make the APIs of `CustomTexture` and `VirtualGamepad` a bit more fluid.
* More precise computation of `TextSprite::height` and show the result in `font_showcase`.
* Optimize shadow mapping by caching the light MVP matrix.
* Speedup nitpick by silencing some warnings in `glesv2` and fix warnings created by the serialization framework.
* Fix bug on Kabylake GPU reported by @BlackMinou.
* Fix a few other bugs and possible crashes.

Pull-Request: #2551

gamnit: fix "mismatching precision qualifiers" error on recent Intel GPU

Reported-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: disable our premultiplication on Android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: compute a more precise `TextSprites::height`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix code duplication in BMFont

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: add size info to font_showcase

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cache the light mvp_matrix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: generate one less warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: don't report missing-doc warnings, for a faster nitpick

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix crash on character missing from font

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: more precise error when a texture is too large

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: `CustomTexture::fill` returns self for easier attribute creation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: keep the named sub-object composing an obj object

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: virtual gamepad services return the created controls

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Intro MessagePack serialization engines

MessagePack is a portable data serialization format. It differs from JSON by its binary format, compressing common types, support for custom types and accepting any object as map key. Here, the primitive Nit types use the shortest available MessagePack format (e.g. an `Int` between -32 and 127 takes a single byte). The custom types are used to declare some metadata and special types (objects, references, `Char`, etc.). The engines can, optionally, benefit from the map keys as any object to compress repeated metadata (class and attribute names).

These engines should replace the current `Binary::serialization` services, which are almost impossible to debug, less compressed than MessagePack and not standard.

The serialization engine supports writing and reading plain (no metadata) MessagePack data, similarly to the JSON engines.

Most clients should use the high-level services:
* Customizable engines to handle errors: `MsgPackSerializer` and `MsgPackDeserializer`.
* Quick services on streams: `Writer::serialize_msgpack` and `Reader::deserialize_msgpack`.
* Quick services on `Bytes` (mostly for testing): `Serializable::serialize_msgpack` and `Bytes::deserialize_msgpack`.

Or, to write engines one can use the low-level services:
* Low-level writing methods: `Writer::write_msgpack_uint64`, `Writer::write_msgpack_bin8`, etc.
* Low-level reading method: `Reader::read_msgpack`.

---

Using it in Jwrapper, the MessagePack format creates smaller files than JSON (at ~50% the size), when using the default options and serializing the metadata of the Java standard library:

* JSON: 14.9 MB
* MessagePack (default): 7.0 MB
* Old binary: 9.8 MB

The file gets shorter in plain MessagePack mode or when caching the metadata strings:
* MessagePack `plain_msgpack=true`: 6.3 MB
* MessagePack `cache_metadata_strings=true`: 3.0 MB

Caching metadata creates much smaller files, however for the size only gzip has a bigger effect.
Further investigations is required to see the impact it has on the speed.

* gzipped MessagePack (default): 0.7 MB
* gzipped MessagePack `cache_metadata_strings=true`: 0.6 MB

---

This PR depends on #2539 as it works on binary data, you can ignore the first 2 commits.

@R4PaSs you may want to look at the commits modifying `Int::to_bytes` and `Bytes::to_i`.

Pull-Request: #2550
Reviewed-by: Jean Privat <jean@pryen.org>

msgpack: fixme interpreter bug in constructors with return (#2546)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: don't serialize cached attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: use the msgpack engines instead of binary

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: test the msgpack serialization engines

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro msgpack_to_json tool

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro entrypoint and package doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro deserialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro serialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro read services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro write services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: `Bytes::to_i` can parse signed ints

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: support signed ints and custom capacity in `Int::to_bytes`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: serialization: redef inspect for an output useful to humans

Intro a new serialization engine to pretty print the attributes of the receiver on calls to `inspect`. The format is designed to be helpful, reproducible and compact.

Note that, asides from direct calls to `inspect`, this will also affect the default behavior of `Serializable::to_s`. And this will not affect all Nit programs, but it will affect all those importing the serialization services, so most larger projects using either `json`, `nitcorn`, `gamnit`, `more_collections`, etc.

Simple immutable data are inspected as they would be written in Nit code:
~~~
assert 123.inspect == "123"
assert 1.5.inspect == "1.5"
assert 0xa1u8.inspect == "0xa1u8"
assert 'c'.inspect == "'c'"
assert "asdf\n".inspect == "\"asdf\\n\""
~~~

Inspections of mutable object show their dynamic type and an id unique to each call to `inspect`. A change from using their `object_id`.

Items of collections are flattened:

~~~
assert [1, 2, 3].inspect == "<Array[Int]#0 [1, 2, 3]>"

var set = new HashSet[Object].from([1, 1.5, "two": Object])
assert set.inspect == """<HashSet[Object]#0 [1, 1.5, "two"]>"""

var map = new Map[Int, String]
map[1] = "one"
map[2] = "two"
assert map.inspect == """<HashMap[Int, String]#0 {1:"one", 2:"two"}>"""
~~~

Inspecting other `Serializable` classes shows the first level attributes only:

~~~
class MyClass
    serialize

    var i: Int
    var o: nullable Object
end

var class_with_null = new MyClass(123)
assert class_with_null.to_s == class_with_null.inspect
assert class_with_null.to_s == "<MyClass#0 i:123, o:null>"

var class_with_other = new MyClass(456, class_with_null)
assert class_with_other.to_s == "<MyClass#0 i:456, o:<MyClass#1>>"

var class_with_cycle = new MyClass(789)
class_with_cycle.o = class_with_cycle
assert class_with_cycle.to_s == "<MyClass#0 i:789, o:<MyClass#0>>"
~~~

Inspections producing over 80 characters are cut short:

~~~
var long_class = new MyClass(123456789, "Some " + "very "*8 + "long string")
assert long_class.to_s == "<MyClass#0 i:123456789, o:\"Some very very very very very very very very long s…>"
~~~

Pull-Request: #2548
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: intro BytesWriter and BytesReader

Intro the classes `BytesReader` and `BytesWriter` to support byte read/writer operations directly on `Bytes` in memory.

The new classes are now super classes to `StringReader` (converting the `String` source to `Bytes` in the constructor) and `StringWriter`(cleaning the UTF-8 string in `to_s` only). The only differences between the string and bytes streams are the behavior of `StringWriter::to_s` and the `String` parameter expected by the constructor of `StringReader`.

`BytesWriter` supports writing any bytes, including composing UTF-8 characters byte by byte, a behavior also useful for `StringWriter`:
~~~
var writer = new BytesWriter

# Write just the character first half
writer.write_byte 0xC2u8
assert writer.to_s == "\\xC2"
assert writer.bytes.to_s == "�"

# Complete the character
writer.write_byte 0xA2u8
assert writer.to_s == "\\xC2\\xA2"
assert writer.bytes.to_s == "¢"
~~~

`BytesReader` also supports reading any bytes, including the bytes composing an UTF-8 character for `StringReader`:

~~~
var reader = new BytesReader(b"a…b")
assert reader.read_char == 'a'
assert reader.read_byte == 0xE2u8 # 1st byte of '…'
assert reader.read_byte == 0x80u8 # 2nd byte of '…'
assert reader.read_char == '�' # Reads the last byte as an invalid char
assert reader.read_all_bytes == b"b"
~~~

Pull-Request: #2539
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: app.nit: easier root window selection and other misc improvements

Intro the hook `root_window` for clients to set the desired root (or home) window. It is much shorter than the previous redef of `on_create`. Plus, in very simple apps, the client can simple redef `Window` instead of subclassing it.

Refactor `data_store` structure, replacing the interface and subclasses by refinements of a single class. It follows more closely the strategy used by the UI API while not changing anything to the `data_store` API. The data store now drops potentially partially deserialized objects to avoid hard to report crash at runtime, this could be improved upon in the future as the current implementation is not ideal.

Otherwise, this PR brings general improvements to the framework influenced by the creation of [paninit.com](http://paninit.com/): revamp the documentation, add unit tests, fix the scientific calculator icon and add an option to report errors in `hightlightcode`.

Pull-Request: #2547
Reviewed-by: Jean Privat <jean@pryen.org>

serialization: test the inspect serialization engine

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: redef of `inspect` using a new serializer

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: Bytes have a minimum capacity of 16 bytes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: optimize Bytes::append_text using redefs in Text subclasses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: protect access to _items in empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move serialization_core

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: don't use fonts in the icon source

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: add code example to data_store, http_request and ui

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: report errors in DataStore and fix a warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: make DataStore a class and refine on each platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: tweak UI API doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update clients to use `root_window`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: intro `root_window` to select the first visible window

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

stream: intro `BytesWriter` and `BytesReader`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update UI example language and android style

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

highlight: optionally print errors when highlighting

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Nitmetric fixes

Avoid some nitmetric crashes

Pull-Request: #2533

Merge: Nitweb: boost response time and some improvements

The main objective of this PR is to shorten the frontend response time.
The major culprit was that the full documentation was serialized in each response.
This PR makes nitweb return only the synopsis and lets the frontend ask for the full documentation if needed.

Also uniformizes and cleans tabs for entities:
* Moved data between tabs (such as inheritance data to the inheritance tab)
* Added missing tabs for packages and groups (http://nitweb.moz-code.org/doc/core%3Ecollection%3E/defs)

Demo: http://nitweb.moz-code.org/

Pull-Request: #2536
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: move up general services, support Byte and more

This PR is a general clean up of the `json` package to prepare the support of two new serialization engines, add small new features and fix some issues in code. It should not change its behavior for existing clients.

* Move up some general deserialization services from `json` to `serialization` in order to make them available to other engines. This includes the class name manipulation services and safety services controlling which types are deserialized, including `class_inheritance_metamodel`.

* Support writing and reading `Byte` as either a plain JSON string or a special object with metadata.

* Support reading `Char` and `Byte` from plain JSON input using simple heuristics.

* Test the deserialization of plain generated JSON and fix a typo in the tests.

* Fix other minor issues in code.

Pull-Request: #2538

Merge: gamnit: shadow mapping

Intro a basic API and the shaders for 3D actors to cast shadows. This feature is off by default, it can be activated by using a sun-like light with: `app.light = new ParallelLight`. This will require additional work to improve the performance, add more kind of lights (point, spotlight, ambient, etc.), support many lights and accept colored lights.

Many values can be tweaked to achieve the best performance tradeoff:

* `ParallelLight` is always centered on the `world_camera` to show shadows only around the player. Its attributes `width, height, depth` are in world coordinates and identify a prism where shadows are computed. Higher values show shadows further away and lower values show shadows in higher resolution.
* `App::shadow_resolution` sets the resolution of the depth texture. Higher is prettier but slower, there's also an upper limit depending on the hardware configuration. It is now hardcoded (but refinable) to 4096x4096 pixels, with is probably too high for some mobiles devices. More experimentation is needed to find a safe default value.
* For softer shadow edges, the shader applies a kind of antialiasing by tapping the depth texture many times for each fragment. It is currently hardcoded to 4 taps per fragment but it could be changed for better performances or smoother edges. I don't know where to expose this value in the API, it could be on the light, the material or even global. It can also be optimized by the hardware.

### Screenshots from Jump 'n' Gun

Looking down at the player's shadow:


Complex shadows from a turret and a shield projector:


Pull-Request: #2543

nitunit: update documentation for annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update syntax tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: migrate test generation to annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

frontend: disable warnings for test modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src: migrate nitunits to annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: migrate nitunits to annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

json: fixme interpreter bug in constructors with return (#2546)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move StrictHashMap related services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move up deser. safety services from `json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitc: loader skip dot (hidden) directory

This will improve the loading time when there is a very
deep .git directory around.

Pull-Request: #2534

Merge: gamnit audio: control sound channels and don't crash if there's no sound card

Desktop clients can now control playing sounds with the new services from SDL2 mixer. The equivalent was already implemented for Android but not GNU/Linux. The new services still need to be fully exposed in the `app::audio` API.

This PR also removes the requirement to have a working sound card to launch a gamnit game.

Pull-Request: #2537
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: remove the old nitcc parser

Improve performances of the `json` package by removing the old nitcc parser to use only the custom string parser. It is faster at runtime and the nitcc parser classes were included with the JSON serialization services, slowing down compilation time even when not used.

The nitcc parser was still used only by a few clients, the only differences for the clients should be the error message, conflicts on the `Location` class, and improved performances.

It may be hard to see in the diff but the only differences in the `json` package are: the removal of the nitcc parser, move the string_parser in `static` (they are highly coupled), and make a few services private.

Note that the JSON nitcc grammar is still available in the nitcc project folder.

Warning: Until there's a service like `full_class_name`, deserializing classes with a name conflict is broken. I don't think that the 2-3 cases in the PR deserialize the generated JSON, so it should be OK for now.

Pull-Request: #2540

Merge: dom: fix two possible out of bounds string accesses

Pull-Request: #2542
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/markdown: fix crash of the parser when parsing unfinished refs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2544
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/mongodb: fix database_names test

Pull-Request: #2545

gamnit: don't crash if there is no sound

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

linux::audio: extract `play_channel`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: add more `mixer` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move up type name manipulation services out of `json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: test deser. from plain JSON and fix typo

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro basic shadow mapping

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: udate more tests testing or depending on the JSON parser

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model & neo: fix ambiguity in the use of Location

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo_doxygen: fix a few "type repetition" warnings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo_doxygen: remove ambiguity in the use of Location

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: update expected error in unit test

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: remove the old nitcc parser

And move the content of `string_parser` to `static` because of high
coupling.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mongodb: fix database_names test

Signed-off-by: Jean Privat <jean@pryen.org>

lib/markdown: fix crash of the parser when parsing unfinished refs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

gamnit: add camera parameter to `draw` method

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro UniformInt

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cull back faces

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix 3D objects in dynamic resolution

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

dom: fix two possible out of bounds string accesses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

git: restrict -diff attributes to specific files

Fix an issue where all `parser.nit` files didn't show a diff.
It wrongly caught lib/dom/parser.nit.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: serialization phase use the qualified class name in code gen

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

bytes: tweak doc to put forward the copy behavior of the slices

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: print current config and list extensions

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2 & gamnit: fix typos and minor issues

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: intro glGetString

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitdoc: set icons for each kind of cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: display defs tab for mpackages and mgroups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>