model_collect: collect more things

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: uniformize documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib: introduce `fca` a module for formal concept analysis

## Building a FormalContext

We use the example from https://en.wikipedia.org/wiki/Formal_concept_analysis:

~~~nit
var fc = new FormalContext[Int, String]
fc.set_object_attributes(1, ["odd", "square"])
fc.set_object_attributes(2, ["even", "prime"])
fc.set_object_attributes(3, ["odd", "prime"])
fc.set_object_attributes(4, ["even", "composite", "square"])
fc.set_object_attributes(5, ["odd", "prime"])
fc.set_object_attributes(6, ["even", "composite"])
fc.set_object_attributes(7, ["odd", "prime"])
fc.set_object_attributes(8, ["even", "composite"])
fc.set_object_attributes(9, ["odd", "square", "composite"])
fc.set_object_attributes(10, ["even", "composite"])
~~~

## Computing the set of FormalConcept

~~~nit
var concepts = fc.formal_concepts
for concept in concepts do
print concept
end
~~~

## Visualizing formal concept with ConceptLattice

~~~nit
var cl = new ConceptLattice[Int, String].from_concepts(concepts)
cl.show_dot
~~~

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2557
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: .gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2555

Merge: model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2554

Merge: doc_commands: parse parameters

This PR allows the user of doc cards to pass parameters through the card declaration:

* `command: arg | option1: value1, option2: value2`

It can be used in a doc command so one can write:

~~~
Here a graph:
[[graph: core::Array | cdepth: 1, pdepth: 4]]
~~~

Pull-Request: #2553
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: fully integrate catalog

Some work to integrate the nit catalog with nitweb:
* make the catalog API more usable
* serves the catalog API through JSON/REST
* integrate with current frontend

New features:
* catalog integration
* new search process and ui
* pagination for results and catalog (faster!)
* cards cleaning
* tabs cleaning

Demo: DIY

Pull-Request: #2552

lib: introduce `fca` a module for formal concept analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: allow options in graph card

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_down: fix `comment` behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: merge Article and Comment commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

.gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove warnings from doc_readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update to doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: rewrite doc commands parser

Also add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite search ui

Display a new menu that allows the user to jump on a result page.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog refine search algorithm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless catalog handlers

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add catalog sidebar on package views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog frontend

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove tabs from cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move grades frontend from card to tab

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rename frontend module `index` in `catalog`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: frontend add ui-pagination directive

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves persons related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves tags related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api use mpackage_stats

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce /api/catalog/packages route

List all packages in current catalog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce custom serialization for CatalogHandler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move catalog building to Catalog redef

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce pagination handler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce some sorters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce CatalogStats to retrieve all the stats of the catalog

Useful for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce MPackageStats to retrieve the stats of a MPackage

Usefull for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate persons to their short name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate packages to their full_name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: extract gravatar from html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: split metadata from MPackage class

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: use annotations

This PR replace the name heuristics used by nitunit by nice and tidy annotations.

Before:

~~~nit
module test_my_test is test_suite

import test_suite

class TestMyTest
    super TestSuite

    redef fun before do # something

    fun test_my_test do
        assert true
    end
end
~~~

After:

~~~nit
module my_test is test

class MyTest
    test

    fun setup is before do # something

    fun my_test is test do
        assert true
    end
end
~~~

Motivations:
* cleaner API / naming policy
* [BDD](https://en.wikipedia.org/wiki/Behavior-driven_development) friendly
* more flexibility as one can define a `after` method in the lib that will only be executed on children module tagged with `test`
* more extensible as one can improve nitunit to support `test(timeout = 150)` or `test(res= "res/test_file.res")`

Used annotations:
* `test` on modules, classes and properties to indicate that nitunit must run this module/class/method
* `before`, `after` on properties from all classes but `Sys` for the before/after each case hooks
* `before_all`, `after_all` on properties from `Sys` for the before/after all cases hooks

This also removes the need of the `lib/test_suite` module.

I also migrated the existing test suites to the new annotations system. Let's see what Jenkins has to say about it.

Should fix #2165

Pull-Request: #2474
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: fluid API, named 3D models, faster nitpick et other fixes

General improvements to the gamnit framework and related services:
* Make the APIs of `CustomTexture` and `VirtualGamepad` a bit more fluid.
* More precise computation of `TextSprite::height` and show the result in `font_showcase`.
* Optimize shadow mapping by caching the light MVP matrix.
* Speedup nitpick by silencing some warnings in `glesv2` and fix warnings created by the serialization framework.
* Fix bug on Kabylake GPU reported by @BlackMinou.
* Fix a few other bugs and possible crashes.

Pull-Request: #2551

gamnit: fix "mismatching precision qualifiers" error on recent Intel GPU

Reported-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: disable our premultiplication on Android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: compute a more precise `TextSprites::height`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix code duplication in BMFont

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: add size info to font_showcase

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cache the light mvp_matrix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: generate one less warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: don't report missing-doc warnings, for a faster nitpick

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix crash on character missing from font

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: more precise error when a texture is too large

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: `CustomTexture::fill` returns self for easier attribute creation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: keep the named sub-object composing an obj object

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: virtual gamepad services return the created controls

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Intro MessagePack serialization engines

MessagePack is a portable data serialization format. It differs from JSON by its binary format, compressing common types, support for custom types and accepting any object as map key. Here, the primitive Nit types use the shortest available MessagePack format (e.g. an `Int` between -32 and 127 takes a single byte). The custom types are used to declare some metadata and special types (objects, references, `Char`, etc.). The engines can, optionally, benefit from the map keys as any object to compress repeated metadata (class and attribute names).

These engines should replace the current `Binary::serialization` services, which are almost impossible to debug, less compressed than MessagePack and not standard.

The serialization engine supports writing and reading plain (no metadata) MessagePack data, similarly to the JSON engines.

Most clients should use the high-level services:
* Customizable engines to handle errors: `MsgPackSerializer` and `MsgPackDeserializer`.
* Quick services on streams: `Writer::serialize_msgpack` and `Reader::deserialize_msgpack`.
* Quick services on `Bytes` (mostly for testing): `Serializable::serialize_msgpack` and `Bytes::deserialize_msgpack`.

Or, to write engines one can use the low-level services:
* Low-level writing methods: `Writer::write_msgpack_uint64`, `Writer::write_msgpack_bin8`, etc.
* Low-level reading method: `Reader::read_msgpack`.

---

Using it in Jwrapper, the MessagePack format creates smaller files than JSON (at ~50% the size), when using the default options and serializing the metadata of the Java standard library:

* JSON: 14.9 MB
* MessagePack (default): 7.0 MB
* Old binary: 9.8 MB

The file gets shorter in plain MessagePack mode or when caching the metadata strings:
* MessagePack `plain_msgpack=true`: 6.3 MB
* MessagePack `cache_metadata_strings=true`: 3.0 MB

Caching metadata creates much smaller files, however for the size only gzip has a bigger effect.
Further investigations is required to see the impact it has on the speed.

* gzipped MessagePack (default): 0.7 MB
* gzipped MessagePack `cache_metadata_strings=true`: 0.6 MB

---

This PR depends on #2539 as it works on binary data, you can ignore the first 2 commits.

@R4PaSs you may want to look at the commits modifying `Int::to_bytes` and `Bytes::to_i`.

Pull-Request: #2550
Reviewed-by: Jean Privat <jean@pryen.org>

msgpack: fixme interpreter bug in constructors with return (#2546)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: don't serialize cached attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: use the msgpack engines instead of binary

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: test the msgpack serialization engines

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro msgpack_to_json tool

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro entrypoint and package doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro deserialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro serialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro read services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro write services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: `Bytes::to_i` can parse signed ints

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: support signed ints and custom capacity in `Int::to_bytes`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: serialization: redef inspect for an output useful to humans

Intro a new serialization engine to pretty print the attributes of the receiver on calls to `inspect`. The format is designed to be helpful, reproducible and compact.

Note that, asides from direct calls to `inspect`, this will also affect the default behavior of `Serializable::to_s`. And this will not affect all Nit programs, but it will affect all those importing the serialization services, so most larger projects using either `json`, `nitcorn`, `gamnit`, `more_collections`, etc.

Simple immutable data are inspected as they would be written in Nit code:
~~~
assert 123.inspect == "123"
assert 1.5.inspect == "1.5"
assert 0xa1u8.inspect == "0xa1u8"
assert 'c'.inspect == "'c'"
assert "asdf\n".inspect == "\"asdf\\n\""
~~~

Inspections of mutable object show their dynamic type and an id unique to each call to `inspect`. A change from using their `object_id`.

Items of collections are flattened:

~~~
assert [1, 2, 3].inspect == "<Array[Int]#0 [1, 2, 3]>"

var set = new HashSet[Object].from([1, 1.5, "two": Object])
assert set.inspect == """<HashSet[Object]#0 [1, 1.5, "two"]>"""

var map = new Map[Int, String]
map[1] = "one"
map[2] = "two"
assert map.inspect == """<HashMap[Int, String]#0 {1:"one", 2:"two"}>"""
~~~

Inspecting other `Serializable` classes shows the first level attributes only:

~~~
class MyClass
    serialize

    var i: Int
    var o: nullable Object
end

var class_with_null = new MyClass(123)
assert class_with_null.to_s == class_with_null.inspect
assert class_with_null.to_s == "<MyClass#0 i:123, o:null>"

var class_with_other = new MyClass(456, class_with_null)
assert class_with_other.to_s == "<MyClass#0 i:456, o:<MyClass#1>>"

var class_with_cycle = new MyClass(789)
class_with_cycle.o = class_with_cycle
assert class_with_cycle.to_s == "<MyClass#0 i:789, o:<MyClass#0>>"
~~~

Inspections producing over 80 characters are cut short:

~~~
var long_class = new MyClass(123456789, "Some " + "very "*8 + "long string")
assert long_class.to_s == "<MyClass#0 i:123456789, o:\"Some very very very very very very very very long s…>"
~~~

Pull-Request: #2548
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: intro BytesWriter and BytesReader

Intro the classes `BytesReader` and `BytesWriter` to support byte read/writer operations directly on `Bytes` in memory.

The new classes are now super classes to `StringReader` (converting the `String` source to `Bytes` in the constructor) and `StringWriter`(cleaning the UTF-8 string in `to_s` only). The only differences between the string and bytes streams are the behavior of `StringWriter::to_s` and the `String` parameter expected by the constructor of `StringReader`.

`BytesWriter` supports writing any bytes, including composing UTF-8 characters byte by byte, a behavior also useful for `StringWriter`:
~~~
var writer = new BytesWriter

# Write just the character first half
writer.write_byte 0xC2u8
assert writer.to_s == "\\xC2"
assert writer.bytes.to_s == "�"

# Complete the character
writer.write_byte 0xA2u8
assert writer.to_s == "\\xC2\\xA2"
assert writer.bytes.to_s == "¢"
~~~

`BytesReader` also supports reading any bytes, including the bytes composing an UTF-8 character for `StringReader`:

~~~
var reader = new BytesReader(b"a…b")
assert reader.read_char == 'a'
assert reader.read_byte == 0xE2u8 # 1st byte of '…'
assert reader.read_byte == 0x80u8 # 2nd byte of '…'
assert reader.read_char == '�' # Reads the last byte as an invalid char
assert reader.read_all_bytes == b"b"
~~~

Pull-Request: #2539
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: app.nit: easier root window selection and other misc improvements

Intro the hook `root_window` for clients to set the desired root (or home) window. It is much shorter than the previous redef of `on_create`. Plus, in very simple apps, the client can simple redef `Window` instead of subclassing it.

Refactor `data_store` structure, replacing the interface and subclasses by refinements of a single class. It follows more closely the strategy used by the UI API while not changing anything to the `data_store` API. The data store now drops potentially partially deserialized objects to avoid hard to report crash at runtime, this could be improved upon in the future as the current implementation is not ideal.

Otherwise, this PR brings general improvements to the framework influenced by the creation of [paninit.com](http://paninit.com/): revamp the documentation, add unit tests, fix the scientific calculator icon and add an option to report errors in `hightlightcode`.

Pull-Request: #2547
Reviewed-by: Jean Privat <jean@pryen.org>

serialization: test the inspect serialization engine

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: redef of `inspect` using a new serializer

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: Bytes have a minimum capacity of 16 bytes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: optimize Bytes::append_text using redefs in Text subclasses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: protect access to _items in empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move serialization_core

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: don't use fonts in the icon source

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: add code example to data_store, http_request and ui

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: report errors in DataStore and fix a warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: make DataStore a class and refine on each platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: tweak UI API doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update clients to use `root_window`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: intro `root_window` to select the first visible window

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

stream: intro `BytesWriter` and `BytesReader`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update UI example language and android style

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

highlight: optionally print errors when highlighting

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Nitmetric fixes

Avoid some nitmetric crashes

Pull-Request: #2533

Merge: Nitweb: boost response time and some improvements

The main objective of this PR is to shorten the frontend response time.
The major culprit was that the full documentation was serialized in each response.
This PR makes nitweb return only the synopsis and lets the frontend ask for the full documentation if needed.

Also uniformizes and cleans tabs for entities:
* Moved data between tabs (such as inheritance data to the inheritance tab)
* Added missing tabs for packages and groups (http://nitweb.moz-code.org/doc/core%3Ecollection%3E/defs)

Demo: http://nitweb.moz-code.org/

Pull-Request: #2536
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: move up general services, support Byte and more

This PR is a general clean up of the `json` package to prepare the support of two new serialization engines, add small new features and fix some issues in code. It should not change its behavior for existing clients.

* Move up some general deserialization services from `json` to `serialization` in order to make them available to other engines. This includes the class name manipulation services and safety services controlling which types are deserialized, including `class_inheritance_metamodel`.

* Support writing and reading `Byte` as either a plain JSON string or a special object with metadata.

* Support reading `Char` and `Byte` from plain JSON input using simple heuristics.

* Test the deserialization of plain generated JSON and fix a typo in the tests.

* Fix other minor issues in code.

Pull-Request: #2538

Merge: gamnit: shadow mapping

Intro a basic API and the shaders for 3D actors to cast shadows. This feature is off by default, it can be activated by using a sun-like light with: `app.light = new ParallelLight`. This will require additional work to improve the performance, add more kind of lights (point, spotlight, ambient, etc.), support many lights and accept colored lights.

Many values can be tweaked to achieve the best performance tradeoff:

* `ParallelLight` is always centered on the `world_camera` to show shadows only around the player. Its attributes `width, height, depth` are in world coordinates and identify a prism where shadows are computed. Higher values show shadows further away and lower values show shadows in higher resolution.
* `App::shadow_resolution` sets the resolution of the depth texture. Higher is prettier but slower, there's also an upper limit depending on the hardware configuration. It is now hardcoded (but refinable) to 4096x4096 pixels, with is probably too high for some mobiles devices. More experimentation is needed to find a safe default value.
* For softer shadow edges, the shader applies a kind of antialiasing by tapping the depth texture many times for each fragment. It is currently hardcoded to 4 taps per fragment but it could be changed for better performances or smoother edges. I don't know where to expose this value in the API, it could be on the light, the material or even global. It can also be optimized by the hardware.

### Screenshots from Jump 'n' Gun

Looking down at the player's shadow:


Complex shadows from a turret and a shield projector:


Pull-Request: #2543

nitunit: update documentation for annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update syntax tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: migrate test generation to annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

frontend: disable warnings for test modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src: migrate nitunits to annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>