Merge: lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2565

lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model_collect: collect more things

A lot of new shortcuts.

Pull-Request: #2560

Merge: model: is_accessor

Add a way to associate attributes and their getters/setters.

This will be useful for filtering things and groupings properties together.

Pull-Request: #2559

Merge: Vector Space Model

# Vector Space Model

Vector Space Model (VSM) is an algebraic model for representing text documents
(and any objects, in general) as vectors of identifiers, such as, for example,
index terms.

It is used in information filtering, information retrieval, indexing and
relevancy rankings.

The `vsm` package provides the following features:
* Vector comparison with cosine similarity.
* Vector indexing and matching with tf * idf.
* File indexing and matching to free text queries.

## Vectors

With VSM, documents are represented by a n-dimensions vector.
Each dimension represent an attribute of the document or object.

For text document, the count of each term found in the document if often used to
build vectors.

### Creating a vector

~~~nit
var vector = new Vector
vector["term1"] = 2.0
vector["term2"] = 1.0
assert vector["term1"] == 2.0
assert vector["term2"] == 1.0
assert vector.norm.is_approx(2.236, 0.001)
~~~

### Comparing vectors

~~~nit
var v1 = new Vector
v1["term1"] = 1.0
v1["term2"] = 2.0

var v2 = new Vector
v2["term2"] = 1.0
v2["term3"] = 3.0

var query = new Vector
query["term2"] = 1.0

var s1 = query.cosine_similarity(v1)
var s2 = query.cosine_similarity(v2)
assert s1 > s2
~~~

## VSMIndex

VSMIndex is a Document index based on VSM.

Using VSMIndex you can index documents associated with their vector.
Documents can then be matched to query vectors.

This represents a minimalistic search engine.

~~~nit
var index = new VSMIndex

var d1 = new Document("Doc 1", "/uri/1", v1)
index.index_document(d1)

var d2 = new Document("Doc 2", "/uri/2", v2)
index.index_document(d2)

assert index.documents.length == 2

query = new Vector
query["term1"] = 1.0

var matches = index.match_vector(query)
assert matches.first.document == d1
~~~

## StringIndex

The StringIndex provides usefull services to index and match strings.

~~~nit
index = new StringIndex

d1 = index.index_string("Doc 1", "/uri/1", "this is a sample")
d2 = index.index_string("Doc 2", "/uri/2", "this and this is another example")
assert index.documents.length == 2

matches = index.match_string("this sample")
assert matches.first.document == d1
~~~

## FileIndex

The FileIndex is a StringIndex able to index and retrieve files.

~~~nit
index = new FileIndex

index.index_files(["/path/to/doc/1", "/path/to/doc/2"])
~~~

Pull-Request: #2556
Reviewed-by: Jean Privat <jean@pryen.org>

nlp: use new vector representation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use model_collect for definitions lists

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect more things

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: uniformize documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update tests for vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: add README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: introduce an indexing process based on VSM

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: accept anything as a dimension

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: move vsm.nit to its own package

We don't need nlp to use vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: remove a warning :p

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

modelize: define attribute getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: tag getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib: introduce `fca` a module for formal concept analysis

## Building a FormalContext

We use the example from https://en.wikipedia.org/wiki/Formal_concept_analysis:

~~~nit
var fc = new FormalContext[Int, String]
fc.set_object_attributes(1, ["odd", "square"])
fc.set_object_attributes(2, ["even", "prime"])
fc.set_object_attributes(3, ["odd", "prime"])
fc.set_object_attributes(4, ["even", "composite", "square"])
fc.set_object_attributes(5, ["odd", "prime"])
fc.set_object_attributes(6, ["even", "composite"])
fc.set_object_attributes(7, ["odd", "prime"])
fc.set_object_attributes(8, ["even", "composite"])
fc.set_object_attributes(9, ["odd", "square", "composite"])
fc.set_object_attributes(10, ["even", "composite"])
~~~

## Computing the set of FormalConcept

~~~nit
var concepts = fc.formal_concepts
for concept in concepts do
print concept
end
~~~

## Visualizing formal concept with ConceptLattice

~~~nit
var cl = new ConceptLattice[Int, String].from_concepts(concepts)
cl.show_dot
~~~

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2557
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: .gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2555

Merge: model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2554

Merge: doc_commands: parse parameters

This PR allows the user of doc cards to pass parameters through the card declaration:

* `command: arg | option1: value1, option2: value2`

It can be used in a doc command so one can write:

~~~
Here a graph:
[[graph: core::Array | cdepth: 1, pdepth: 4]]
~~~

Pull-Request: #2553
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: fully integrate catalog

Some work to integrate the nit catalog with nitweb:
* make the catalog API more usable
* serves the catalog API through JSON/REST
* integrate with current frontend

New features:
* catalog integration
* new search process and ui
* pagination for results and catalog (faster!)
* cards cleaning
* tabs cleaning

Demo: DIY

Pull-Request: #2552

lib: introduce `fca` a module for formal concept analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: allow options in graph card

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_down: fix `comment` behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: merge Article and Comment commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

.gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove warnings from doc_readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update to doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: rewrite doc commands parser

Also add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite search ui

Display a new menu that allows the user to jump on a result page.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog refine search algorithm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless catalog handlers

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add catalog sidebar on package views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog frontend

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove tabs from cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move grades frontend from card to tab

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rename frontend module `index` in `catalog`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: frontend add ui-pagination directive

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves persons related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves tags related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api use mpackage_stats

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce /api/catalog/packages route

List all packages in current catalog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce custom serialization for CatalogHandler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move catalog building to Catalog redef

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce pagination handler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce some sorters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce CatalogStats to retrieve all the stats of the catalog

Useful for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce MPackageStats to retrieve the stats of a MPackage

Usefull for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate persons to their short name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate packages to their full_name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: extract gravatar from html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: split metadata from MPackage class

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: use annotations

This PR replace the name heuristics used by nitunit by nice and tidy annotations.

Before:

~~~nit
module test_my_test is test_suite

import test_suite

class TestMyTest
    super TestSuite

    redef fun before do # something

    fun test_my_test do
        assert true
    end
end
~~~

After:

~~~nit
module my_test is test

class MyTest
    test

    fun setup is before do # something

    fun my_test is test do
        assert true
    end
end
~~~

Motivations:
* cleaner API / naming policy
* [BDD](https://en.wikipedia.org/wiki/Behavior-driven_development) friendly
* more flexibility as one can define a `after` method in the lib that will only be executed on children module tagged with `test`
* more extensible as one can improve nitunit to support `test(timeout = 150)` or `test(res= "res/test_file.res")`

Used annotations:
* `test` on modules, classes and properties to indicate that nitunit must run this module/class/method
* `before`, `after` on properties from all classes but `Sys` for the before/after each case hooks
* `before_all`, `after_all` on properties from `Sys` for the before/after all cases hooks

This also removes the need of the `lib/test_suite` module.

I also migrated the existing test suites to the new annotations system. Let's see what Jenkins has to say about it.

Should fix #2165

Pull-Request: #2474
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: fluid API, named 3D models, faster nitpick et other fixes

General improvements to the gamnit framework and related services:
* Make the APIs of `CustomTexture` and `VirtualGamepad` a bit more fluid.
* More precise computation of `TextSprite::height` and show the result in `font_showcase`.
* Optimize shadow mapping by caching the light MVP matrix.
* Speedup nitpick by silencing some warnings in `glesv2` and fix warnings created by the serialization framework.
* Fix bug on Kabylake GPU reported by @BlackMinou.
* Fix a few other bugs and possible crashes.

Pull-Request: #2551

gamnit: fix "mismatching precision qualifiers" error on recent Intel GPU

Reported-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: disable our premultiplication on Android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: compute a more precise `TextSprites::height`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix code duplication in BMFont

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: add size info to font_showcase

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cache the light mvp_matrix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: generate one less warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: don't report missing-doc warnings, for a faster nitpick

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix crash on character missing from font

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: more precise error when a texture is too large

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: `CustomTexture::fill` returns self for easier attribute creation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: keep the named sub-object composing an obj object

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: virtual gamepad services return the created controls

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Intro MessagePack serialization engines

MessagePack is a portable data serialization format. It differs from JSON by its binary format, compressing common types, support for custom types and accepting any object as map key. Here, the primitive Nit types use the shortest available MessagePack format (e.g. an `Int` between -32 and 127 takes a single byte). The custom types are used to declare some metadata and special types (objects, references, `Char`, etc.). The engines can, optionally, benefit from the map keys as any object to compress repeated metadata (class and attribute names).

These engines should replace the current `Binary::serialization` services, which are almost impossible to debug, less compressed than MessagePack and not standard.

The serialization engine supports writing and reading plain (no metadata) MessagePack data, similarly to the JSON engines.

Most clients should use the high-level services:
* Customizable engines to handle errors: `MsgPackSerializer` and `MsgPackDeserializer`.
* Quick services on streams: `Writer::serialize_msgpack` and `Reader::deserialize_msgpack`.
* Quick services on `Bytes` (mostly for testing): `Serializable::serialize_msgpack` and `Bytes::deserialize_msgpack`.

Or, to write engines one can use the low-level services:
* Low-level writing methods: `Writer::write_msgpack_uint64`, `Writer::write_msgpack_bin8`, etc.
* Low-level reading method: `Reader::read_msgpack`.

---

Using it in Jwrapper, the MessagePack format creates smaller files than JSON (at ~50% the size), when using the default options and serializing the metadata of the Java standard library:

* JSON: 14.9 MB
* MessagePack (default): 7.0 MB
* Old binary: 9.8 MB

The file gets shorter in plain MessagePack mode or when caching the metadata strings:
* MessagePack `plain_msgpack=true`: 6.3 MB
* MessagePack `cache_metadata_strings=true`: 3.0 MB

Caching metadata creates much smaller files, however for the size only gzip has a bigger effect.
Further investigations is required to see the impact it has on the speed.

* gzipped MessagePack (default): 0.7 MB
* gzipped MessagePack `cache_metadata_strings=true`: 0.6 MB

---

This PR depends on #2539 as it works on binary data, you can ignore the first 2 commits.

@R4PaSs you may want to look at the commits modifying `Int::to_bytes` and `Bytes::to_i`.

Pull-Request: #2550
Reviewed-by: Jean Privat <jean@pryen.org>

msgpack: fixme interpreter bug in constructors with return (#2546)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: don't serialize cached attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

jwrapper: use msgpack

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: use the msgpack engines instead of binary

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: test the msgpack serialization engines

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro msgpack_to_json tool

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro entrypoint and package doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro deserialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro serialization services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro read services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

msgpack: intro write services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: `Bytes::to_i` can parse signed ints

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: support signed ints and custom capacity in `Int::to_bytes`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: serialization: redef inspect for an output useful to humans

Intro a new serialization engine to pretty print the attributes of the receiver on calls to `inspect`. The format is designed to be helpful, reproducible and compact.

Note that, asides from direct calls to `inspect`, this will also affect the default behavior of `Serializable::to_s`. And this will not affect all Nit programs, but it will affect all those importing the serialization services, so most larger projects using either `json`, `nitcorn`, `gamnit`, `more_collections`, etc.

Simple immutable data are inspected as they would be written in Nit code:
~~~
assert 123.inspect == "123"
assert 1.5.inspect == "1.5"
assert 0xa1u8.inspect == "0xa1u8"
assert 'c'.inspect == "'c'"
assert "asdf\n".inspect == "\"asdf\\n\""
~~~

Inspections of mutable object show their dynamic type and an id unique to each call to `inspect`. A change from using their `object_id`.

Items of collections are flattened:

~~~
assert [1, 2, 3].inspect == "<Array[Int]#0 [1, 2, 3]>"

var set = new HashSet[Object].from([1, 1.5, "two": Object])
assert set.inspect == """<HashSet[Object]#0 [1, 1.5, "two"]>"""

var map = new Map[Int, String]
map[1] = "one"
map[2] = "two"
assert map.inspect == """<HashMap[Int, String]#0 {1:"one", 2:"two"}>"""
~~~

Inspecting other `Serializable` classes shows the first level attributes only:

~~~
class MyClass
    serialize

    var i: Int
    var o: nullable Object
end

var class_with_null = new MyClass(123)
assert class_with_null.to_s == class_with_null.inspect
assert class_with_null.to_s == "<MyClass#0 i:123, o:null>"

var class_with_other = new MyClass(456, class_with_null)
assert class_with_other.to_s == "<MyClass#0 i:456, o:<MyClass#1>>"

var class_with_cycle = new MyClass(789)
class_with_cycle.o = class_with_cycle
assert class_with_cycle.to_s == "<MyClass#0 i:789, o:<MyClass#0>>"
~~~

Inspections producing over 80 characters are cut short:

~~~
var long_class = new MyClass(123456789, "Some " + "very "*8 + "long string")
assert long_class.to_s == "<MyClass#0 i:123456789, o:\"Some very very very very very very very very long s…>"
~~~

Pull-Request: #2548
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: core: intro BytesWriter and BytesReader

Intro the classes `BytesReader` and `BytesWriter` to support byte read/writer operations directly on `Bytes` in memory.

The new classes are now super classes to `StringReader` (converting the `String` source to `Bytes` in the constructor) and `StringWriter`(cleaning the UTF-8 string in `to_s` only). The only differences between the string and bytes streams are the behavior of `StringWriter::to_s` and the `String` parameter expected by the constructor of `StringReader`.

`BytesWriter` supports writing any bytes, including composing UTF-8 characters byte by byte, a behavior also useful for `StringWriter`:
~~~
var writer = new BytesWriter

# Write just the character first half
writer.write_byte 0xC2u8
assert writer.to_s == "\\xC2"
assert writer.bytes.to_s == "�"

# Complete the character
writer.write_byte 0xA2u8
assert writer.to_s == "\\xC2\\xA2"
assert writer.bytes.to_s == "¢"
~~~

`BytesReader` also supports reading any bytes, including the bytes composing an UTF-8 character for `StringReader`:

~~~
var reader = new BytesReader(b"a…b")
assert reader.read_char == 'a'
assert reader.read_byte == 0xE2u8 # 1st byte of '…'
assert reader.read_byte == 0x80u8 # 2nd byte of '…'
assert reader.read_char == '�' # Reads the last byte as an invalid char
assert reader.read_all_bytes == b"b"
~~~

Pull-Request: #2539
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: app.nit: easier root window selection and other misc improvements

Intro the hook `root_window` for clients to set the desired root (or home) window. It is much shorter than the previous redef of `on_create`. Plus, in very simple apps, the client can simple redef `Window` instead of subclassing it.

Refactor `data_store` structure, replacing the interface and subclasses by refinements of a single class. It follows more closely the strategy used by the UI API while not changing anything to the `data_store` API. The data store now drops potentially partially deserialized objects to avoid hard to report crash at runtime, this could be improved upon in the future as the current implementation is not ideal.

Otherwise, this PR brings general improvements to the framework influenced by the creation of [paninit.com](http://paninit.com/): revamp the documentation, add unit tests, fix the scientific calculator icon and add an option to report errors in `hightlightcode`.

Pull-Request: #2547
Reviewed-by: Jean Privat <jean@pryen.org>

serialization: test the inspect serialization engine

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: redef of `inspect` using a new serializer

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: Bytes have a minimum capacity of 16 bytes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: optimize Bytes::append_text using redefs in Text subclasses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: protect access to _items in empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move serialization_core

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: don't use fonts in the icon source

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: add code example to data_store, http_request and ui

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: report errors in DataStore and fix a warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: make DataStore a class and refine on each platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>