Merge: core: implement `Float::to_precision` in C without callbacks

Fix #2561, int overflows in `Float::to_precision` with a high float value or a high precision.

The native implementation was removed by 9cb09ccf to support the interpreter. Since then, we added support for the FFI in the interpreter so we can bring back a native implementation.

Pull-Request: #2562

Merge: markdown: merge MDProcessor and MDEmitter

The emitter was unecessary.

Also done some cleaning.

Pull-Request: #2563

Merge: lib/config: fix doc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2564

Merge: lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2565

tests: update tests.sh

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_index: update ModeView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_views: expect a mainmodule

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: provide more examples

And remove old example nitnlp

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: combine nlp and vsm to create a search engine index

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: avoid crash when reading token XML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: add wrapper to the web REST api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: extract NLPProcessor from the Java wrapper

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/curl: allow raw body string in CurlHTTPRequest

So we can send something else than POST formatted data.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/dom: avoid crash on empty tags data access

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/dom: allow `xml` in tag name

I'm not sure, what was the reason of this, security concerns maybe?
In this case I can change it as an option.

But we want this parser to parse correctly formed XML documents.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: actually use tf.idf when matching documents

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: access to non-existing keys return 0.0

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: fix doc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: merge processor and emitter

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: fix nitunits in README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model_collect: collect more things

A lot of new shortcuts.

Pull-Request: #2560

Merge: model: is_accessor

Add a way to associate attributes and their getters/setters.

This will be useful for filtering things and groupings properties together.

Pull-Request: #2559

Merge: Vector Space Model

# Vector Space Model

Vector Space Model (VSM) is an algebraic model for representing text documents
(and any objects, in general) as vectors of identifiers, such as, for example,
index terms.

It is used in information filtering, information retrieval, indexing and
relevancy rankings.

The `vsm` package provides the following features:
* Vector comparison with cosine similarity.
* Vector indexing and matching with tf * idf.
* File indexing and matching to free text queries.

## Vectors

With VSM, documents are represented by a n-dimensions vector.
Each dimension represent an attribute of the document or object.

For text document, the count of each term found in the document if often used to
build vectors.

### Creating a vector

~~~nit
var vector = new Vector
vector["term1"] = 2.0
vector["term2"] = 1.0
assert vector["term1"] == 2.0
assert vector["term2"] == 1.0
assert vector.norm.is_approx(2.236, 0.001)
~~~

### Comparing vectors

~~~nit
var v1 = new Vector
v1["term1"] = 1.0
v1["term2"] = 2.0

var v2 = new Vector
v2["term2"] = 1.0
v2["term3"] = 3.0

var query = new Vector
query["term2"] = 1.0

var s1 = query.cosine_similarity(v1)
var s2 = query.cosine_similarity(v2)
assert s1 > s2
~~~

## VSMIndex

VSMIndex is a Document index based on VSM.

Using VSMIndex you can index documents associated with their vector.
Documents can then be matched to query vectors.

This represents a minimalistic search engine.

~~~nit
var index = new VSMIndex

var d1 = new Document("Doc 1", "/uri/1", v1)
index.index_document(d1)

var d2 = new Document("Doc 2", "/uri/2", v2)
index.index_document(d2)

assert index.documents.length == 2

query = new Vector
query["term1"] = 1.0

var matches = index.match_vector(query)
assert matches.first.document == d1
~~~

## StringIndex

The StringIndex provides usefull services to index and match strings.

~~~nit
index = new StringIndex

d1 = index.index_string("Doc 1", "/uri/1", "this is a sample")
d2 = index.index_string("Doc 2", "/uri/2", "this and this is another example")
assert index.documents.length == 2

matches = index.match_string("this sample")
assert matches.first.document == d1
~~~

## FileIndex

The FileIndex is a StringIndex able to index and retrieve files.

~~~nit
index = new FileIndex

index.index_files(["/path/to/doc/1", "/path/to/doc/2"])
~~~

Pull-Request: #2556
Reviewed-by: Jean Privat <jean@pryen.org>

nlp: use new vector representation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: implement Float::to_precision in C without callbacks

Fix int overflows in Float::to_precision with a high float value
or a high precision.

The native implementation was removed by 9cb09ccf to support the
interpreter, which, at the time, did not support the FFI. Since then, we
added support for thhe FFI in the interpreter.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitweb: use model_collect for definitions lists

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect more things

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: uniformize documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update tests for vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: add README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: introduce an indexing process based on VSM

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: accept anything as a dimension

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: move vsm.nit to its own package

We don't need nlp to use vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: remove a warning :p

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

modelize: define attribute getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: tag getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib: introduce `fca` a module for formal concept analysis

## Building a FormalContext

We use the example from https://en.wikipedia.org/wiki/Formal_concept_analysis:

~~~nit
var fc = new FormalContext[Int, String]
fc.set_object_attributes(1, ["odd", "square"])
fc.set_object_attributes(2, ["even", "prime"])
fc.set_object_attributes(3, ["odd", "prime"])
fc.set_object_attributes(4, ["even", "composite", "square"])
fc.set_object_attributes(5, ["odd", "prime"])
fc.set_object_attributes(6, ["even", "composite"])
fc.set_object_attributes(7, ["odd", "prime"])
fc.set_object_attributes(8, ["even", "composite"])
fc.set_object_attributes(9, ["odd", "square", "composite"])
fc.set_object_attributes(10, ["even", "composite"])
~~~

## Computing the set of FormalConcept

~~~nit
var concepts = fc.formal_concepts
for concept in concepts do
print concept
end
~~~

## Visualizing formal concept with ConceptLattice

~~~nit
var cl = new ConceptLattice[Int, String].from_concepts(concepts)
cl.show_dot
~~~

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2557
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: .gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2555

Merge: model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2554

Merge: doc_commands: parse parameters

This PR allows the user of doc cards to pass parameters through the card declaration:

* `command: arg | option1: value1, option2: value2`

It can be used in a doc command so one can write:

~~~
Here a graph:
[[graph: core::Array | cdepth: 1, pdepth: 4]]
~~~

Pull-Request: #2553
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: fully integrate catalog

Some work to integrate the nit catalog with nitweb:
* make the catalog API more usable
* serves the catalog API through JSON/REST
* integrate with current frontend

New features:
* catalog integration
* new search process and ui
* pagination for results and catalog (faster!)
* cards cleaning
* tabs cleaning

Demo: DIY

Pull-Request: #2552

lib: introduce `fca` a module for formal concept analysis

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: allow options in graph card

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_down: fix `comment` behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: merge Article and Comment commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

json::dynamic: update doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::dynamic: add array index support to `get`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::dynamic: remove to_parse_error redundant of to_error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json::dynamic: fix warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

.gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: use new doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: remove warnings from doc_readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update to doc commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc_commands: rewrite doc commands parser

Also add tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite search ui

Display a new menu that allows the user to jump on a result page.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog refine search algorithm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless catalog handlers

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add catalog sidebar on package views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog frontend

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove tabs from cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move grades frontend from card to tab

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rename frontend module `index` in `catalog`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: frontend add ui-pagination directive

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves persons related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api serves tags related data

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: catalog api use mpackage_stats

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce /api/catalog/packages route

List all packages in current catalog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce custom serialization for CatalogHandler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move catalog building to Catalog redef

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite catalog serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce pagination handler

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce some sorters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce CatalogStats to retrieve all the stats of the catalog

Useful for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce MPackageStats to retrieve the stats of a MPackage

Usefull for serialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate persons to their short name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: associate packages to their full_name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: extract gravatar from html

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: split metadata from MPackage class

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: use annotations

This PR replace the name heuristics used by nitunit by nice and tidy annotations.

Before:

~~~nit
module test_my_test is test_suite

import test_suite

class TestMyTest
    super TestSuite

    redef fun before do # something

    fun test_my_test do
        assert true
    end
end
~~~

After:

~~~nit
module my_test is test

class MyTest
    test

    fun setup is before do # something

    fun my_test is test do
        assert true
    end
end
~~~

Motivations:
* cleaner API / naming policy
* [BDD](https://en.wikipedia.org/wiki/Behavior-driven_development) friendly
* more flexibility as one can define a `after` method in the lib that will only be executed on children module tagged with `test`
* more extensible as one can improve nitunit to support `test(timeout = 150)` or `test(res= "res/test_file.res")`

Used annotations:
* `test` on modules, classes and properties to indicate that nitunit must run this module/class/method
* `before`, `after` on properties from all classes but `Sys` for the before/after each case hooks
* `before_all`, `after_all` on properties from `Sys` for the before/after all cases hooks

This also removes the need of the `lib/test_suite` module.

I also migrated the existing test suites to the new annotations system. Let's see what Jenkins has to say about it.

Should fix #2165

Pull-Request: #2474
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: gamnit: fluid API, named 3D models, faster nitpick et other fixes

General improvements to the gamnit framework and related services:
* Make the APIs of `CustomTexture` and `VirtualGamepad` a bit more fluid.
* More precise computation of `TextSprite::height` and show the result in `font_showcase`.
* Optimize shadow mapping by caching the light MVP matrix.
* Speedup nitpick by silencing some warnings in `glesv2` and fix warnings created by the serialization framework.
* Fix bug on Kabylake GPU reported by @BlackMinou.
* Fix a few other bugs and possible crashes.

Pull-Request: #2551

gamnit: fix "mismatching precision qualifiers" error on recent Intel GPU

Reported-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: disable our premultiplication on Android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: compute a more precise `TextSprites::height`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix code duplication in BMFont

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: add size info to font_showcase

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cache the light mvp_matrix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: generate one less warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: don't report missing-doc warnings, for a faster nitpick

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix crash on character missing from font

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: more precise error when a texture is too large

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: `CustomTexture::fill` returns self for easier attribute creation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>