doc/commands: introduce docdown related commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/docdown: render mdoc as markdown

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce commands group

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce html rendering for commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/templates: introduce model to html translations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/html: bootstrap use optional annotation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce commands results to json translation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce command initialization from HTTP requests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce commands parser

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce catalog commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce usage commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce graph commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce model commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: introduce doc commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use catalog_json

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: introduce catalog to json translation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: create a group for catalog modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

markdown: reset headlines collection between two processing

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: fix collect_ancestors

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_views: introduce `mentities_by_name` in views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Model filters: extract filters from ModelVisitor

A list of filters that can be applied on a MEntity

By default ModelFilter accepts all mentity.

~~~nit
var filter = new ModelFilter
assert filter.accept_mentity(my_mentity) == true
~~~

To quickly configure the filters, options can be passed to the constructor:
~~~nit
var filter = new ModelFilter(
        min_visibility = protected_visibility,
accept_fictive = false,
accept_test = false,
accept_redef = false,
accept_extern = false,
accept_attribute = false,
accept_empty_doc = false
)
~~~

With this, one can use temporary filters with the model visitors and views:

~~~nit
var default_filter = new ModelFilter(private_visibility)
var view = new ModelView(view, default_filter)
# ...
if view.accept_mentity(mentity) then
   # ...
end
# ...
var custom_filter = new ModelFilter(public_visibility)
if view.accept_mentity(mentity, custom_filter) then
   # ...
end
~~~

Pull-Request: #2567
Reviewed-by: Jean Privat <jean@pryen.org>

nitdoc: protect package access when ModelFilters allows fictive modules

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for model visitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for model filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for model index

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: use model filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: use model filters

Also introduce new options to control filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: use model filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitmetrics: use model filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: json use filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: NLP: More Natural Language Processing features

# Nit wrapper for Stanford CoreNLP

Stanford CoreNLP provides a set of natural language analysis tools which can take
raw text input and give the base forms of words, their parts of speech, whether
they are names of companies, people, etc., normalize dates, times, and numeric
quantities, and mark up the structure of sentences in terms of phrases and word
dependencies, indicate which noun phrases refer to the same entities, indicate
sentiment, etc.

This wrapper needs the Stanford CoreNLP jars that run on Java 1.8+.

See http://nlp.stanford.edu/software/corenlp.shtml.

## NLPProcessor

### Java client

~~~nit
var proc = new NLPProcessor("path/to/StanfordCoreNLP/jars")

var doc = proc.process("String to analyze")

for sentence in doc.sentences do
for token in sentence.tokens do
print "{token.lemma}: {token.pos}"
end
end
~~~

### NLPServer

The NLPServer provides a wrapper around the StanfordCoreNLPServer.

See `https://stanfordnlp.github.io/CoreNLP/corenlp-server.html`.

~~~nit
var cp = "/path/to/StanfordCoreNLP/jars"
var srv = new NLPServer(cp, 9000)
srv.start
~~~

### NLPClient

The NLPClient is used as a NLPProcessor with a NLPServer backend.

~~~nit
var cli = new NLPClient("http://localhost:9000")
var doc = cli.process("String to analyze")
~~~

## NLPIndex

NLPIndex extends the StringIndex to use a NLPProcessor to tokenize, lemmatize and
tag the terms of a document.

~~~nit
var index = new NLPIndex(proc)

var d1 = index.index_string("Doc 1", "/uri/1", "this is a sample")
var d2 = index.index_string("Doc 2", "/uri/2", "this and this is another example")
assert index.documents.length == 2

matches = index.match_string("this sample")
assert matches.first.document == d1
~~~

Pull-Request: #2566
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitcc: add nfa transformation to remove epsilon

A NFA can be transformed to another NFA without epsilon-transition.
This is mostly useless but can make large NFA more readable.

Also add some bugfixes

Pull-Request: #2573

model: views use filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: visitor uses filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: introduce filters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: tag groups as tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/rss_downloader: fix nullable usage for title and link

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model: ModelView uses mainmodule

ModelView uses a mainmodule to flatten mclass hierarchies.

Pull-Request: #2568

Merge: json::dynamic: extend `get` to support arrays and keys with dots

Extend `JsonValue::get` to support arrays and keys containing the '.' character.

As a general cleanup, remove services specific to parsing errors as clients should check errors only once, and update and standardize the documentation.

Pull-Request: #2558

Merge: popcorn: pop_test uses NIT_TESTING_ID to determine test port

This PR modifies the *pop-tests* so they use `NIT_TESTING_ID` to select the listening port.

This should avoid ports conflicts when testing multiple PR at the same time on Jenkins.

Let's try this!

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2571

Merge: nitunit: some fixes and improvements for the `before_all`, `after_all` annotations

This PR does three things:
* fixes the importation of `before_all` and `after_all` methods
* allows use of `before_all` and `after_all` methods within classes
* changes the test execution order for imported test suites

### Fix the importation of `before_all` and `after_all` methods

First of all, this PR fixes the behavior of nitunit with multiple test_suite importation.

Be two modules `a` and `b`:

~~~nit
module a is test

class TestA
    test

    # some test cases
end

fun setup is before_all do # important things
~~~

~~~nit
module b is test
import module a

class TestB
     super TestA
     test
end
~~~

In this case, because `b` does not introduce any `before_all` method, the method from `a` was not executed.
This is fixed now.

### Class-level `before_all` and `after_all` methods

`before_all` and `after_all` can now be used inside a class definition to indicate methods that must be executed before / after all methods inside the class:

~~~nit
class TestC
    test

    fun setup is before_all do # something before all test cases of `TestC`

    # some test cases
end
~~~

### Tests execution order

Methods with `before*` and `after*` annotations are linearized and called in different ways.

* `before*` methods are called from the least specific to the most specific
* `after*` methods are called from the most specific to the least specific

~~~nit
module test_bdd_connector

import bdd_connector

# Testing the bdd_connector
class TestConnector
test
# test cases using a server
end

# Method executed before testing the module
fun setup_db is before_all do
# start server before all test cases
end

# Method executed after testing the module
fun teardown_db is after_all do
# stop server after all test cases
end
~~~

When dealing with multiple test suites, niunit allows you to import other test suites to factorize your tests:

~~~nit
module test_bdd_users

import test_bdd_connector

# Testing the user table
class TestUsersTable
test
# test cases using the db server from `test_bdd_connector`
end

fun setup_table is before_all do
# create user table
end

fun teardown_table is after_all do
# drop user table
end
~~~

In the previous example, the execution order would be:

1. `test_bdd_connector::setup_db`
2. `test_bdd_users::setup_table`
3. `all test cases from test_bdd_users`
4. `test_bdd_users::teardown_table`
5. `test_bdd_connector::teardown_db`

Pull-Request: #2572

nitcc: generate more intermediate automaton

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: add transformation from a NFA to a epsilonless NFA

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: remove a truism warning

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: to_minimal_dfa is a little faster

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: a empty automaton has at least a start state, even if non-terminal

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: update documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: fix nitunits within the README

Most of them seem to be nitish since there is a lot a fake modules used.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: linearize test execution

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: introduce before/after class tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: do not execute a before/after test twice

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: fix `before-all` and `after-all` detection

Before this commit, nitunit did not lookup annotation from parent modules
if no local definition of Sys was found.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: pop_test uses NIT_TESTING_ID to determine test port

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_json: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: core: implement `Float::to_precision` in C without callbacks

Fix #2561, int overflows in `Float::to_precision` with a high float value or a high precision.

The native implementation was removed by 9cb09ccf to support the interpreter. Since then, we added support for the FFI in the interpreter so we can bring back a native implementation.

Pull-Request: #2562

Merge: markdown: merge MDProcessor and MDEmitter

The emitter was unecessary.

Also done some cleaning.

Pull-Request: #2563

Merge: lib/config: fix doc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2564

Merge: lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2565

tests: update tests.sh

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nituml: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_index: update ModeView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: update ModelView

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_views: expect a mainmodule

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: provide more examples

And remove old example nitnlp

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: combine nlp and vsm to create a search engine index

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: avoid crash when reading token XML

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: add wrapper to the web REST api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: extract NLPProcessor from the Java wrapper

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/curl: allow raw body string in CurlHTTPRequest

So we can send something else than POST formatted data.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/dom: avoid crash on empty tags data access

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/dom: allow `xml` in tag name

I'm not sure, what was the reason of this, security concerns maybe?
In this case I can change it as an option.

But we want this parser to parse correctly formed XML documents.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: actually use tf.idf when matching documents

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: access to non-existing keys return 0.0

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: fix `text` for nested markdown blocks

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/config: fix doc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: merge processor and emitter

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: fix nitunits in README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/markdown: remove warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model_collect: collect more things

A lot of new shortcuts.

Pull-Request: #2560

Merge: model: is_accessor

Add a way to associate attributes and their getters/setters.

This will be useful for filtering things and groupings properties together.

Pull-Request: #2559

Merge: Vector Space Model

# Vector Space Model

Vector Space Model (VSM) is an algebraic model for representing text documents
(and any objects, in general) as vectors of identifiers, such as, for example,
index terms.

It is used in information filtering, information retrieval, indexing and
relevancy rankings.

The `vsm` package provides the following features:
* Vector comparison with cosine similarity.
* Vector indexing and matching with tf * idf.
* File indexing and matching to free text queries.

## Vectors

With VSM, documents are represented by a n-dimensions vector.
Each dimension represent an attribute of the document or object.

For text document, the count of each term found in the document if often used to
build vectors.

### Creating a vector

~~~nit
var vector = new Vector
vector["term1"] = 2.0
vector["term2"] = 1.0
assert vector["term1"] == 2.0
assert vector["term2"] == 1.0
assert vector.norm.is_approx(2.236, 0.001)
~~~

### Comparing vectors

~~~nit
var v1 = new Vector
v1["term1"] = 1.0
v1["term2"] = 2.0

var v2 = new Vector
v2["term2"] = 1.0
v2["term3"] = 3.0

var query = new Vector
query["term2"] = 1.0

var s1 = query.cosine_similarity(v1)
var s2 = query.cosine_similarity(v2)
assert s1 > s2
~~~

## VSMIndex

VSMIndex is a Document index based on VSM.

Using VSMIndex you can index documents associated with their vector.
Documents can then be matched to query vectors.

This represents a minimalistic search engine.

~~~nit
var index = new VSMIndex

var d1 = new Document("Doc 1", "/uri/1", v1)
index.index_document(d1)

var d2 = new Document("Doc 2", "/uri/2", v2)
index.index_document(d2)

assert index.documents.length == 2

query = new Vector
query["term1"] = 1.0

var matches = index.match_vector(query)
assert matches.first.document == d1
~~~

## StringIndex

The StringIndex provides usefull services to index and match strings.

~~~nit
index = new StringIndex

d1 = index.index_string("Doc 1", "/uri/1", "this is a sample")
d2 = index.index_string("Doc 2", "/uri/2", "this and this is another example")
assert index.documents.length == 2

matches = index.match_string("this sample")
assert matches.first.document == d1
~~~

## FileIndex

The FileIndex is a StringIndex able to index and retrieve files.

~~~nit
index = new FileIndex

index.index_files(["/path/to/doc/1", "/path/to/doc/2"])
~~~

Pull-Request: #2556
Reviewed-by: Jean Privat <jean@pryen.org>

nlp: use new vector representation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: implement Float::to_precision in C without callbacks

Fix int overflows in Float::to_precision with a high float value
or a high precision.

The native implementation was removed by 9cb09ccf to support the
interpreter, which, at the time, did not support the FFI. Since then, we
added support for thhe FFI in the interpreter.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitweb: use model_collect for definitions lists

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: collect more things

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: uniformize documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update tests for vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: add README

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: introduce an indexing process based on VSM

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/vsm: accept anything as a dimension

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: move vsm.nit to its own package

We don't need nlp to use vsm

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: remove a warning :p

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

modelize: define attribute getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: tag getters and setters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib: introduce `fca` a module for formal concept analysis

## Building a FormalContext

We use the example from https://en.wikipedia.org/wiki/Formal_concept_analysis:

~~~nit
var fc = new FormalContext[Int, String]
fc.set_object_attributes(1, ["odd", "square"])
fc.set_object_attributes(2, ["even", "prime"])
fc.set_object_attributes(3, ["odd", "prime"])
fc.set_object_attributes(4, ["even", "composite", "square"])
fc.set_object_attributes(5, ["odd", "prime"])
fc.set_object_attributes(6, ["even", "composite"])
fc.set_object_attributes(7, ["odd", "prime"])
fc.set_object_attributes(8, ["even", "composite"])
fc.set_object_attributes(9, ["odd", "square", "composite"])
fc.set_object_attributes(10, ["even", "composite"])
~~~

## Computing the set of FormalConcept

~~~nit
var concepts = fc.formal_concepts
for concept in concepts do
print concept
end
~~~

## Visualizing formal concept with ConceptLattice

~~~nit
var cl = new ConceptLattice[Int, String].from_concepts(concepts)
cl.show_dot
~~~

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2557
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: .gitignore: ignore more vim files

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2555

Merge: model_visitor: reject is_before and is_after as they are tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2554