README: document nit_env.sh

Signed-off-by: Jean Privat <jean@pryen.org>

misc: add `nit_env.sh` to auto-magically configure shell environements

Signed-off-by: Jean Privat <jean@pryen.org>

Makefile: `all` generate manpages as `pandoc` is no more required

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/serialization: fix deserialization constructor calling the default init

Restore previous behavior of the deserialization init which should not call the default init. This caused problems on default inits that accessed not yet deserialized attributes.

This also fixes WBTW troubles with game saving and multiplayer.

Pull-Request: #1766
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/core: Optimized `html_escape` for FlatText variants

As @privat requested, a byte-oriented optimized version of `FlatText` for `FlatString` as it is the most common case, like `escape_to_c`, it works at the byte level to accelerate fetching of characters.

On a short test program

~~~nit
var s = ""
for i in [0 .. 2000[ do s = "&lt;STRING&#47;&rt;".html_escape
~~~

Valgrind reports an old runtime of 18.208 MIr with a 8856 Ir/call to `html_escape`; the new runtime is 3.093 MIr, which translates to a 1298 Ir/call.

Pull-Request: #1775
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: Added new `hexdigest` service on `Text`

Title says all, I needed this today to debug trailing zeroes in a produced string and I figured it could be PR'd

Pull-Request: #1774
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: loader: print error if bad files given to `scan_full` or `parse_full`

The last series (#1750 ) removed then silently.

A test is also added to avoid regression.

Pull-Request: #1773
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitdoc: opts --no-render and --test

Juste cleaning some options.

Pull-Request: #1771
Reviewed-by: Jean Privat <jean@pryen.org>

Revert "tests: update deserializations tests with nitce because fixed autoinit fix things"

This reverts commit 61d0c58a7bc53d6086e873fb4dd7d13cc985ca66.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: Optimized `html_escape` for FlatText variants

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added new `hexdigest` service on `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Optimize hash collection

Some optimization when dealing with empty hash-based collection

user time for nitc nitc.nit:

* before: 0m6.640s
* after: 0m6.344s (-4.5%)

Pull-Request: #1768
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

loader: print error if bad files given to `scan_full` or `parse_full`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib: Introduce Stanford CoreNLP wrapper

## Stanford Core NLP

Stanford CoreNLP provides a set of natural language analysis tools which can take
raw text input and give the base forms of words, their parts of speech, whether
they are names of companies, people, etc., normalize dates, times, and numeric
quantities, and mark up the structure of sentences in terms of phrases and word
dependencies, indicate which noun phrases refer to the same entities, indicate
sentiment, etc.

This wrapper needs the Stanford CoreNLP jars that run on Java 1.8+.

See http://nlp.stanford.edu/software/corenlp.shtml.

## Usage

~~~nit
var proc = new NLPProcessor("path/to/StanfordCoreNLP/jars")

var doc = proc.process("String to analyze")

for sentence in doc.sentences do
for token in sentence.tokens do
print "{token.lemma}: {token.pos}"
end
end
~~~

Pull-Request: #1754
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: parser: do not allocate a reduction table for each parser

This optimize multiple Parser allocation, for instance nitunit or nitdoc that need to deal with each nitunit in the documentation.

usertime for `./nitdoc ../lib/core/`:

* before: 0m2.184s
* after: 0m1.788s (-18.1%)

Pull-Request: #1770
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/html: implement the tag list as an hashset instead of a array.

This optimize clients of lib/html like highlight.

usertime for `./test_highlight ../lib/core/`:

* before: 0m2.416s
* after: 0m2.328s (-3.64%)

Pull-Request: #1769
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

hash_debug: monitor calls to `enlarge`

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: simplify `enlarge`

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: native array storage is no more nullable

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: do not allocate the storage, wait for the first `store`.

Signed-off-by: Jean Privat <jean@pryen.org>

src/doc: move the testing option to its own doc_phase.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc: introduce option --no-render in HTML phase.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: add package metadata and readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce nitnlp bin as a client example for lib/nlp.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce NLPDocument to NLPVector translation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce Vector Space Model with NLPVectors

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce StanfordNLP wrapper

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core::hash_collection: shortcut some methods on empty collections

Signed-off-by: Jean Privat <jean@pryen.org>

parser: do not allocate a reduction table for each parser

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: implement the tag list as an hashset instead of a array.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: contrib/opportunity: store local participant's name in a cookie

So we don't have to write our own name every single time we participate to an event.

Already deployed on xymus.net, you can test it here: http://xymus.net/opportunity/?meetup_id=5E8F7A00589D5F567FFB07EA09A8630A8A2BA048

Pull-Request: #1765
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Improve highlight

highlight and nitlight need love.

The series fix some long issues. The main change is the improvement of the method `HightlightVisitor::enter_visit` that does only highlight the given node instead of the whole file.

Moreover, two new flags can be used to indicate how to deal with the context around the node given to highlight.

Note: A lot more love is needed, but this should really improve the current status of these modules.

Pull-Request: #1763
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Kill pseudo toplevel methods

Move some methods from Object to the top-level (Sys) as they do not rely on `self` and are intended to be called from everywhere.

Beside documentation improvement, this should slightly reduce the size of tables as methods introduced in Object are inherited by all classes.

Pull-Request: #1758
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Loader refactor

A big refactorization of the loader

This include cleanup, renaming and documentation of the existing code.

The major change is the removal of `ModulePath` used to designate an identified module that is not yet loaded. This caused major issues since once the module was loaded, the MModule object has to be used instead.
Now, genuine `MModule` are used to also represent modules identified in the file system but not yet loaded.
This simplify the code of the loader, nitls and nitcatalog.

By the way, the option `-d` (and `-M`) of nitls that was broken by the previous changes in the loader is now fixed.

Another change is the introduction of `scan_full` that is a high-level method to be used by clients like nitls or nitcatalog that just need to identify packages, groups and modules in the filesystem without loading them.

By the way, nitcalatog works on directories of projects now. eg. `nitcatalog ../lib)

Note, because this PR introduces a lot of interrelated changes, It was hard to come up with nice commits. The alternative was to have a single big commit.

Pull-Request: #1750
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/opportunity: store local participant's name in a cookie

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: new program `test_highlight`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/ because of new loader

Signed-off-by: Jean Privat <jean@pryen.org>

loader: sort files in scanning to force determinism

Signed-off-by: Jean Privat <jean@pryen.org>

online_ide: update to the new API of the loader

Signed-off-by: Jean Privat <jean@pryen.org>

model/model_viz: use OrderedTree[MConcern]

Signed-off-by: Jean Privat <jean@pryen.org>

tests: improve nitls tests

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: use alpha_comparator

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: use OrderedTree[MConcern]

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: adapt to new loader API

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: use MConcen to generalize MGroup and MModule

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: adapt to new loader API

Signed-off-by: Jean Privat <jean@pryen.org>

loader: improve documentation

Signed-off-by: Jean Privat <jean@pryen.org>

loader: conditional_importations have only MModule now

Signed-off-by: Jean Privat <jean@pryen.org>

loader: `MModule::load` cause build_module_importation

Signed-off-by: Jean Privat <jean@pryen.org>

loader: introduce `scan_full`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update nitlight.res

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: include whole lines and loose tookens

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add flag `include_whole_lines`

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add flag `include_loose_tokens`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/serialization: fix deserialization contructor calling the default init

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

highlight: only highlight the given node, not the whole AST

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: use `cname` or `full_name` to avoid module conflicts

Signed-off-by: Jean Privat <jean@pryen.org>

parallelization_phase: use `ANode::validate` after AST shenanigans.

Signed-off-by: Jean Privat <jean@pryen.org>

astvalidation: add `ANode::validate` to simplify validation

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/github: clean code and add some services

The first objective of this PR is to clean the `github::api` code and remove typing wranings.

It also add new services that can be useful for clients:
* `Issue::is_ull_request`
* Setters to modify GithubEntitties

Pull-Request: #1760
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/mongodb: minor fixes

This PR apply some fixes to the MongoDB library:
* avoids crash when `Collection::find` returns only one element
* fixes the SegFault workaround in `Collection::find`

Pull-Request: #1759
Reviewed-by: Jean Privat <jean@pryen.org>

contrib/wiringPi: move pseudo-toplevel methods from Object

Signed-off-by: Jean Privat <jean@pryen.org>

src: move pseudo-toplevel methods from Object

Signed-off-by: Jean Privat <jean@pryen.org>

lib/egl: move `report_egl_error` from Object to `EGLDisplay`

Signed-off-by: Jean Privat <jean@pryen.org>

lib: move pseudo-toplevel methods from Object

Signed-off-by: Jean Privat <jean@pryen.org>

lib/github: introduce `Issue::is_pull_request` method

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: add setters to all github api entities and events

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: better type safety on json accesses

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: remove `to_s` on nullable warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/mongodb: fix segfault in `Collection::find` method

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/mongodb: collections do not call next when returning only one element

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: metrics: add some Mendel metrics for classes

Pull-Request: #1757
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: metrics: not a number fix

Skip `nan` values in metrics so the sum and std_div still have sense.

Also change `Metric::collect` to accept any kind of `Collection`.

Pull-Request: #1755
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Set HashMapIterator as a private class.

Other specific iterators are private. So this PR uniformize with HashMapIterator.

@privat you should check this.

Pull-Request: #1753
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: FlatText is a private class

This PR does two things:
* Define `FlatText` as a private class. Since every clients were using an intrude import, their code do not change.
* Remove nullable warning in text::flat

Pull-Request: #1752
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/graphs: introduce PageRank computation on digraphs

Implement famous Google's `PageRank` algorithm for directed graphs.

Ping @ablondin

Pull-Request: #1706
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

metrics: add some Mendel metrics for classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: make Metric interface accept any kind of collection

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: skip `not a number` values when computinh the sum and std_dev

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core/collection: set HashMapIterator as private

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core/text: remove call on nullable warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graphs: introduce PageRank computation on digraphs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graphs: introduce `show_dot` for debugging digraphs.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/graphs: clean digraph.nit whitespaces

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core/text: make FlatText private

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: mnit: Fix error on refined virtual types

Simple fix for the "Redef Error" in mnit clients: do not redef virtual types, instead assert the types in the users methods.

Pull-Request: #1751
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Rationalize the usages of tools on packages

In order to have autonomous packages, they should be coherent and work as is without specific user hack.

The remaining issues are:

* The absence of required source files (eg. because generated by nitcc or nitserial) that make tools unusable or reports error. The proposed solution is a new optional Makefile goal `pre-build` that has to generate the missing files. close #1720

* The requirement of arbitrary `-I` that make the tools (eg the vim plugin) unusable on the projects without prior knowledge.
The only project that use a rogue -I is `online_editor` that require things from nitc.
The proposed solution is to virtually move src to contrib/nitc as a symbolic link.
New project could then choose to import nitc (or parts of it) without being in src.

* The presence of broken nit files. Currently, only 3 broken files remain: `contrib/pep8analysis/src/parser/parser_abs.nit`, `contrib/nitc/parser/parser_abs.nit` and `contrib/nitcc/src/nitcc_lexer0.nit`. These are still open issues and will be dealt latter.

Pull-Request: #1749
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

online_ide: imports nitc (symlinked from contrib)

Signed-off-by: Jean Privat <jean@pryen.org>

contrib: add `nitc` as a symbolic link to `src` so projects can import nitc

Signed-off-by: Jean Privat <jean@pryen.org>

tinks: nitserial requires a valid model, so with a generated drawing.nit

Signed-off-by: Jean Privat <jean@pryen.org>

tests: do not expect the "Redef Error" on mnit clients

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mnit: do not redef virtual types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: kill ModulePath

This means that MModule objects are constructed once they are identified

Signed-off-by: Jean Privat <jean@pryen.org>

loader: rename `get_group` to `identify_group`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Multi iterators

Introduce multi-iterators in `for`.

A single `for` can now iterates over more than one collection at once. An iterator is used for each collection and the iteration is finished once the shortest iterator is finished.

~~~nit
for i in [10, 20, 30], j in [1..10] do print i+j # outputs 11 22 33
~~~

As expected by POLA, multi-iterators are also naturally usable on maps and comprehension arrays

~~~nit
var m = new HashMap[Int,String]
m[1] = "one"
m[2] = "two"
for k, v in m, i in [1..10] do print "{k}:{v}:{i}"
# outputs 1:one:1 2:two:2

var a = [for i in [10, 20, 30], j in [1..10] do i + j]
print a # outputs [11, 22, 33]
~~~

Close #1735

Pull-Request: #1748
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

transform: reactivate shortcut_range by not transforming it prematurely

Signed-off-by: Jean Privat <jean@pryen.org>

Makefiles: add pre-build

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Detach CallSite from the AST

A minor cleanup in the model that reduces the coupling of the model and the AST.

Pull-Request: #1747
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: More robustness in keep going

A pass on the various modules of `nitc` to make them more robust when `keep_going` is activated.

The main changes are the introductions of the flags `is_broken` in the root classes ANode and MEntity. This flags simplify the clients code to check the validity of entities before working with them.

Pull-Request: #1746
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

pretty: handle multi-iterators

Signed-off-by: Jean Privat <jean@pryen.org>