Merge: benitlux: produce better reports

This PR adds customizable width to the graph generated by the benitlux report tool and displays short lived beer batches. Previously, some beers could not appear if they lasted less than a week on the menu.

Pull-Request: #1786
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Update readme

Just a refresh on the README content as it is what is shown in github

Pull-Request: #1785
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Opportunity: intro ∇ ratio

Add the ∇ ratio to Opportunity with a customizable multiplier. It assigns weight to the choices of participants so that someone who select all possible answers puts less weight on each answer, and someone who choses a single answer puts her full weight on it.

It can be used to count the number of pizzas to order (with a multiplier of 0.4) and to give more importances to the available times of busy people when scheduling a meeting.

Pull-Request: #1783
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/benitlux: select the width of the report with an argument

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/benitlux: report shows beers available between sample days

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro Collection::has_any

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Less null warnings in src/

Some small warning reductions while wandering in the source code of src/

Pull-Request: #1782
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: More lib/html optimizations

Lazily create structures for attributes and children as most HTML nodes do not have them.

User time for `time ./nitlight ../lib -d out`:

* before 0m8.196s
* after 0m6.940s (-15%)

Pull-Request: #1780
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Deprecate the Changelog.

Signed-off-by: Jean Privat <jean@pryen.org>

update root README

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Generalize `MModule::is_fictive` to any entity

Extends #1776 (so first commits include them)

Pull-Request: #1781
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Cleanup and synchronize options in manpages

A tedious work to detect and fix undocumented options in the manpages of tools.
This also synchronizse the description of `--help` and the text in manpages (when there is a diversion, the best one if often selected).

Cherry on the cake: a new script `check_manpage` can automatically check that new options of tools are documented in the man. Close #1772

Pull-Request: #1778
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Introduce model_visitor

As requested, this is a basic visitor framework on models.
Services names are inspired from those in the AST visitor.

Fell free to comment the API or suggest ideas.

Pull-Request: #1776
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

modelviz: make the LinexComparator more robust by getting the model from a non-nullable object

Signed-off-by: Jean Privat <jean@pryen.org>

model_viz: handle groups without filepaths.

Signed-off-by: Jean Privat <jean@pryen.org>

model: hint the semantize phases that `exit` does not return

Signed-off-by: Jean Privat <jean@pryen.org>

niti: protect some NPE errors

Signed-off-by: Jean Privat <jean@pryen.org>

global_compiler: remove a useless local variable

Signed-off-by: Jean Privat <jean@pryen.org>

src: remove some `call on nullable` warning with a non-null local variable

Signed-off-by: Jean Privat <jean@pryen.org>

opportunity: intro pizza ratio

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

oppurtunity: focus on #new_name

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

opportunity: count entries in JavaScript on load

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: remove some unwanted files

Pull-Request: #1779
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Fix `-e` and `-n` on nit

These options where broken, and nobody complained.
Now they works again.

Pull-Request: #1777
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

model_visitor: skip fictive entities by default

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: special lazy attribute is tagged fictive

Signed-off-by: Jean Privat <jean@pryen.org>

model: move-up `is_fictive` from MModule to MEntity

Signed-off-by: Jean Privat <jean@pryen.org>

tests: skip test_model_visitor on nitc --global

Signed-off-by: Jean Privat <jean@pryen.org>

src/nituml: fix `Model::tpl_*` since it is now a MEntity

Signed-off-by: Jean Privat <jean@pryen.org>

src: add test_model_visitor

Signed-off-by: Jean Privat <jean@pryen.org>

model_visitor: can filter on visibility

Signed-off-by: Jean Privat <jean@pryen.org>

model: introduce `model_visitor` as a basic model visiting framework.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/test_toolcontext_args2.res with new descriptions of options

Signed-off-by: Jean Privat <jean@pryen.org>

nitdoc: cleanup and synchronize nitdoc options from #1771

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: rename option `--query` to `--command`

`-q` conflicts with `--quiet` from toolcontext.
Moreover, the documentation talks about commands, not queries,
so this unify the vocabulary.

Signed-off-by: Jean Privat <jean@pryen.org>

jenkins: add a script to check options in manpages

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: make `children` lazy

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: make `attrs`, `classes` and `css_props` lazy.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/serialization: fix deserialization constructor calling the default init

Restore previous behavior of the deserialization init which should not call the default init. This caused problems on default inits that accessed not yet deserialized attributes.

This also fixes WBTW troubles with game saving and multiplayer.

Pull-Request: #1766
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpick: hide `--vim-autocomplete` from the help

Signed-off-by: Jean Privat <jean@pryen.org>

other tools: cleanup and synchronize options with the manpage

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: cleanup and synchronize options with the manpage

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: add the missing options `--no-attributes` and `--private`

Signed-off-by: Jean Privat <jean@pryen.org>

man/nitserial.md: add mission option `--depth`

Signed-off-by: Jean Privat <jean@pryen.org>

man/nitpretty.md: add missing options `-line-width` and `--no-inline`

Signed-off-by: Jean Privat <jean@pryen.org>

man/nitpick.md: add missing option `--vim-autocomplete`

Signed-off-by: Jean Privat <jean@pryen.org>

man/nitmetrics.md: add missing `--detect-covariance`

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: rename `--path` to `--path-only` to avoid conflict with `-I`

Signed-off-by: Jean Privat <jean@pryen.org>

man/nitc.md: add missing options

Signed-off-by: Jean Privat <jean@pryen.org>

rm lib/core/collection/m.dot that was wrongly commited in 39fcf4a75aae

Signed-off-by: Jean Privat <jean@pryen.org>

remove .hgignore that is deprecated since eons

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/core: Optimized `html_escape` for FlatText variants

As @privat requested, a byte-oriented optimized version of `FlatText` for `FlatString` as it is the most common case, like `escape_to_c`, it works at the byte level to accelerate fetching of characters.

On a short test program

~~~nit
var s = ""
for i in [0 .. 2000[ do s = "&lt;STRING&#47;&rt;".html_escape
~~~

Valgrind reports an old runtime of 18.208 MIr with a 8856 Ir/call to `html_escape`; the new runtime is 3.093 MIr, which translates to a 1298 Ir/call.

Pull-Request: #1775
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/core: Added new `hexdigest` service on `Text`

Title says all, I needed this today to debug trailing zeroes in a produced string and I figured it could be PR'd

Pull-Request: #1774
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: loader: print error if bad files given to `scan_full` or `parse_full`

The last series (#1750 ) removed then silently.

A test is also added to avoid regression.

Pull-Request: #1773
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitdoc: opts --no-render and --test

Juste cleaning some options.

Pull-Request: #1771
Reviewed-by: Jean Privat <jean@pryen.org>

Revert "tests: update deserializations tests with nitce because fixed autoinit fix things"

This reverts commit 61d0c58a7bc53d6086e873fb4dd7d13cc985ca66.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test `-e` and `-n` for the nit interpreter

Signed-off-by: Jean Privat <jean@pryen.org>

lib/niti_runtime: update to reflect not-so-recent changes on eof and readline

Signed-off-by: Jean Privat <jean@pryen.org>

loader: add result of `load_rt_module` in the list of parsed modules

Signed-off-by: Jean Privat <jean@pryen.org>

loader: do not crash in `search_mmodule_by_name` if anode is null

Signed-off-by: Jean Privat <jean@pryen.org>

model: make `Model` a `MEntity` to enable the semi-composite design pattern.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core: Optimized `html_escape` for FlatText variants

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added new `hexdigest` service on `Text`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Optimize hash collection

Some optimization when dealing with empty hash-based collection

user time for nitc nitc.nit:

* before: 0m6.640s
* after: 0m6.344s (-4.5%)

Pull-Request: #1768
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

loader: print error if bad files given to `scan_full` or `parse_full`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib: Introduce Stanford CoreNLP wrapper

## Stanford Core NLP

Stanford CoreNLP provides a set of natural language analysis tools which can take
raw text input and give the base forms of words, their parts of speech, whether
they are names of companies, people, etc., normalize dates, times, and numeric
quantities, and mark up the structure of sentences in terms of phrases and word
dependencies, indicate which noun phrases refer to the same entities, indicate
sentiment, etc.

This wrapper needs the Stanford CoreNLP jars that run on Java 1.8+.

See http://nlp.stanford.edu/software/corenlp.shtml.

## Usage

~~~nit
var proc = new NLPProcessor("path/to/StanfordCoreNLP/jars")

var doc = proc.process("String to analyze")

for sentence in doc.sentences do
for token in sentence.tokens do
print "{token.lemma}: {token.pos}"
end
end
~~~

Pull-Request: #1754
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: parser: do not allocate a reduction table for each parser

This optimize multiple Parser allocation, for instance nitunit or nitdoc that need to deal with each nitunit in the documentation.

usertime for `./nitdoc ../lib/core/`:

* before: 0m2.184s
* after: 0m1.788s (-18.1%)

Pull-Request: #1770
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/html: implement the tag list as an hashset instead of a array.

This optimize clients of lib/html like highlight.

usertime for `./test_highlight ../lib/core/`:

* before: 0m2.416s
* after: 0m2.328s (-3.64%)

Pull-Request: #1769
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

hash_debug: monitor calls to `enlarge`

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: simplify `enlarge`

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: native array storage is no more nullable

Signed-off-by: Jean Privat <jean@pryen.org>

core::hash_collection: do not allocate the storage, wait for the first `store`.

Signed-off-by: Jean Privat <jean@pryen.org>

src/doc: move the testing option to its own doc_phase.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src/doc: introduce option --no-render in HTML phase.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: add package metadata and readme

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce nitnlp bin as a client example for lib/nlp.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce NLPDocument to NLPVector translation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce Vector Space Model with NLPVectors

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nlp: introduce StanfordNLP wrapper

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core::hash_collection: shortcut some methods on empty collections

Signed-off-by: Jean Privat <jean@pryen.org>

parser: do not allocate a reduction table for each parser

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: implement the tag list as an hashset instead of a array.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: contrib/opportunity: store local participant's name in a cookie

So we don't have to write our own name every single time we participate to an event.

Already deployed on xymus.net, you can test it here: http://xymus.net/opportunity/?meetup_id=5E8F7A00589D5F567FFB07EA09A8630A8A2BA048

Pull-Request: #1765
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Improve highlight

highlight and nitlight need love.

The series fix some long issues. The main change is the improvement of the method `HightlightVisitor::enter_visit` that does only highlight the given node instead of the whole file.

Moreover, two new flags can be used to indicate how to deal with the context around the node given to highlight.

Note: A lot more love is needed, but this should really improve the current status of these modules.

Pull-Request: #1763
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Kill pseudo toplevel methods

Move some methods from Object to the top-level (Sys) as they do not rely on `self` and are intended to be called from everywhere.

Beside documentation improvement, this should slightly reduce the size of tables as methods introduced in Object are inherited by all classes.

Pull-Request: #1758
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Loader refactor

A big refactorization of the loader

This include cleanup, renaming and documentation of the existing code.

The major change is the removal of `ModulePath` used to designate an identified module that is not yet loaded. This caused major issues since once the module was loaded, the MModule object has to be used instead.
Now, genuine `MModule` are used to also represent modules identified in the file system but not yet loaded.
This simplify the code of the loader, nitls and nitcatalog.

By the way, the option `-d` (and `-M`) of nitls that was broken by the previous changes in the loader is now fixed.

Another change is the introduction of `scan_full` that is a high-level method to be used by clients like nitls or nitcatalog that just need to identify packages, groups and modules in the filesystem without loading them.

By the way, nitcalatog works on directories of projects now. eg. `nitcatalog ../lib)

Note, because this PR introduces a lot of interrelated changes, It was hard to come up with nice commits. The alternative was to have a single big commit.

Pull-Request: #1750
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/opportunity: store local participant's name in a cookie

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: new program `test_highlight`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/ because of new loader

Signed-off-by: Jean Privat <jean@pryen.org>

loader: sort files in scanning to force determinism

Signed-off-by: Jean Privat <jean@pryen.org>

online_ide: update to the new API of the loader

Signed-off-by: Jean Privat <jean@pryen.org>

model/model_viz: use OrderedTree[MConcern]

Signed-off-by: Jean Privat <jean@pryen.org>

tests: improve nitls tests

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: use alpha_comparator

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: use OrderedTree[MConcern]

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: adapt to new loader API

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: use MConcen to generalize MGroup and MModule

Signed-off-by: Jean Privat <jean@pryen.org>

nitcatalog: adapt to new loader API

Signed-off-by: Jean Privat <jean@pryen.org>

loader: improve documentation

Signed-off-by: Jean Privat <jean@pryen.org>

loader: conditional_importations have only MModule now

Signed-off-by: Jean Privat <jean@pryen.org>