neo_doxygen: Document implicit classes.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Document modules.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Merge: lib/json: introduces collection management in JsonStore.

Also improve the documentation.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1055
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: GitHub API: handles branches and commits

Github API learns to retrieve commits and branches.

Pull-Request: #1054
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: More documentation in src

A lot a documentation, especially in the AST

Pull-Request: #1050
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitdoc: Always escape

Finally fix #891.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1053
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitdoc: Always use `mdoc_or_fallback`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1052
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Activate VM

Add option `--vm` to `nit` that allows users (and jenkins) to run the VM from bin/

@jpages c'est pour toi!

Pull-Request: #1051
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Locally disable warnings

The new annotation `no_warning`, used in module, will disable specific (or all) warnings in the module.

~~~
module lexer is no_warning("missing-doc")
module parser is no_warning("missing-doc", "unread-variable")
module toto is no_warning("all")
~~~

Note: Now there is less noise, a future PR (currently in writing) will remove a lot of warnings in the `src/` directory.

Close #774

Pull-Request: #1048
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: neo_doxygen: Add some pythonic stuff

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1043
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: handles commits

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: handles branches

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

src: finish documenting some module

Signed-off-by: Jean Privat <jean@pryen.org>

parser: document all properties of `parser_nodes`

Signed-off-by: Jean Privat <jean@pryen.org>

parser: add some factorization classes in `parser_nodes`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/json: introduces collection management in JsonStore.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fixes GithubAPI::get documentation

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: Always escape names.

Fix #891.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape modifiers.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape links’ attributes.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Escape page title.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Factorize `nitdoc_name`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Always use `mdoc_or_fallback`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Include a tip for Python in the `README`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add an option to remove the `def` keyword of Python.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

tests: add nitvm to testall.sh

Signed-off-by: Jean Privat <jean@pryen.org>

man: add `--vm` to `nit.md`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: use `nit --vm` (thus available in bin/) for the engine `nitvm`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update nitvm.skip file

Signed-off-by: Jean Privat <jean@pryen.org>

nit: new experimental `--vm` option to run the vm

Signed-off-by: Jean Privat <jean@pryen.org>

vm: rename `run_naive_interpreter` as `run_virtual_machine`.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: tests: `grep` in skip os is now silent

Pull-Request: #1046
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: neo4j: Remove the old `jsonable` library.

That library is useless since PR #907.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1045
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Arrays comprehension

Implements and closes #896

Was not as hard as expected, not bad for less than 12 hours of thinking, coding and sleeping.

Pull-Request: #1042
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

parser: add `no_warning` in generated files to disable some warnings

Signed-off-by: Jean Privat <jean@pryen.org>

frontend: new phase and annotation `no_warning` to disable warning per module

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: enable blacklisting of warnings by source-file.

Signed-off-by: Jean Privat <jean@pryen.org>

parser: promote `collect_X` from `parser_util`

Signed-off-by: Jean Privat <jean@pryen.org>

parser_nodes: promote `get_annotation` and `AAnnotation::name` from `annotation`

Signed-off-by: Jean Privat <jean@pryen.org>

literal: promote `as_X` from annotation

Signed-off-by: Jean Privat <jean@pryen.org>

tests: `grep` in skip os is now silent

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Nitcorn: fixes crash on bufferized inputs

So... I'm not proud of this patch but it works so better this than nothing.

Partially fixes #1027 waiting for better.

Ping
@jpcaissy
@xymus

Pull-Request: #1031
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/json: introduces json store a simple json data storage system.

Store and load json data.

This simple system can be used to store and retrieve json data.

## Usage

Create a new JsonStore or reuse an existing one.
~~~
var store = new JsonStore("store_dir")
~~~

JsonStore can store json of type JsonObject and JsonArray.
~~~
var color = "red"
var obj = new JsonObject
obj["color"] = name
obj["code"] = "FF0000"
~~~

Data are stored under a key.
~~~
var key = "colors/{name}"
~~~

Store the object.
~~~
store.store_object(key, obj)
assert store.has_key(key)
~~~

Load the object.
~~~
assert store.has_key(key)
var red = store.load_object(key)
assert res["name"] == name
~~~

Clear all stored data.
~~~
store.clear
~~~

*Copied from module documentation.*

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1019
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitdoc: Fix IDs

Fix Nitdoc’s IDs to make them more robust and less redundant.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1011
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: GitHub api

Première PR d'une pas si longue série.

Juste histoire de montrer un aperçu du fonctionnement.

Please review only the last two commits.

Pull-Request: #1016
Reviewed-by: Jean Privat <jean@pryen.org>

nitdoc: Avoid HTML ID collisions.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Shorten redundant IDs.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Remove the project’s name from the groups’ IDs.

A project is only a wrapper on a group.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Mangle names in IDs.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Document constraints on `nitdoc_id`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Use a fully qualified ID for classes.

Avoid conflict when two modules define two different classes with the
same name. This also permits to support classes generated implicitly by
`neo_doxygen`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Group non-Nit entities at the bottom of `doc_model.nit`.

Follow the division indicated by the comments in this file.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitdoc: Fix a minor documentation mistake.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

string: Fix `to_cmangle` to never end with an underscore.

This permits to use two underscores as a separator between two mangled
names (like Nitdoc does).

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

string: Fix `to_cmangle` to always produce valid C identifiers.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/json: introduces json store a simple json data storage system.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Do not inline lazy getter

nitc-sg's aggressive inlining caused a stack overflow during the compilation of recursive lazy attributes

Needed to pass #1011

Pull-Request: #1044

Merge: neo: Remove `full_name`.

This is not an attribute in the Nit model.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1030
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

neo4j: Remove the old `jsonable` library.

That library is useless since PR #907.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/nitcorn: handles bufferized request content

Partially fixes #1027

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: allows access to POST raw body

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add base_lazy3.nit

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: do not inline lazy getters

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test_comprehension.nit

Signed-off-by: Jean Privat <jean@pryen.org>

transform: transform array comprehension in simpler statements

Signed-off-by: Jean Privat <jean@pryen.org>

transform: introduce `full_transform_visitor` for complex transformations

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: handle direct compilation of comprehension arrays

Because of `transform`, it is only used if compiled
with `--disable-phase transform`

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: implements array comprehensions

Signed-off-by: Jean Privat <jean@pryen.org>

typing: mark expressions that belong to an array comprehension

Signed-off-by: Jean Privat <jean@pryen.org>

typing: add `AArrayExpr::element_mtype`

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate with comprehension arrays

Signed-off-by: Jean Privat <jean@pryen.org>

grammar: extends array_item to accept array extension elements

Signed-off-by: Jean Privat <jean@pryen.org>

grammar: new production `array_items` to replace arg_list for literal arrays

Signed-off-by: Jean Privat <jean@pryen.org>

lib/github: introduces object oriented interface for GithubAPI

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: introduces GithubCurl::get_and_parse to handle API error without aborting

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

neo_doxygen: Unlink `name` and `full_name`.

Also, remove `full_name` from the graph.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Merge: Highlight line ids

Add a way to control the generation of HTML ids in `hightlight` so it can be disabled in nitdoc.
Multiple id `L1` in a same HTML document makes it non conform.

Pull-Request: #1034
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Name entities

As suggested in #986 and #1030, promote `full_name` and `c_name` in MEntity in model so client of the model will have some homogenous ways to names entities.

Pull-Request: #1032
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Check constructor name conflicts

Closes #973

Pull-Request: #1040
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: neo_doxygen: Clean the code a little bit

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1038
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: brainfuck: Remove warnings.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1037
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: opportunity: Fix some warnings

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1036
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Each line

Improve IStream and Path for easiness of reading.

First, add new iterator `each_line` that lazily `read_line` of a stream.

Second, wrap some reading methods on `Path` so that the input of data from files is really easy.

~~~nit
var content = "/etc/issue".to_path.read_all
print content
~~~

and

~~~nit
for l in "/etc/passwd".to_path.each_line do
   var fields = l.split(":")
   print "name={fields[0]} uid={fields[2]}"
end
~~~

TODO: better error management

Pull-Request: #1033
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fast docunits

nitunit use the trick of #947 to optimize the execution of simple docunits.

There is now two execution modes: the *single* one and the *simple* one.

*simple* is for docunits that contains only some statements (without importation, classes or functions)
All *simple* docunits of a single module are regrouped into the same program with a switch that calls the correct docunit.

*single* is for docunits that contains importations, classes, functions, etc.
It the the old mode, that compiles and executes each docunit individually.

In case of compilation error with the *simple* mode, the *single* mode is used as a fallback.
Therefore the precise compilation error is assigned to the correct docunit and the other docunits can still be tested.

For numbers, I used `string` that contains 65 simple docunits:

* before: 1m16.564s
* after: 0m1.664s (so a gain of 97.80%)

Close #947

Pull-Request: #1029
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: contrib: download files from RSS

Based on #831, ignore the first 4 commits.

### From the README

This tool downloads files pointed by RSS feeds.

It fetches the content of the RSS feed, the it filters it according to custom patterns and to existing folders on disk. Selected elements will be downloaded to the given folder.

This tool must be compiled with its configuration in order to work. See the `sample_config.nit` in `src/`.

#### Features and TODO

- [x] Download & parse RSS file
- [x] Generate regular expressions from local folders
- [x] Auto download files matching regular expressions
- [x] Memory to prevent double downloads
- [ ] Blacklist
- [ ] Use a cleaner RSS parser
- [ ] Tolerate more feed formats

Pull-Request: #1014
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

model: promote `c_name` from abstract-compiler to model

Signed-off-by: Jean Privat <jean@pryen.org>

model: add `full_name` to entities that miss one

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote `full_name` to MEntity

Signed-off-by: Jean Privat <jean@pryen.org>

lib/opts: do not crash for empty arguments

Signed-off-by: Jean Privat <jean@pryen.org>

man: add --no-line-id to nitlight.md

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: add option --no-line-id

Signed-off-by: Jean Privat <jean@pryen.org>

nitodoc: stop generating id for lines in examples

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add HighlightVisitor::line_id_prefix to control ids of line spans

Signed-off-by: Jean Privat <jean@pryen.org>

tests: error_defs_init.nit for a combinasion of 7*7 cases

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: check property name conflicts for constructors and factories

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: check_redef_property_visibility for root_init

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: add examples for the new read methods in Path

Signed-off-by: Jean Privat <jean@pryen.org>

neo_doxygen: Make an instruction less verbose.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Do not manually flush the output.

The standard library now takes care of this for us.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/file: protect from double close

Signed-off-by: Jean Privat <jean@pryen.org>