compiler: do not inline lazy getters

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test_comprehension.nit

Signed-off-by: Jean Privat <jean@pryen.org>

transform: transform array comprehension in simpler statements

Signed-off-by: Jean Privat <jean@pryen.org>

transform: introduce `full_transform_visitor` for complex transformations

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: handle direct compilation of comprehension arrays

Because of `transform`, it is only used if compiled
with `--disable-phase transform`

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: implements array comprehensions

Signed-off-by: Jean Privat <jean@pryen.org>

typing: mark expressions that belong to an array comprehension

Signed-off-by: Jean Privat <jean@pryen.org>

typing: add `AArrayExpr::element_mtype`

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate with comprehension arrays

Signed-off-by: Jean Privat <jean@pryen.org>

grammar: extends array_item to accept array extension elements

Signed-off-by: Jean Privat <jean@pryen.org>

grammar: new production `array_items` to replace arg_list for literal arrays

Signed-off-by: Jean Privat <jean@pryen.org>

lib/github: introduces object oriented interface for GithubAPI

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: introduces GithubCurl::get_and_parse to handle API error without aborting

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

neo_doxygen: Unlink `name` and `full_name`.

Also, remove `full_name` from the graph.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Merge: Highlight line ids

Add a way to control the generation of HTML ids in `hightlight` so it can be disabled in nitdoc.
Multiple id `L1` in a same HTML document makes it non conform.

Pull-Request: #1034
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Name entities

As suggested in #986 and #1030, promote `full_name` and `c_name` in MEntity in model so client of the model will have some homogenous ways to names entities.

Pull-Request: #1032
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Check constructor name conflicts

Closes #973

Pull-Request: #1040
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: neo_doxygen: Clean the code a little bit

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1038
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: brainfuck: Remove warnings.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1037
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: opportunity: Fix some warnings

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1036
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Each line

Improve IStream and Path for easiness of reading.

First, add new iterator `each_line` that lazily `read_line` of a stream.

Second, wrap some reading methods on `Path` so that the input of data from files is really easy.

~~~nit
var content = "/etc/issue".to_path.read_all
print content
~~~

and

~~~nit
for l in "/etc/passwd".to_path.each_line do
   var fields = l.split(":")
   print "name={fields[0]} uid={fields[2]}"
end
~~~

TODO: better error management

Pull-Request: #1033
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fast docunits

nitunit use the trick of #947 to optimize the execution of simple docunits.

There is now two execution modes: the *single* one and the *simple* one.

*simple* is for docunits that contains only some statements (without importation, classes or functions)
All *simple* docunits of a single module are regrouped into the same program with a switch that calls the correct docunit.

*single* is for docunits that contains importations, classes, functions, etc.
It the the old mode, that compiles and executes each docunit individually.

In case of compilation error with the *simple* mode, the *single* mode is used as a fallback.
Therefore the precise compilation error is assigned to the correct docunit and the other docunits can still be tested.

For numbers, I used `string` that contains 65 simple docunits:

* before: 1m16.564s
* after: 0m1.664s (so a gain of 97.80%)

Close #947

Pull-Request: #1029
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: contrib: download files from RSS

Based on #831, ignore the first 4 commits.

### From the README

This tool downloads files pointed by RSS feeds.

It fetches the content of the RSS feed, the it filters it according to custom patterns and to existing folders on disk. Selected elements will be downloaded to the given folder.

This tool must be compiled with its configuration in order to work. See the `sample_config.nit` in `src/`.

#### Features and TODO

- [x] Download & parse RSS file
- [x] Generate regular expressions from local folders
- [x] Auto download files matching regular expressions
- [x] Memory to prevent double downloads
- [ ] Blacklist
- [ ] Use a cleaner RSS parser
- [ ] Tolerate more feed formats

Pull-Request: #1014
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

model: promote `c_name` from abstract-compiler to model

Signed-off-by: Jean Privat <jean@pryen.org>

model: add `full_name` to entities that miss one

Signed-off-by: Jean Privat <jean@pryen.org>

model: promote `full_name` to MEntity

Signed-off-by: Jean Privat <jean@pryen.org>

lib/opts: do not crash for empty arguments

Signed-off-by: Jean Privat <jean@pryen.org>

man: add --no-line-id to nitlight.md

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: add option --no-line-id

Signed-off-by: Jean Privat <jean@pryen.org>

nitodoc: stop generating id for lines in examples

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add HighlightVisitor::line_id_prefix to control ids of line spans

Signed-off-by: Jean Privat <jean@pryen.org>

tests: error_defs_init.nit for a combinasion of 7*7 cases

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: check property name conflicts for constructors and factories

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: check_redef_property_visibility for root_init

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: add examples for the new read methods in Path

Signed-off-by: Jean Privat <jean@pryen.org>

neo_doxygen: Make an instruction less verbose.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Do not manually flush the output.

The standard library now takes care of this for us.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

lib/file: protect from double close

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test_file_read2.nit

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: add read methods in Path

Signed-off-by: Jean Privat <jean@pryen.org>

lib/stream: add IStream::each_line

Signed-off-by: Jean Privat <jean@pryen.org>

neo_doxygen: Manage top-level namespaces in `doxml`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Move the processing of Doxygen’s names in `doxml`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Remove references to `nitg`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo: Remove `full_name`.

This is not an attribute in the Nit model.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

brainfuck: Remove warnings.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

opportunity: Add missing documentation.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

opportunity: Respect the basic HTML structure.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitunit: enable the execution of simple docunit in a single program

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: neo_doxygen: Support namespaces’ members

In some languages, like Python, the immediate parent of a member is not necessary a class. So, for cases when namespace as direct members, add an implicit class named `(self)` to list them in a Nit model.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #985
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Improve construction of runtime structures

The nitvm does not use anymore model_utils.

The construction of runtime structures has changed and is more efficient than before.
Perfs: the nitvm is a little slower than the naive_interpreter instead of up to 2 times slower before this PR on some benchmarks.

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

Pull-Request: #1023
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitester on Turing: fix to use nitc + faster and lighter execution

#1000 broke Turing compatibility, this fix it.

Also, do not compile nit and nitvm 30 times in parallel, do it once an copy it 30 times.

Pull-Request: #1018
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Doc down

Please disregard commits before 0a57951, they belong to #680.

This pull request remove the module `src/markdown` and use the newly introduced `markdown` parser instead.

## Major changes considering Nit comments

### Synopsys line

Synopsys line must be followed by a blank line for multilines comments according to the Markdown paragraph syntax.

Example before:

    # foo doc
    fun foo do end

    # bar doc
    # more doc or doc unit
    fun bar do end

After:

    # foo doc
    fun foo do end

    # bar doc
    #
    # more doc or doc unit
    fun bar do end

This is boring, I know, but it allows Nit comment to be properly parsed by most of the markdown parsers.
Also, most of multilne comments are already corrects.

### Code blocks

Code blocks (and doc unit) are now parsed following the correct rule: every line starting with at least 4 spaces is a code block (if not in a nested list).

Example before:

    #    assert true # was not recognized by nitdoc and nitunit
    fun foo do end

After:

    #    assert true # works in nitunit and nitdoc
    fun foo do end

Commit 0b275eb performs those changes on lib/standard as example.

## What's new?

### Full markdown syntax available

All the original markdown syntax is now recognized by the parser (link definitions, blockquotes, nested elements, escape...).
I'm working to add a Github flavoured mode and maby a custom mode for Nitdoc.

### Nitdoc annotations

Some annotations are now recognized in the comments. They do nothing but allow nitdoc to add some style.

Annotation list:

* DEPRECATED
* SEE
* REQUIRE, ENSURE
* FIXME, TODO, NOTE

Syntax:

    # Some doc
    #
    # DEPRECATED: use `bar` instead.
    fun foo do end

## TODO

Some tests maybe broken in lib/ and src/ because of the synopsys change, I will update this PR with fixes.

We now have everything we need to work on a Nit flavoured markdown allowing to control nitdoc generation. This is the next step.

Pull-Request: #683
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Fix lazy attribute in semi-global compiler

Solve two bugs related to inlining in semi-global that was identified with the lazy attributes.

The first one is the call of a inlinable lazy attribute on a nullable object that caused an assert fail in the compiler.

The second is the usage of label in inlined code that could conflict.

This is needed to integrate #683 and #1011

Pull-Request: #1021
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: separate extraction and execution of docunits

Signed-off-by: Jean Privat <jean@pryen.org>

neo_doxygen: Add a Python test for namespaces’ members.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Set the location of implicit classes.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add a missing getter in `Entity`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Include namespaces’ members.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Never commit generated makefiles.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Add information about requirements to generate tests.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Use `ProjectGraph.project_name` in `RootNamespace`.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

neo_doxygen: Support more section kinds.

Also document what is not supported yet.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

nitvm: Improve construction of runtime structures

Signed-off-by: Julien Pagès <julien.projet@gmail.com>

tests: add base_attr_lazy2.nit

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: use correct recvtype in `AAttrPropdef::evaluate_expr`

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/nitester: sort tests per engine first

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/nitester: tweak verbose level of some messages

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: skip long interpreter tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/nitester: in verbose mode, each worker prints its completed task

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: fix nitg-g blacklist of nitpretty

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitester & wrapper: compile nit and nitvm on the controller, and use nitc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

compiler: associate escape_marks to to frame (because of inlining)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge branch 'master' into rss_download

contrib/rss_download: add a sample configuration

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: intro rss_downloader

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: More macosx compat things

Are nedded to pass more tests on jenkins

http://gresil.org/jenkins/job/CI%20Github%20OSX/

Pull-Request: #1017
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: add changelog.sh to help the redactor of niteration

Pull-Request: #1015
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fix unread warnings

For the unread local var warnings.

Pull-Request: #1013
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Fix misc warnings

For useless empty init and null comparisons

Pull-Request: #1012
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitdoc: Display the attributes

In many languages, attributes are part of the API like methods. Therefore, NitDoc should display them when needed.

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #1002
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Detect variance constraints

add detection of definition-site variance constraints of formal parameters in nitmetrics.

Pull-Request: #999
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fix chomp and read_lines

Implements the POLA behavior of reading lines.

I might have to wait that #932 is merged before integrating this one.

Close #974 and close #975 (see them for details)

Pull-Request: #978
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: New path API

As previously discussed with @privat and @R4PaSs, this is a propostion for a new file access API.
It provides new features:

* All file/path related services are to be stored in `Path` instead of `String`. The goal is to store there all the methods previously beginning with `path_` and others like `rmdir` and `files`.  The calls to the new API take the form of `"/tmp/somefile.txt".to_path.delete`. You will notice that this PR do not yet move all those services but only a subset as an example, this will be completed if it is appreciated.
* Easy file opening (for read or write) with: `"/tmp/somefile.txt".to_path.open_ro.read_all`
* `Path` stores the concept of full path and filename. Calls to `/etc/somedir/".to_path.files` returns an array of `FilePath` which can be `to_s`ed to get the full path and calling `filename` returns only the file name.
* The native `stat` structure is now renamed to `NativeFileStat` and protected within a Nity finalizable `FileStat`. The new `FileStat` could be implemented differently by platform.

Pull-Request: #831
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge ... 'origin/master' to resolve conflicts with #932 (stream)

Conflicts:
lib/standard/stream.nit
lib/standard/string.nit
src/nitls.nit
tests/sav/test_exec.res

nit: remove unused `PrimitiveNativeFile::file_stat`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge branch 'master' into path

unitrun.sh: do not crash when no time.out file

Signed-off-by: Jean Privat <jean@pryen.org>

unitrun.sh: detect nonworking date command

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: use less instad of pager that is a Debianism

Signed-off-by: Jean Privat <jean@pryen.org>

compiler: add CFLAGS -Wno-attributes to quiet clang on boehm

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Fix useless type warnings

And some more... This time for useless type declarations.

Pull-Request: #1010
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Fix visibility warnings

On continue dans la série... cette fois c'est pour la disparition des derniers warnings sur la visibilité privée.

Pull-Request: #1009
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib fix warnings (ai)

Some more fixes on warnings.

This time, this is the `ai` project that ends up cleaned of all warnings!

Pull-Request: #1007
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nitcorn: parameterized uris

Introduces parameterized uri handling like `/users/:id`.

## Route matching

Route can match variables expression.

~~~
class DummyAction super Action end
var action = new DummyAction
var route = new Route("/users/:id", action)
assert not route.match("/users")
assert route.match("/users/1234")
assert route.match("/users/") # empty id
~~~

Standard comportement still unchanged.

~~~
route = new Route("/users", action)
assert route.match("/users")
assert route.match("/users/1234")
assert not route.match("/issues/1234")
~~~

## Route priority

Priority depends on the order the routes where added to the `Routes` dispatcher.

~~~
var host = new VirtualHost("")
var routes = new Routes(host)

routes.add new Route("/:a/:b/:c", action)
routes.add new Route("/users/:id", action)
routes.add new Route("/:foo", action)

assert routes["/a/b/c"].path == "/:a/:b/:c"
assert routes["/a/b/c/d"].path == "/:a/:b/:c"
assert routes["/users/1234/foo"].path == "/:a/:b/:c"

assert routes["/users/"].path == "/users/:id"
assert routes["users/"].path == "/users/:id"
assert routes["/users/1234"].path == "/users/:id"

assert routes["/users"].path == "/:foo"
assert routes["/"].path == "/:foo"
assert routes[""].path == "/:foo"
~~~

## Accessing uri parameter from Action

Parameters can be accessed by parsing the uri.

~~~
route = new Route("/users/:id", action)
var params = route.parse_params("/users/1234")
assert params.has_key("id")
assert not params.has_key("foo")
assert params["id"] == "1234"
~~~

Or from the `HttpRequest`

~~~
route = new Route("/users/:id", action)
var req = new HttpRequest
req.uri_params = route.parse_params("/users/1234")
assert req.params == ["id"]
assert req.param("id") == "1234"
assert req.param("foo") == null
~~~

Note that in most cases, all this work is automatically done by the nitcorn engine.
Parameters can then be access through the `HttpRequest` given to `Action::answer`.

@xymus et @R4PaSs ça peut vous intéresser.

Pull-Request: #1006
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/time: introduces ISODate

I will soon need this.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1005
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Raise nitc from the dead

Raise dead on `nitc`.
It's super effective...

Pull-Request: #1000
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: model: register the implicitly injected Bool class in its hierarchy.

The model can inject a primitive a Bool class when required.
It was a hack which was initially introduced by the interpreter that need to manipulate boolean values even if they where not present in the original program.
However, the class was not fully initialized. So fix that.

Maybe a future PR will try to remove this hack (it is not the model's job to inject classes)

Pull-Request: #989
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Github API renaming and group creation

Renamed `github_api` module into `github_curl` (needed the namespace for further work)

Also created the group `github` and added `github_curl` to it.

Finally, added a small nitunit.

Pull-Request: #970
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Better nitester on Turing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Pull-Request: #910
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>