nitcc: to_minimal_dfa fix transition checks (and document it)

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: to_minimal_dfa accepts non-tagged DFA

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Opportunity: log errors to stderr and update message on failed event creation

Log all errors to stderr and remove prints on normal behavior.

Also update the error message, as the "meetup already exists" is now impossible because we dropped the uniqueness of name/date/location a while back.

This is related to #2186, where the file descriptor leak lead to bloated log files, a disk full and failed event creation by lack of space.

Pull-Request: #2187
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: libevent: force closing connections on error to fix file descriptors leak

The libevent wrapper did not always free and close connections on errors. These are expected errors, like when a file download is cancelled half-way through or when a push connection expires. This recently caused xymus.net to crash due to the exhaustion of file descriptors available to the process.

Pull-Request: #2186
Reviewed-by: Jean Privat <jean@pryen.org>

opportunity: print errors to stderr

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

opportunity: inline Meetup::to_s for prettier prints

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

opportunity: remove prints in normal behavior

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

opportunity: update error message on failure to create event

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: force_close the connection on error (don't wait on buffers)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: move close logic from C to Nit, and intro force_close

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Highlight: client can provide an linking policy

Links to entities can be defined by specializing `HighlightVisitor::hrefto`

Nitlight uses it to correctly provide better links (and avoid generating dead links)

Pull-Request: #2184
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update .res of nitlight and test_highlight

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: remove default links. Clients have to provide them

Signed-off-by: Jean Privat <jean@pryen.org>

test_highlight: use only local links

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: use contextual links

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add HighlightVisitor::hrefto to allow clients to tweak generated links

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitunit: improve generated XML

The XML format used by Jenkins is under-specified. So after loosely googling and a lot of trials and errors here is some improvement of the XML that enhance the user experience on Jenkins.

To experiment, I used a false job to see the results of nitunit for the test cases in tests (where a lot are expected to fails)

* the (ANSI-colored) log: http://gresil.org/jenkins/job/ZZnothing/195/console
* the results: http://gresil.org/jenkins/job/ZZnothing/195/testReport/

The main improvements are:

* messages are open by default (when you click on the + of a failed tests)
* add a time (not impressive but might be useful on real tests)
* all test cases are counted
* more readable names. Compare with http://gresil.org/jenkins/job/ZZnothing/189/testReport/ for instance

Pull-Request: #2182
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: makefiles: simplify them and assume that Nit tools are in the PATH

close #2105

Pull-Request: #2181
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: hightlight: improve infrastructure

infoboxes that popup where broken some time ago. This PR fix them and add two toggle for clients.

* `show_messages` to underline tokens and show error messages (or not)
* `show_infobox` to attach (or not) popupable infoboxes (those that where broken).

demo is available http://info.uqam.ca/~privat/tmp/nitlight/

Note: the UI is still terrible, but I have no better idea than these ugly popups to present complex contextual information.

Pull-Request: #2180
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: hightlight as a service

Some small adaptation to make the various tools less command-line dependent.

As a proof a concept, there is a simple nitlight&nitpick online tools.
Maybe a future nit online validador (nitltn?)

http://pratchett.info.uqam.ca:8081/

It seems that the machine is no more accessible from outside :/

Pull-Request: #2179
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update nitunit results

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: add --no-time to avoid time and improve reproductible results

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: move compilation errors to `<testcase>` as they are ignored in `<testsuite>`

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: use shorter names in the XML

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: use `message` attribute in XML to store the error message.

Doing so make it visible by defaukt.
The content is displayed as `stack trace`

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: add time information

Signed-off-by: Jean Privat <jean@pryen.org>

makefiles: simplify them and assume that Nit tools are in the PATH

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update light .res

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: highlight ids in a qualified id

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add two configuration, show_messages and show_infobox

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: always decorate children token

Signed-off-by: Jean Privat <jean@pryen.org>

pnacl: update because `compute_nit_dir` was renamed

Signed-off-by: Jean Privat <jean@pryen.org>

src: add examples/nitlight_as_a_service.nit

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: disable error messages if `opt_warn.value` is negative

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: make `nit_dir` more robust and client-definable

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: can hightlight a full source file (not a specific node)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/core: Renamed `Text::bytelen` to `Text::byte_length`

As one famous man once said: "Je vous ai compris!".

So, I understood that some of us (@xymus, @ppepos, @BlackMinou, etc.) did not like the `bytelen` name, since it was not that explicit.
Well, its days are numbered and it is replaced by the longer but more explicit `byte_length`.

Pull-Request: #2173
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Added contributing guidelines and link from readme

As discussed in #2133, contribution guidelines are hard to find.

This PR is an attempt to ease the process by giving newcomer friendly advices and some more insight on the contribution process for Nit.

@tonygaetani, do you think a document like this one would have been helpful for you ? Is there anything you would change to make it friendlier/clearer ?

Close #2133

Pull-Request: #2134
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Base64: Revamped base64_decode and added a strict mode

As talked with @ppepos, base64_decode now supports either `strict` or `non-strict`
modes when decoding a base64 string.

The `strict` mode is inspired from the `-i` option from the Unix `base64` command, which ignores non-compliant characters and non-padded `base64` strings.

This is more or less what we do now, `strict` being the default.

Since only one allocation and copy is done now, performance should be better.
There is however one pitfall of this implementation due to the `nullable Object` contract from `Collection[K]`, causing multiple boxings, some further optimization could be done on that front.

Pull-Request: #2086
Reviewed-by: Jean Privat <jean@pryen.org>

tests: Updated old tests sav

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: Improved base64 test for edge strict cases

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/base64: Revamped `decode_base64` for better performances and introduction of a strict mode

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Renamed `Text::bytelen` to `Text::byte_length`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added `is_whitespace` method to `Byte`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nit: Added link to `CONTRIBUTING.md` from the README

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nit: Added `CONTRIBUTING.md` file to repository

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitweb: add misc features

A little of everything in this PR:

* show all properties of a class: http://nitweb.moz-code.org/class/core::Array (see all props tab)
* show code into linearization card: http://nitweb.moz-code.org/class/core::Array (see linearization tab)
* show class definitions for modules: http://nitweb.moz-code.org/module/core::array

Pull-Request: #2172
Reviewed-by: Jean Privat <jean@pryen.org>

nitweb/angular: show mclass all properties

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: show module definitions

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: load mentity definitions for classes and properties

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add /api/defs/:entity to list definitions

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: show code in definition cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitweb: add `code` tab for modules, classdefs and propdefs.

Interesting demos:
* http://nitweb.moz-code.org/module/array_debug::array_debug
* http://nitweb.moz-code.org/classdef/core$Array
* http://nitweb.moz-code.org/propdef/core::abstract_text$Object$to_s

Only the two last commits are relevant since the rest belongs to #2170

Pull-Request: #2171
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: list linearized definitions

Display linearization lists:

* Mclass linearize all the class definitions
   * linearization of `core::Array` mclassdefs: http://nitweb.moz-code.org/class/core::Array

* MProperty linearize all the prop definitions
    * linearization of `core::Object::hash`: http://nitweb.moz-code.org/property/core::Object::hash

* MClassDef linearize to intro
    * linearization of `core::flat$Array`: http://nitweb.moz-code.org/classdef/core::flat$Array

* MPropdef linearize to intro
    * linearization of `core$Array$Object::SELF`: http://nitweb.moz-code.org/propdef/core$Array$Object::SELF

Pull-Request: #2170
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: catalog: only render the asked packages (not the imported ones)

Imported packages where always shown. Not a good behavior on most command-line cases.

Pull-Request: #2168
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: testsuites are explicit

nitunit do no more try to be clever and find test-suites.

Previously, `nitunit foo.nit` caused the execution of the test suite `test_foo.nit` if it exist.
This behavior had some drawbacks:

* the test suite must follow a strict naming convention `test_*`
* the test suite must be in the same directory
* there must a an associated module. no way to create a test-suite out of thin air
* nitunit do nothing if you give the test suite instead of the module
* `-t` used to precise the location of the test suite did not work with more than one module

The proposed solution is to remove all this test-suite association with a module and asks the used to use the test-suite instead.

    nitunit test_foo.nit

Because nitunit in intended to work with more than one module, there is basically no change for client that do

    nitunit .

Pull-Request: #2167
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: popcorn: use nitunit for blackbox testing

Pull-Request: #2153
Reviewed-by: Jean Privat <jean@pryen.org>

nitrpg: `test_helper` is not a test_suite. just an helper.

Signed-off-by: Jean Privat <jean@pryen.org>

loader: make module name mismatch a false error so nitunit can test them

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update niunit .sav

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: update man page about test-suite

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: drop -t option

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: just process test_suite when given

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: compile with -q to silent warnings

Signed-off-by: Jean Privat <jean@pryen.org>

nitweb/angular: show code tab for modules, classdefs, propdefs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: add code to model

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: Fix documentation to reflect actual test discovery algorithm

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #2166
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: escape_to_c: Escape trigraphs

Produce more standard-compliant code instead of relying on the default behaviour of gcc (or on its `-Wno-trigraphs` flag).

See also: https://github.com/nitlang/nit/pull/1949/commits/000ac8de3c64790b0fbb0e868e406a6a280f3fa9

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Pull-Request: #2151
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/nitcorn: fix last warnings

Pull-Request: #2147
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

.gitattributes: add *.res to ignore whitespaces

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: fix some bootstrap components

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: show linearization for mclasses, mclassdefs, mproperties, mpropdefs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: add linearization directives

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: add linearization to model

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add /api/linearization/:full_name service

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model_collect: introduce `collect_linearization` service

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

text: Test all implementations of `escape_to_c`

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

escape_to_c: Escape trigraphs

Produce more standard-compliant code instead of relying on the default
behaviour of gcc (or on its `-Wno-trigraphs` flag).

See also: https://github.com/nitlang/nit/pull/1949/commits/000ac8de3c64790b0fbb0e868e406a6a280f3fa9

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

popcorn: remove useless tests/ dir

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

catalog: only render the asked packages (not the imported ones)

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: Fix documentation to reflect actual test discovery algorithm

Signed-off-by: Jean-Christophe Beaupré <jcbrinfo@users.noreply.github.com>

Merge: nitweb: use ConsoleLog middleware

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2163
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: use catalog as homepage

Used the Catalog API with Nitweb to provide a homepage.

Demo: http://nitweb.moz-code.org/

Pull-Request: #2162
Reviewed-by: Jean Privat <jean@pryen.org>

nitweb: use ConsoleLog middleware

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: display Catalog as homepage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb/angular: introduce Catalog model

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: introduce API catalog route

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move APIRouter to nitweb.nit

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move APIHandler to web_base

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitls: fix tree representation of nested groups

nitls wrongly detached some nested groups in tree-mode.

Before:

~~~
$ nitls -tp lib/nitcorn/examples/src/nitcorn_hello_world.nit lib/nitcorn/http_response.nit
lib/nitcorn/examples
`--lib/nitcorn/examples/src
   `--lib/nitcorn/examples/src/nitcorn_hello_world.nit
lib/nitcorn
`--lib/nitcorn/http_response.nit
~~~

After:

~~~
$ nitls -tp lib/nitcorn/examples/src/nitcorn_hello_world.nit lib/nitcorn/http_response.nit
lib/nitcorn
|--lib/nitcorn/examples
|  `--lib/nitcorn/examples/src
|     `--lib/nitcorn/examples/src/nitcorn_hello_world.nit
`--lib/nitcorn/http_response.nit
~~~

Pull-Request: #2161
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Honor `source.exclude` in ini files

`source.exclude` is used in very specific cases to prevent some .nit file of directory to belong to a package.

This means two things:
* when the loader is scanning/loading a full package or group, and finds an excluded group or module, then the excluded entity will be not included in the package (and not scanned/loaded)
* when the loader is explicitly requested to load an excluded entity, then it will be detached from the parent package. The excluded modules will be considered as standalone modules.

Pull-Request: #2160
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitunit with black boxes: alternative sav files and --autosav

Two new things:

* alternative .res location for better scalability
* option --autosav to create/update the .res files

For each TestCase `test_bar` of a TestSuite `test_mod.nit`, a corresponding file with the expected output is looked for:

* "test_mod.sav/test_bar.res". I.e. test-cases grouped by test-suites.
    This is the default and is useful if there is a lot of test-suites and test-cases in a directory
* "sav/test_bar.res". I.e. all test-cases grouped in a common sub-directory.
    Useful if there is a lot of test-suites OR test-cases in a directory.
* "test_bar.res" raw in the directory.
    Useful is there is a few test-suites and test-cases in a directory.

All 3 are exclusive. If more than one exists, the test-case is failed.
If a corresponding file then the output of the test-case is compared with the file.

To helps the management of the expected results, the option `--autosav` can be used to automatically create and update them.

With the option, if a black block test fails because a difference between the expected result and the current result then the expected result file is updated (and the test is passed).
If a test-case of a test-suite passes but that some output is generated, then an expected result file is created.

It is expected that the created/updated files are checked since the tests are considered passed.
A VCS like `git` is often a good tool to check the creation and modification of those files.

Pull-Request: #2158

code: add some `source.exclude` to remove errors in the catalog

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add test for source.exclude ini entry

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/test_basename_perf_args1.res that rely on project1

Signed-off-by: Jean Privat <jean@pryen.org>

tests: improve nitls tests

Signed-off-by: Jean Privat <jean@pryen.org>

nitls: fix broken group tree when there is a chain of empty groups

Signed-off-by: Jean Privat <jean@pryen.org>

loader: honor `source.exclude` config in the package.ini

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: stop reporting hints again and again. It could be time consuming.

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: update manpage with multiple .res and --autosav

Signed-off-by: Jean Privat <jean@pryen.org>