version 0.7.6

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Use the DOM parser in the RSS Downloader contrib

`rss_downloader` now uses the DOM XML parser instead of regex to read RSS files. It is also easier to customize its behavior from the config class.

This PR also adds a few services to the DOM parser and fix a few bugs.

---

This PR is based on #1448 with fixed line endings.

Pull-Request: #1545
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Remove niti hacks on NativeString and NativeFile

Previously, the interpreter used a FlatBuffer to implement NativeString and a File to implement NativeFile. This caused issues with applications using (mostly) `is_address_null` which could not be implemented correctly with these implementations.

This PR uses a real NativeString and NativeFile to implement the same class. For NativeFile, it is handled by the FFI so removing the old code is enough. For NativeString, many of its methods are intern so they had to be updated.

Pull-Request: #1543
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitdoc: use svg instead of png

NItdoc asks `dot` to render svg format instead of png.

Advantages:
* better performances
* less files
* better image quality
* css-able

Benchmarks against nitdoc-next (#1446):

Pull-Request: #1501
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/rss: fix using the short filename to build patterns

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/rss: do not check for previously downloaded files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/rss: extract action applied to selected elements

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/rss: use the dom parser

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/file: fix doc of `Path::filename`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/dom: intro `XMLStartTag::data`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/dom: intro `XMLEntity::[]`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/nitc: ignore SIGPIPE

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Deserialization manage errors & easily create Nit object from pure JSON

This PR intro better error management to the deserialization phase, the abstract engine and the JSON implementation. Deserialization of a malformed JSON string or a JSON serialized object from a different program version do not crash the program anymore, it will instead raise errors. When errors are raised, the deserialized object may be inconsistent with uninitialized attribute. Depending on the context, the object may have to be discarded or, usually with the user consent, it can be used with possible fatal failures later.

### Cool bonus part
This PR also lighten the JSON format expected by the deserializer. This allow for nicer custom creation of Nit objects from JSON.

For example, given a Opportunity-like Web app using the Nit class `MeetupConfig` declared like so:

~~~nit
class MeetupConfig
    serialize

    var description: String
    var max_participants: nullable Int
    var answers: Array[FlatString]
end
~~~

On the client-side JavaScript code, one can create a JSON object that will be converted to a Nit instance of `MeetupConfig` by the JSON deserialization services:

~~~json
{"__class": "MeetupConfig", "description": "My Awesome Meetup",
 "max_participants": null, "answers": ["Pepperoni", "Chicken"]}
~~~

### Future work

* We may need to precise the types of a few errors. Especially to differentiate between fatal errors and errors that can be overlooked. There is already `IOError` and `AttributeTypeError` that should be considered fatal.
* Infer advanced array type, such as `Array[MeetupConfig]`. As of now, only arrays of string, int, float, objects and their nullable variants are created.

Pull-Request: #1544
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Minor Improvements to the Parallelisation Phase

Support modules without a module declaration and nullable types in threaded methods.

---
Don't worry, it's the last PR for today and my dev branches are getting short.

Pull-Request: #1546
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Fix issues in tests introduced by previous series

The main issue was that args where no more tested because of a bad variable scoping in bash

Pull-Request: #1547
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: mongodb: auto generate ObjectId for inserted and saved documents

This PR enables the generation of unique ObjectIds for new JsonObject added to collection.

Example when inserting a document:
~~~nit
var obj = new JsonObject
obj["foo"] = "bar"
print obj.to_json
~~~

Object before insertion:
~~~json
{
   "foo": "bar"
}
~~~

After insertion:
~~~nit
collection.insert(obj)
print obj.to_json
~~~
~~~json
{
   "_id": {"$oid": "5578e5e5f34422650c27af01"},
   "foo": "bar"
}
~~~

Pull-Request: #1500
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/markdown: add some tests for xml parsing inside a markdown block.

Added some test in the hope to reproduce #1059 bug. Everything is working as expected.

Closes: #1059 (can't reproduce)

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1497
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: examples: add json example from rosetta code

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1494
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: DOM XML

Hi,

As Nit programmers, we might have to parse XML sometimes for one use or another.

We already had a SAX parser in library for the cases when one wanted to parse a long XML document in a memory-conscious way, often at the expense of the simplicity of the end-program.

This PR adds a very simple DOM parser that will need to be improved and robustified later, but who right now does the basics and should parse valid xml documents.

There is still a long way to get a full spec-compliant XML parser, but this is one base.

Pull-Request: #1448
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: niti does not report the same line than nitc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update json serialization test results

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test a custom JsonDeserializer::class_name_heuristic

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: add hook to customize the deserialization of plain JSON objects

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: document deserializing custom JSON code to Nit objects

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test the tolerance of the JSON deserializer on custom JSON code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: tests.sh do not grep on inexisting file to avoid warnings

Signed-off-by: Jean Privat <jean@pryen.org>

tests: tests. use local variable in functions to avoid scope issues

Signed-off-by: Jean Privat <jean@pryen.org>

src/parellalization_phase: minor style tweaks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/parallelisation_phase: do not rely on module name declaration

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/parellalization_phase: support nullable parameters in threaded methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/parallelisation_phase: remove superfluous if block

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/markdown: add some tests for xml parsing inside a markdown block.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/mongodb: check null receiver when accessing names collection

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/mongodb: set automatic last id when inserting or saving a JsonObject

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: Added tests for DOM XML parser

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/json: infer type of simple JSON array at deserialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: serialize `Array[nullable Serializable]` as any other arrays

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: contrib/opportunité: prevent useless xss exploit in meetup confirmation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Pull-Request: #1541
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Personalized tests

Extends the tests.sh infrastructure to be configurable by os and hostname

* handle `sav/$os`, `sav/$os/fixme`, `sav/$hostname` and `sav/$hostname/fixme` sav directories that can contains specific results `.res` when there is an expected divergence on results per architecture or machine
* specific `$hostname.skip` file to skip tests on a host basis (`$os.skip` files did already exists to filter at the architecture level)
* additional `sav/$foo/cc.skip` and `sav/$foo/exec.skip` where foo can be engines, os or hostname to fine-tune more things

Pull-Request: #1540
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Opportunity templates and pizzas

Adds templates to the Opportunity meetup creation page. The default software provides: 4 kinds of pizzas, 5 days work week and 7 days week. The software customized for xymus.net also provides: pizzas special LATECE and meeting hours for UQAM Sciences.

It is already available at http://xymus.net/opportunity/.

Pull-Request: #1539
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Third batch of rosettacode

Cleaning, small fixes and/or improved tests

Pull-Request: #1535
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Audio API implementation for linux

fixes #1527.
The ideal solution would still be to implement SDL sounds but for now, this will be sufficient

Pull-Request: #1533
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: example: add arithmetic mean example from rosetta code

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1480
Reviewed-by: Jean Privat <jean@pryen.org>

lib&src/serialization: use deserialize_class_intern to avoid conflicts with custom implementations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization_phase: fix searching for `deserialize_class` in `Deserializer`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: there's no need for the length attribute in the generated JSON

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: clear error list on each call to deserialize

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: improve the human readable version of JsonParseError

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: the `__kind` attribute is optional

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: parse errors are moved to deserializer errors

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: serialization is more tolerant to errors

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json: object __id is optional

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization_phase: generate code to be more tolerant to errors

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: deserialize_class should not be public

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/serialization: prepare to collect errors and customize reactions to them

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: use multiline strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: remove undefined tests results that work without the hacks

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/niti: mkdir the compile dir only if it doesn't exist

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/niti: use a real NativeString

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/niti: remove hack on NativeFile

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/niti: remove intern implementations to extern methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunité: prevent useless xss exploit in meetup confirmation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitdoc: update tests for svg

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: convert dot to svg instead of png

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

bench_nitdoc: allow other git ref than origin/master

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

example: add arithmetic mean example from rosetta code

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/friendz/friendz_linux.nit uses linux audio app

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Audio : Introduces linux audio

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

tests: skips some tests for Darwin

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/opportunity: add the 'Clear' template

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: skip tests by hostname

Signed-off-by: Jean Privat <jean@pryen.org>

tests: exec.skip and cc.skip are searched in the sav directories

Signed-off-by: Jean Privat <jean@pryen.org>

tests: special sav directories available for uname and system.

Signed-off-by: Jean Privat <jean@pryen.org>

examples/xymus.net: use the french Opportunité name in the header

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples/xymus.net: add UQAM/LATECE specific opportunities templates

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: provide french translation for default templates

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: add opportunities templates

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: improve style of the maybe option checkbox

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rosetta: ethiopian_multiplication

Close #1464

Signed-off-by: Renata Carvalho <renatawm@gmail.com>

RosettaCode: Vignere

Close #1479

tests: add pig_the_dice_game

Signed-off-by: Jean Privat <jean@pryen.org>

rosettacode: pig the dice game

Close #1485

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Merge: rosetta code: one_dimensional_cellular_automata

Signed-off-by: Jean Privat <jean@pryen.org>

Pull-Request: #1493

Merge: Opportunity i18n & traduction française

This PR brings partial i18n support to Opportunity with a french translation. Most strings from the
 UI are covered but not the error messages. This PR also fixes a few bugs in the i18n phase.

I still have difficulty with the deployment. Launching my web server use `LANGUAGE=fr sudo bin/xymus_net` works, but not when using `daemonize -E LANGUAGE=fr ...`. @R4PaSs do you have an idea for a solution?

http://xymus.net/opportunity/ temporary serves the French version of the site. I may have to revert tot the English version if I need monit and I can't fix the locale issue.

Pull-Request: #1531
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Geometry fix

There was a big mistake in the boxes API where you would get the bottom of a line when calling for it's top and get the top when you were calling for the bottom xD, so fixed it.
There also was a bug with the usage of the Numerics in the quadtree API.
Also implemented a to_s for quadtree, but not sure if it needs to stay here.

Pull-Request: #1534
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Use light FFI instead of the legacy NI in the lib

Update all extern methods previously implemented with the legacy NI to use the light FFI. Also cleans up the `_nit.[ch]` files and a few redundant `is extern` declarations.

There could be a performance hit because we add at least one layer of indirection when invoking the extern method code. And some were previously only macros applied within the generated internal code... However I don't see a difference with the performance of nitc and it can be optimized by the C compiler.

The C structure used in the `exec` module should be replaced by a Nit class. I've added 2 FIXMEs to make it clear. The C structure makes dealing with calls to `pipe` easier but it also makes the rest of the code more complex than needed.

The only use of the legacy NI left is the parser generated by the modified SableCC.

Pull-Request: #1520
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Nitunit fails bad code

Documentation that contains only bad code (not tagged) is now reported by nitunit as it should be.

Pull-Request: #1522
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

Merge: Adaptive typing: fix buggy warning messages

 #1257 relaxed some rules about untyped code in order to allow the compiler to compute a fixed point. So an inconsistent state with untyped code was permitted during the typing.

The problem is that errors messages or warnings could be prematurely displayed during the analysis thus be false because based on non final information.
The solution is to add a post-processing after the fixed point and delay the premature warning so that the information used is computed and reliable.

Moreover, the `useless null test because always null` is now brought back (it was disabled because caused too much unreliable noise)

Close #1257

Pull-Request: #1524
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>

tests: skip nitpick args1 in niti and nitvm

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: gitignore .pot and .mo files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/i18n_phase: there's no need to unescape

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/i18n_phase: breakup 2 complexe lines of code

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/i18n_phase: use an escape custom to gettext

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: add rule to build .mo files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: intro french translation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: hack to circumvent #1530

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/opportunity: prepare for i18n by separating the localized strings from the rest

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

geometry/quadtree: fixed use of the numerics

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

geometry/boxes: top and bottom in ILine were inversed...

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

lib/text: protect the `format` method against inconsistencies

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>