nitcc: simplify the code of trans generation into two steps

Signed-off-by: Jean Privat <jean@pryen.org>

lib/json: update files generated by nitcc

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: move the responsibility of making the substring to the automatom

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: move up `text` of token earlier to improve generated code

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: do not create ignored tokens

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: make the depth visitor lazy

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: use CircularArray

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Intro of nitrestful a RESTful API generator

This tool generate a Nit module which implements `Action::answer` to redirect request to a static Nit method. It checks the presence of args, their types, deserialize objects as needed and calls the target method.

Missing arguments or arguments with errors (wrong type, failed deserialization, etc.) are replaced by `null` when the corresponding parameter is `nullable`. If the parameter is non-nullable, or if there is any other error, the generated code calls `super` from `answer` for the user code to handle exceptions and errors.

With the `restful` annotation we can write a normal method with static types such as: (from the example)
~~~
# User code
class MyAction
super RestfulAction

# Method answering requests like `foo?s=some_string&i=42&b=true`
fun foo(s: String, i: Int, b: Bool): HttpResponse is restful do
var resp = new HttpResponse(200)
resp.body = "foo {s} {i} {b}"
return resp
end
...
~~~

And nitrestful will generate for use the wrapper extracting the args from the request and call the method `foo`:
~~~
# Generated code by `nitrestful`
redef class MyAction
redef fun answer(request, truncated_uri)
do
var verbs = truncated_uri.split("/")
if verbs.not_empty and verbs.first.is_empty then verbs.shift
if verbs.length != 1 then return super
var verb = verbs.first

if verb == "foo" then
var in_s = request.string_arg("s")
var out_s = in_s

var in_i = request.string_arg("i")
var out_i = deserialize_arg(in_i)

var in_b = request.string_arg("b")
var out_b = deserialize_arg(in_b)

if not out_s isa String or not out_i isa Int or not out_b isa Bool then
return super
end
return foo(out_s, out_i, out_b)
end
return super
end
end
~~~

This is an early version of this tool. More work is needed to test different types, different usages, error management, and improve the docs and examples.

close #1852

Pull-Request: #1863
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: Stringify Bytes

This PR adds some String-like functions to Bytes, along with an abstraction for Byte-based patterns.

Also, a bug was found within `Bytes::is_empty` and `FlatText` is now public since there was no real rationale to keep it private

Pull-Request: #1860
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: new core datastructure: CircularArray

`lib/core` is extended with CircularArray for an array with efficient push/pop/shift/unshift

Some number with bench_seq. I used valgrind with n=1000

push (Ir/call)
* list: 383
* unrolled list: 188
* circular array: 135
* array: 85

pop
* unroll: 180
* list: 79
* array: 66
* circ: 47

unshift
* array: 31,755 (because memmove)
* list: 385
* unroll: 322
* circ: 127

shift
* array: 36,168 (because memmove)
* unroll: 180
* list: 79
* circ: 50

insert:
* circ: 179,811 (because manual copy item by item)
* array: 27,282
* unroll: 12,235
* list: 11,500

Pull-Request: #1875
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: Nitiwiki: fix isues with relative paths and the root href

close #1872

Can you try it @Morriar ?

Pull-Request: #1874
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

src/astvalidation: use a CircularArray instead of an Array

Signed-off-by: Jean Privat <jean@pryen.org>

tests: extends test_seq and bench_seq with CircularArray

Signed-off-by: Jean Privat <jean@pryen.org>

core: add circular_array

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki/examples: update templates

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki: add root_href if the wiki need it

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki: add a dhref helper function

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Small perf improvments of array

Factorize and improve some code related to the Array (and fix a bug)

A NativeArray::memmove method is also added, but without an intern implementation for boostrap reason.

The improvement should mainly concern client of `shift`, `unshift` and `insert` (not that many in fact).
Using the new test bench_seq (with only the array and an argument of 5000)
Before: 0m1.828s
After:  0m0.292s (-84%)

Pull-Request: #1871
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update sav/test_new_native_alt1.res because line change in array

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add bench_seq

Signed-off-by: Jean Privat <jean@pryen.org>

core/array: provide a better implementation of `copy_to` (not native yet)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core/list: add length as attribute

this should have been done a long time ago

Pull-Request: #1870
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

core/array: fix implementation of naive copy_to to avoid overwriting

Signed-off-by: Jean Privat <jean@pryen.org>

core/list: add length as attribute

Signed-off-by: Jean Privat <jean@pryen.org>

core/array: use `copy_to` to factorize some code

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Adds a module for logging requests

Title pretty much says it all

Pull-Request: #1869
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Modelize check visibility

Forces modelize to check that the return types of methods are legal with regard to visibility.

Also fixes some code where such issues occur.

Pull-Request: #1862
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

android: make native audio_manager access private

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav because changes in visibility

Signed-off-by: Jean Privat <jean@pryen.org>

tests: improve base_prot_sig

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: always check visibility of return types

Signed-off-by: Jean Privat <jean@pryen.org>

src/rta: import csv publicly.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/ffi: make private some top-level methods

Signed-off-by: Jean Privat <jean@pryen.org>

core/text: Text::substrings is private

Signed-off-by: Jean Privat <jean@pryen.org>

core: remove useless return types

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: mongodb: allow client to set `skip` and `limit` when calling `find`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1868
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: github: save Github events ids.

Save event IDs so the future loader will know it will not have to process it again.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1867
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: mongo: fixes more crashes from mongodb api

This PR add two more fixes since #1855 :
* use `FinalizableOnce` instead of `Finalizable`
* copy bson structs returned by `mongoc_cursor_item`

Pull-Request: #1866
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Benitlux: fix separator between beers name and description

Pull-Request: #1861
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: console: add simple progress bar that refreshes itself

Example:

~~~nit
import console

var pb = new TermProgress(10, 0)

for i in [1..10] do
pb.update(i)
end
~~~

Will display something like:
~~~sh
20% [==========================>                                       ]
~~~

See documentation for more info about the progress bar.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1859
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Add error instead of segfault on gethostbyname fail

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

Pull-Request: #1857
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>
Reviewed-by: Jean Privat <jean@pryen.org>

Adds a module for logging requests

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

mongodb: fix iterator crashes

Before this PR, the iterator `is_ok` status relied on `mongoc_cursor_more` that can return
true even if the iterator is terminated.
This PR fixes the problem by using the result of `mongoc_cursor_next` instead.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongodb: allow client to set `skip` and `limit` when calling `find`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongodb: fixes crash when the return of `mongoc_cursor_current` was freed

As explained by the documentation (that I should have read more thoroughly...),
`bson_t` structures allocated by the `mongoc_cursor_current` function should not be freed by the user.

Before this commit, the `bson_t` returned by `mongoc_cursor_current` where left as this then freed
by the nit GC.

This commit makes the `current` method to return a copy of the `bson_t` struct so
it can be freed safely by the GC later.

And... this is why I fear and hate the C programming language... :)

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: save Github events ids.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share: add man for nitrestful

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: skip nitrestful in niti and nitvm

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/jwrapper: use of nitserial does not need the package scope

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/jwrapper: rename NitModule to NitModuleRef

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add sav for nitrestful

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: add example and test for the restful annotation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src: intro the nitrestful tool

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: intro the restful annotation an support module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gen_nit: move NitModule from nitserial to gen_nit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

src/serialization: remove already resolved TODO

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

mongodb: use FinalizableOnce instead of Finalizable

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: Added `join_bytes` top-level function to join an array of `Bytes`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Make FlatText public

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Stringify lib/bytes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

console: add simple progress bar that refresh itself

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: github/api: avoid crashes with unparsable responses

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1856
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: mongodb: pin non-native instances to avoid GC crashes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #1855
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitiwiki: fix multiple trails

Fix a bug where independent trails could have been merged into a big one.

Pull-Request: #1854
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Add error instead of segfault on gethostbyname fail

Signed-off-by: Philippe Pepos Petitclerc <ppeposp@gmail.com>

github/api: avoid crashes with unparsable responses

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongodb: pin non-native instances to avoid GC crashes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: extends example with a second independent trail

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki: fix a bug where multiple independent trails could have been merged

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrpg: misc fixes

Many fixes for NitRPG in prepatation for the next PR wich introduces the use of MongoDB.

Pull-Request: #1761
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

nitrpg: fix PlayerXCommits achievement trigger

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: events and achievements have owners

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: better organization for stats objects

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: use names as keys

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Simple threadpool implementation

A really basic implementation of a threadpool, using an array as queue for now.

Pull-Request: #1848
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core/bytes: Fixed broken `is_empty`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Skipping threadpool_example

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

simple threadpool implementation

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Merge: Bytes update

Various updates to `Bytes`, added a new escaping method taking into account \u and \x escape sequences

Also added a add_char method to `Bytes` for convenience.

`to_bytes` in Text now has an optional length parameter for those who wish not to rely on `cstring_length` (or did not want to pay the cost) for the length in bytes.

Pull-Request: #1850
Reviewed-by: Jean Privat <jean@pryen.org>

contrib/benitlux_daily: use only "- " to separate the name from the description

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/benitlux_daily: add verbose option for debug

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: Added escaping method to Bytes for use in compiler

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Prefix grammar

Update of the grammar to support the enhancement of literal strings and chars via prefixes (see issue #1734)

Pull-Request: #1851
Reviewed-by: Jean Privat <jean@pryen.org>

lib/core: Added copy method `to_bytes_with_copy` in Text

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added `add_char` method to `Bytes`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/markdown: Fixed spacing issue in which a `then` was mistaken for a suffix

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

parser: Regenerated tables for previous commit

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

parser: Updated grammar to support prefixed and suffixed `String` and `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: nitrpg: update the userscript to the new github layout and fix todos

Basically a rewrite, but it works on my computer

Pull-Request: #1849
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: svg_to_icons: add an option to generate icons with different names

Pull-Request: #1847
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Improve the doc of `CurlHTTPRequest`

This is still far from an ideal doc but its better than nothing.

This doc will be useful for #1845.

Pull-Request: #1846
Reviewed-by: Jean Privat <jean@pryen.org>

lib/neo4j: fix conflict on `data` in custom implementations of post requests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrpg: update the userscript to the new github layout and fix todos

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: model: fix `try_get_primitive_method`

The implementation was an old code that did not use modern facilities,
moreover it was broken anyway.

Reported-by: Lucas Bajolet <r4pass@hotmail.com>

Pull-Request: #1844
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

lib/curl: better doc for `CurlHTTPRequest`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/curl: `CurlHTTPRequest::datas` to `data`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model: fix `try_get_primitive_method`

The implementation was an old code that did not use modern facilities,
moreover it was broken anyway.

Reported-by: Lucas Bajolet <r4pass@hotmail.com>
Signed-off-by: Jean Privat <jean@pryen.org>

contrib/inkscape_tools: add option to generate icons with different names

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Tests: cleanup old_style_init in some tests

In preparation of a future PR on constructors (cf. #1800), this is a simple cleanup (and bugfix) of some tests.

Pull-Request: #1842
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

tests: update init in (de)serialization

also fix bug where `n` was not correctly set (new constructors powa!)

Signed-off-by: Jean Privat <jean@pryen.org>