benchs: Added submodule reference to ujson4c

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: gamnit: intro textures, programs, camera and the globe example

Intro 3 core modules for gamnit with a lot of features:

* textures: Provices portable services to load textures. Textures are organized as trees where only the roots have the pixels data and subtextures relay load calls to the root. This structure should remain as is but more features need to be implemented, namely automating the use of offsets in the subtexture, auto reloading textures when invalidated and services to unload the textures.

* programs: Structures to organize GL programs and shaders and to facilitate access to shader variables. The main advantages of this API are static types on shader variables and the gamnit programs that can be specialized.

  I'm not 100% satisfied with the structure of GamnitProgram and GamnitProgramFromSource, but I don't have a better idea on how to organize it. Also I will probably review the implementation of how `GamnitProgram::attributes` and `uniforms` are populated, but it shouldn't change the API much.

* cameras: Add an abstract Camera class and a simple EulerCamera based on euler angles, perfect for FPS type games or top-down strategy games. These camera main feature is to produce the MVP matrix.

  More camera should be implemented, they should also be considered objects attachable to a scene when we have scenes. The EulerCamera lacks some feature, like the usual `look_at`.

These services are independent, it's clean but maybe it's not the best idea. We can't pass a camera to a mat4 shader variable, we have to manually extract the MVP matrix from the camera and pass it to the shader. Also to assign a texture to a sampler2d shader variable, we have to load the texture, assign its GL id to a texture unit and assign the unit's index as the shader variable value. This last issue could be simplified by more code in gamnit itself, but it will add coupling, it will be for a next PR.

The globe examples should replace the triangle example as the "minimal" example for gamnit. However I plan on updating it as I integrate more code into gamnit services allowing me to remove custom calls to OpenGL ES 2.0 from the example.

Pull-Request: #1890
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: engine: handle the compilation/interpretation of multiple varargs

While working on new constructors #1800, it appeared that the compilation of signatures with more than one vararg was broken.

The current engines never compile execute such a signature; signatures with multiple varargs only exists in the model to validate the arguments of the `new` syntax. The bug cannot be exhibited (so no specific tests).

Most of the changes are the same pattern: ask each parameter if it is a vararg instead of waiting a specific one.

Pull-Request: #1891

Merge: check_contrib: filter-out contrib/nitc when checking Makefile of projects

src/Makefile is already executed at the begin of the tests, so a double execution is mostly useless and time-expensive.

Pull-Request: #1888
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

engine: handle the compilation/interpretation of multiple varargs

Signed-off-by: Jean Privat <jean@pryen.org>

lib/gamnit: intro the globe examples

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro graphic programs abstraction layer

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro the cameras module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro texture support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: do not execute gamnit clients when testing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: intro `GamnitDisplay::aspect_ratio`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/android: demultiply pixel data from alpha value on request only

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/c: intro CUInt16Array

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: intro glGet* and GL_MAX_* macros

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Cleanup auto_super_init

Constructors have a long history of attempted specifications, therefore a lot of complex cases and code was still present to avoid breaking thing.

Here, we simplify the code of `auto_super_init` that deal with injecting implicit call to various semantic of `super` in a constructor.

Now, there is only two remaining cases:

* the constructor is a redefinition, then a genuine call to `super` (polymorphic and linearized) injected
* the constructor is the introduction of a named constructor, then a call to the auto `init` is injected iff there is no conflict and no arguments.

Pull-Request: #1883
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Inline binops

This PR re-introduces several binary operations implemented as intern to avoid indirection through FFI in some specific cases to improve performance notably in `core/text/native`

Also a style change for `abs` which could easily be inlined and burned by eyes when I saw it, I can remove the commit if someone objects to the modification

Pull-Request: #1881
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: gamnit: use the same code to limit fps than mnit and fix errors

Fixed a few bugs in `mnit::mnit_fps`, a typo invalidated the value of `current_fps` and the use of long Ints were broken probably since they are tagged. Using floats should fix this last issue.

Finally, the goal of this PR is to copy the module `mnit::mnit_fps` to `gamnit::limit_fps` and adapt it to the gamnit framework. There is some code duplication, but the mnit version should be deleted with the engine when gamnit is completed.

Pull-Request: #1879
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Added new `is_hexdigit` service on `Char`

Simple addition to the services of `Char`, might be useful

Pull-Request: #1884
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Removed useless `buffered_ropes` package

Since the package was experimental and did not bring anything but woes to the maintainer of the `text` package, I'd suggest we remove it

Pull-Request: #1882
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Use `as` casts to implicitly type class attributes

Until now, implicit types for class attributes are defined by literal types or new calls. This PR extends the support to `as` casts. So when an expression setting an attribute ends with a cast such as `.as(String)`, we can safely define the type of the attribute as `String`.

~~~
class A
    # Before
    var s: String = data_store["s"].as(String)

    # After
    var s = data_store["s"].as(String)
end
~~~

I did not modify the error messages by choice, to avoid making more complex the already long error messages with a rare use case. Also since `as` casts are unsafe by definition, I would not recommend to abuse this feature.

This does not apply to `as(not null)`.

Pull-Request: #1880
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitcorn server for nitiwiki

This PR contains the initial work of @ablondin and integrates it further with nitiwiki.

Intro a simple nitcorn server to publish the static files generated by nitiwiki and allow modifications from a web form. It is already applied on http://xymus.net/ to manage the main page.

The server reads the `config.ini` of the target to find the path to the public files. It writes the new markdown to the source folder and regenerates the wiki on each modification. The modification forms apply the template of the current wiki. (with some imperfections)

I've added a basic password authentication system using a list of hashed passwords in a simple text file. It should be enough for simple deployment of the server and this file can be ignored by git.

Limitations:
* Not integrated with all configuration of a nitiwiki server.
* Creating new files is supported by manually changing the path in the URI, but creating parent folders of a file is not supported.
* Some paths configuration may cause problems, the `edit/` page must be at the root of the server and other similar restrictions were not fully tested.
* There's no integration with git.

Closes #1832

Pull-Request: #1877
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

check_contrib: filter-out contrib/nitc when checking projects.

It was already executed.

Signed-off-by: Jean Privat <jean@pryen.org>

examples: update users of `mnit::mnit_fps`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update *init* related tests

Signed-off-by: Jean Privat <jean@pryen.org>

autosuper: remove most historic heuristics on implicitly injected `super`-call in constructors.

Signed-off-by: Jean Privat <jean@pryen.org>

autosuper: remove heuristic where a homonymous named constructor is implicitly called

Signed-off-by: Jean Privat <jean@pryen.org>

code: various update to clean declaration or usage of constructors

Signed-off-by: Jean Privat <jean@pryen.org>

code: explicitly call init in some named constructors

Signed-off-by: Jean Privat <jean@pryen.org>

tests: Update with introduction of new methods in `kernel`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Added new `is_hexdigit` service on `Char`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib: Removed useless `buffered_ropes` package

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Inlined implementation of `abs`

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/core: Re-implemented some frequently used binops for primitive types as intern with a FFI fallback

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src: as casts define the type of class attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/gamnit: copy and update `mnit::mnit_fps` as `gamnit::limit_fps`

This duplication could probably be avoided as only the name of the method
`frame_full` changes. But the doal is also to fully replace `mnit` so
the old module should be removed soon...

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mnit: use floats to count fps to avoid long size problems

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mnit: fix broken `mnit_fps::App::current_fps`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: intro `Float::sleep`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/core: fix segfaults in `String::realpath` and remove fixed FIXME

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/nitiwiki: use absolute paths to detect access outside the source dir

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: glesv2: new services for uniforms, query info and glDrawElements! also update the API

As usual, the new features and changes aim to follow as closely as possible the C API.

With this PR, we have pretty much all the OpenGL ES 2.0 features needed for mineit and for a first version of gamnit.

Pull-Request: #1878
Reviewed-by: Jean Privat <jean@pryen.org>

lib/glesv2 & gamnit: update examples

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: intro glDrawElements

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: allocate native strings with the GC instead of malloc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: add missing uniform functions

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: revamp the API to get logs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: flatten hierarchy and update API style of GLDataTypes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/glesv2: intro glGetProgramiv and glGetShaderiv, and clean related services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

xymus.net: reorder top-menu elements

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/nitcorn: add a wiki modification form to xymus.net

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/nitiwiki: add doc about nitiwiki_server to the README

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib/nitiwiki: complete the nitcorn server to modify a nitiwiki

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Perfize nitcc_runtime

Slight improvement of the work of nitcc.

Numbers with raw parsing of a 30MB json file from nitrpg (only the AST creation, no further analysis)

Before: 0m5.700s ; 25.1 GIr
After: 0m3.540s (-38%) ; 20.3 GIr (-19%)

There is still a lot (99?) of improvements to make before having reasonable numbers, but the nitcc_runtime part ain't one.

Pull-Request: #1876
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/markdown: ignore carriage return (fix error when received from Web)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Allowing user edit in Nitiwiki (not finished).

Signed-off-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Merge: nitrpg: data management uses `mongodb` instead of `json_store`

Depends on #1759, #1760 and #1761.

Pull-Request: #1762
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Introduces JoinTask, joinabale tasks

JoinTask prototype

Pull-Request: #1853
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcc: generate a faster DFA::trans sequence of `if`

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_runtime: use an Array instead of a List for the DephIterator

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_runtime: use `push` instead of `add`

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: simplify the code of trans generation into two steps

Signed-off-by: Jean Privat <jean@pryen.org>

adding example for joinTask

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

Introduces JoinTask, joinabale tasks

Signed-off-by: BlackMinou <romain.chanoir@viacesi.fr>

lib/json: update files generated by nitcc

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: move the responsibility of making the substring to the automatom

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: move up `text` of token earlier to improve generated code

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: do not create ignored tokens

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: make the depth visitor lazy

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc_rt: use CircularArray

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Intro of nitrestful a RESTful API generator

This tool generate a Nit module which implements `Action::answer` to redirect request to a static Nit method. It checks the presence of args, their types, deserialize objects as needed and calls the target method.

Missing arguments or arguments with errors (wrong type, failed deserialization, etc.) are replaced by `null` when the corresponding parameter is `nullable`. If the parameter is non-nullable, or if there is any other error, the generated code calls `super` from `answer` for the user code to handle exceptions and errors.

With the `restful` annotation we can write a normal method with static types such as: (from the example)
~~~
# User code
class MyAction
super RestfulAction

# Method answering requests like `foo?s=some_string&i=42&b=true`
fun foo(s: String, i: Int, b: Bool): HttpResponse is restful do
var resp = new HttpResponse(200)
resp.body = "foo {s} {i} {b}"
return resp
end
...
~~~

And nitrestful will generate for use the wrapper extracting the args from the request and call the method `foo`:
~~~
# Generated code by `nitrestful`
redef class MyAction
redef fun answer(request, truncated_uri)
do
var verbs = truncated_uri.split("/")
if verbs.not_empty and verbs.first.is_empty then verbs.shift
if verbs.length != 1 then return super
var verb = verbs.first

if verb == "foo" then
var in_s = request.string_arg("s")
var out_s = in_s

var in_i = request.string_arg("i")
var out_i = deserialize_arg(in_i)

var in_b = request.string_arg("b")
var out_b = deserialize_arg(in_b)

if not out_s isa String or not out_i isa Int or not out_b isa Bool then
return super
end
return foo(out_s, out_i, out_b)
end
return super
end
end
~~~

This is an early version of this tool. More work is needed to test different types, different usages, error management, and improve the docs and examples.

close #1852

Pull-Request: #1863
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: Stringify Bytes

This PR adds some String-like functions to Bytes, along with an abstraction for Byte-based patterns.

Also, a bug was found within `Bytes::is_empty` and `FlatText` is now public since there was no real rationale to keep it private

Pull-Request: #1860
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: new core datastructure: CircularArray

`lib/core` is extended with CircularArray for an array with efficient push/pop/shift/unshift

Some number with bench_seq. I used valgrind with n=1000

push (Ir/call)
* list: 383
* unrolled list: 188
* circular array: 135
* array: 85

pop
* unroll: 180
* list: 79
* array: 66
* circ: 47

unshift
* array: 31,755 (because memmove)
* list: 385
* unroll: 322
* circ: 127

shift
* array: 36,168 (because memmove)
* unroll: 180
* list: 79
* circ: 50

insert:
* circ: 179,811 (because manual copy item by item)
* array: 27,282
* unroll: 12,235
* list: 11,500

Pull-Request: #1875
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: Nitiwiki: fix isues with relative paths and the root href

close #1872

Can you try it @Morriar ?

Pull-Request: #1874
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

src/astvalidation: use a CircularArray instead of an Array

Signed-off-by: Jean Privat <jean@pryen.org>

tests: extends test_seq and bench_seq with CircularArray

Signed-off-by: Jean Privat <jean@pryen.org>

core: add circular_array

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki/examples: update templates

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki: add root_href if the wiki need it

Signed-off-by: Jean Privat <jean@pryen.org>

nitiwiki: add a dhref helper function

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Small perf improvments of array

Factorize and improve some code related to the Array (and fix a bug)

A NativeArray::memmove method is also added, but without an intern implementation for boostrap reason.

The improvement should mainly concern client of `shift`, `unshift` and `insert` (not that many in fact).
Using the new test bench_seq (with only the array and an argument of 5000)
Before: 0m1.828s
After:  0m0.292s (-84%)

Pull-Request: #1871
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrpg: fix warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: init web instance from mongo

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: add nitunits

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: migrate data management from `json_store` to `mongodb`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update sav/test_new_native_alt1.res because line change in array

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add bench_seq

Signed-off-by: Jean Privat <jean@pryen.org>

core/array: provide a better implementation of `copy_to` (not native yet)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core/list: add length as attribute

this should have been done a long time ago

Pull-Request: #1870
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

core/array: fix implementation of naive copy_to to avoid overwriting

Signed-off-by: Jean Privat <jean@pryen.org>

core/list: add length as attribute

Signed-off-by: Jean Privat <jean@pryen.org>

core/array: use `copy_to` to factorize some code

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Adds a module for logging requests

Title pretty much says it all

Pull-Request: #1869
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Modelize check visibility

Forces modelize to check that the return types of methods are legal with regard to visibility.

Also fixes some code where such issues occur.

Pull-Request: #1862
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

android: make native audio_manager access private

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav because changes in visibility

Signed-off-by: Jean Privat <jean@pryen.org>

tests: improve base_prot_sig

Signed-off-by: Jean Privat <jean@pryen.org>

modelize: always check visibility of return types

Signed-off-by: Jean Privat <jean@pryen.org>

src/rta: import csv publicly.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc/ffi: make private some top-level methods

Signed-off-by: Jean Privat <jean@pryen.org>

core/text: Text::substrings is private

Signed-off-by: Jean Privat <jean@pryen.org>