core: implement Float::to_precision in C without callbacks

Fix int overflows in Float::to_precision with a high float value
or a high precision.

The native implementation was removed by 9cb09ccf to support the
interpreter, which, at the time, did not support the FFI. Since then, we
added support for thhe FFI in the interpreter.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: core: intro BytesWriter and BytesReader

Intro the classes `BytesReader` and `BytesWriter` to support byte read/writer operations directly on `Bytes` in memory.

The new classes are now super classes to `StringReader` (converting the `String` source to `Bytes` in the constructor) and `StringWriter`(cleaning the UTF-8 string in `to_s` only). The only differences between the string and bytes streams are the behavior of `StringWriter::to_s` and the `String` parameter expected by the constructor of `StringReader`.

`BytesWriter` supports writing any bytes, including composing UTF-8 characters byte by byte, a behavior also useful for `StringWriter`:
~~~
var writer = new BytesWriter

# Write just the character first half
writer.write_byte 0xC2u8
assert writer.to_s == "\\xC2"
assert writer.bytes.to_s == "�"

# Complete the character
writer.write_byte 0xA2u8
assert writer.to_s == "\\xC2\\xA2"
assert writer.bytes.to_s == "¢"
~~~

`BytesReader` also supports reading any bytes, including the bytes composing an UTF-8 character for `StringReader`:

~~~
var reader = new BytesReader(b"a…b")
assert reader.read_char == 'a'
assert reader.read_byte == 0xE2u8 # 1st byte of '…'
assert reader.read_byte == 0x80u8 # 2nd byte of '…'
assert reader.read_char == '�' # Reads the last byte as an invalid char
assert reader.read_all_bytes == b"b"
~~~

Pull-Request: #2539
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: app.nit: easier root window selection and other misc improvements

Intro the hook `root_window` for clients to set the desired root (or home) window. It is much shorter than the previous redef of `on_create`. Plus, in very simple apps, the client can simple redef `Window` instead of subclassing it.

Refactor `data_store` structure, replacing the interface and subclasses by refinements of a single class. It follows more closely the strategy used by the UI API while not changing anything to the `data_store` API. The data store now drops potentially partially deserialized objects to avoid hard to report crash at runtime, this could be improved upon in the future as the current implementation is not ideal.

Otherwise, this PR brings general improvements to the framework influenced by the creation of [paninit.com](http://paninit.com/): revamp the documentation, add unit tests, fix the scientific calculator icon and add an option to report errors in `hightlightcode`.

Pull-Request: #2547
Reviewed-by: Jean Privat <jean@pryen.org>

core: Bytes have a minimum capacity of 16 bytes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: optimize Bytes::append_text using redefs in Text subclasses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: protect access to _items in empty strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: don't use fonts in the icon source

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: add code example to data_store, http_request and ui

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: report errors in DataStore and fix a warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: make DataStore a class and refine on each platform

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: tweak UI API doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update clients to use `root_window`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: intro `root_window` to select the first visible window

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

stream: intro `BytesWriter` and `BytesReader`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

app: update UI example language and android style

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

highlight: optionally print errors when highlighting

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Nitmetric fixes

Avoid some nitmetric crashes

Pull-Request: #2533

Merge: Nitweb: boost response time and some improvements

The main objective of this PR is to shorten the frontend response time.
The major culprit was that the full documentation was serialized in each response.
This PR makes nitweb return only the synopsis and lets the frontend ask for the full documentation if needed.

Also uniformizes and cleans tabs for entities:
* Moved data between tabs (such as inheritance data to the inheritance tab)
* Added missing tabs for packages and groups (http://nitweb.moz-code.org/doc/core%3Ecollection%3E/defs)

Demo: http://nitweb.moz-code.org/

Pull-Request: #2536
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: move up general services, support Byte and more

This PR is a general clean up of the `json` package to prepare the support of two new serialization engines, add small new features and fix some issues in code. It should not change its behavior for existing clients.

* Move up some general deserialization services from `json` to `serialization` in order to make them available to other engines. This includes the class name manipulation services and safety services controlling which types are deserialized, including `class_inheritance_metamodel`.

* Support writing and reading `Byte` as either a plain JSON string or a special object with metadata.

* Support reading `Char` and `Byte` from plain JSON input using simple heuristics.

* Test the deserialization of plain generated JSON and fix a typo in the tests.

* Fix other minor issues in code.

Pull-Request: #2538

Merge: gamnit: shadow mapping

Intro a basic API and the shaders for 3D actors to cast shadows. This feature is off by default, it can be activated by using a sun-like light with: `app.light = new ParallelLight`. This will require additional work to improve the performance, add more kind of lights (point, spotlight, ambient, etc.), support many lights and accept colored lights.

Many values can be tweaked to achieve the best performance tradeoff:

* `ParallelLight` is always centered on the `world_camera` to show shadows only around the player. Its attributes `width, height, depth` are in world coordinates and identify a prism where shadows are computed. Higher values show shadows further away and lower values show shadows in higher resolution.
* `App::shadow_resolution` sets the resolution of the depth texture. Higher is prettier but slower, there's also an upper limit depending on the hardware configuration. It is now hardcoded (but refinable) to 4096x4096 pixels, with is probably too high for some mobiles devices. More experimentation is needed to find a safe default value.
* For softer shadow edges, the shader applies a kind of antialiasing by tapping the depth texture many times for each fragment. It is currently hardcoded to 4 taps per fragment but it could be changed for better performances or smoother edges. I don't know where to expose this value in the API, it could be on the light, the material or even global. It can also be optimized by the hardware.

### Screenshots from Jump 'n' Gun

Looking down at the player's shadow:


Complex shadows from a turret and a shield projector:


Pull-Request: #2543

json: fixme interpreter bug in constructors with return (#2546)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move StrictHashMap related services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move up deser. safety services from `json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitc: loader skip dot (hidden) directory

This will improve the loading time when there is a very
deep .git directory around.

Pull-Request: #2534

Merge: gamnit audio: control sound channels and don't crash if there's no sound card

Desktop clients can now control playing sounds with the new services from SDL2 mixer. The equivalent was already implemented for Android but not GNU/Linux. The new services still need to be fully exposed in the `app::audio` API.

This PR also removes the requirement to have a working sound card to launch a gamnit game.

Pull-Request: #2537
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: json: remove the old nitcc parser

Improve performances of the `json` package by removing the old nitcc parser to use only the custom string parser. It is faster at runtime and the nitcc parser classes were included with the JSON serialization services, slowing down compilation time even when not used.

The nitcc parser was still used only by a few clients, the only differences for the clients should be the error message, conflicts on the `Location` class, and improved performances.

It may be hard to see in the diff but the only differences in the `json` package are: the removal of the nitcc parser, move the string_parser in `static` (they are highly coupled), and make a few services private.

Note that the JSON nitcc grammar is still available in the nitcc project folder.

Warning: Until there's a service like `full_class_name`, deserializing classes with a name conflict is broken. I don't think that the 2-3 cases in the PR deserialize the generated JSON, so it should be OK for now.

Pull-Request: #2540

Merge: dom: fix two possible out of bounds string accesses

Pull-Request: #2542
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/markdown: fix crash of the parser when parsing unfinished refs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2544
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: lib/mongodb: fix database_names test

Pull-Request: #2545

gamnit: don't crash if there is no sound

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

linux::audio: extract `play_channel`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sdl2: add more `mixer` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: move up type name manipulation services out of `json`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: test deser. from plain JSON and fix typo

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro basic shadow mapping

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: udate more tests testing or depending on the JSON parser

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model & neo: fix ambiguity in the use of Location

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo_doxygen: fix a few "type repetition" warnings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

neo_doxygen: remove ambiguity in the use of Location

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: update expected error in unit test

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: remove the old nitcc parser

And move the content of `string_parser` to `static` because of high
coupling.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mongodb: fix database_names test

Signed-off-by: Jean Privat <jean@pryen.org>

lib/markdown: fix crash of the parser when parsing unfinished refs

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

gamnit: add camera parameter to `draw` method

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro UniformInt

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cull back faces

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix 3D objects in dynamic resolution

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

dom: fix two possible out of bounds string accesses

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

git: restrict -diff attributes to specific files

Fix an issue where all `parser.nit` files didn't show a diff.
It wrongly caught lib/dom/parser.nit.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: serialization phase use the qualified class name in code gen

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

bytes: tweak doc to put forward the copy behavior of the slices

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: print current config and list extensions

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2 & gamnit: fix typos and minor issues

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: intro glGetString

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitdoc: set icons for each kind of cards

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: display defs tab for mpackages and mgroups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitdoc: api returns defs for packages and groups

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: do not show inheritance data in doc tab

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: show parents and children in inheritance tab

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: serialize POSetElement to JSON

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove doc tab from entity card

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: do not return full html doc in entity json

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: frontend load full mdoc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: api serves full mdoc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

json: deser. chars serialized as strings and bytes as ints

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: support `Byte` in a similar way to `Char`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: fix typo and warning

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: avoid repeating if condition

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: don't reserve an id when not using it

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: loader skip dot (hidden) directory

This will improve the loading time when there is a very
deep .git directory around.

Signed-off-by: Jean Privat <jean@pryen.org>

nitmetrics: dont crash if nclassdef.mclassdef is null

Signed-off-by: Jean Privat <jean@pryen.org>

nitmetrics: backport some code of subtype test

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Nitsmell : Adding new code smells and print console updated

Add :
- New "no abstract implementation" code smell
- Toolcontext option to print one by one a detected codesmell
Update :
- Print console improve
- Feature envy codesmell prepose a move help

Pull-Request: #2514
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: serialization: safe formal types, fix warnings in generated code and more

* Use `GetName` to better restrict the accepted static type for attributes with formal types. This should complete the protection against the injection of unexpected types through deserialization (reported by @ppepos).
* Update `nitserial` to intrude import modules with private serializable classes, instead of skipping them. Serializing private classes from the lib should probably be avoided, but at least now we support them and we can see them.
* Fix the deserialization of maps from JSON with metadata and cycles. A difference in the deserialization order could cause a reference to be read before the referenced object. This issue may still be caused by versionning, so a foolproof solution should probably be added to the JSON deserializer.
* Fix a warning in generated code, it was generated for each `serialize` class (quite a lot). It caused 25 warnings just in lib/github/api.nit.
* Implement serialization for the private classes of `core::queue` and don't crash on deserialization errors in `a_star`.

Pull-Request: #2531
Reviewed-by: Jean Privat <jean@pryen.org>

Nitsmell : Adding new code smells and print console updated

Add :
- New "no abstract implementation" code smell
- Toolcontext option to print one by one a detected codesmell
Update :
- Print console improve
- Feature envy codesmell prepose a move help

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Merge: gamnit: misc fixes

Fix various bugs and issues related to gamnit :

* Expose the previously private class `SpriteSet` for clients to access `time` and set `time_mod` (as intended).
* Fix two bugs with animations: a div by zero in the shader that hid non-animated sprites on Android (a div by zero never crashes, but the return value is unspecified in OpenGL ES 2.0), and an array out of bounds error when an animation has a single frame.
* Cache `GamnitDisplay::aspect_ratio` as it appears to be a performance bottleneck.
* Fix the virtual gamepad not being interactive in Asteronits.
* `UICamera::camera_to_ui` returns a `Point3d` that can be used directly as a `Sprite::center`.

Pull-Request: #2532
Reviewed-by: Jean Privat <jean@pryen.org>

asteronits: fix virtual gamepad

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: don't remap sprites removed from a set after their modification

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix div by zero when there is no animation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix animations with a single frame

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: make `SpriteSet` public so clients can use its services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: `UICamera::camera_to_ui` returns a 3D point

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: cache `GamnitDisplay::aspect_ratio`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: misc typos

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

a_star: don't crash on deserialization errors and limit static types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: implement serialization for classes of `core::queue`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add formal types to serialization tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

frontend: don't deserialization code with warnings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

frontend: don't mention JSON in general deserialization error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

frontend: safer deserialization of parameter and virtual types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: standardize error messages

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: deserialize Maps keys first, in the same order as they are written

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: use GetName to restrict deserialized formal types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: intro `AttributeMissingError`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

serialization: update some doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitserial: intrude import modules when needed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gen_nit: accept complete import declarations

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: typing: new warning `useless-truism` to catch trainees.

Warning on `if a == true then` constructions.

Pull-Request: #2520
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: gamnit: scale text, add custom characters and create links with `BMFont`

This PR adds more customization options when drawing text using `BMFont`:

* Change the size of the text with a simple attribute `TextSprites::scale`.
* Insert artificial chars to a `BMFont` using the more permissive `BMFontChar`. This way, one can set custom textures for a letter, an emojis or any character from the private use areas.
* Add "links" to the text using Markdown-like syntax (`[my link]` or `[pretty name](internal name)`). Note that the links are not clickable by themselves. However, the client code can access the sprites representing the link to change their style or to get their position. This will work well with a rumored future feature making sprites clickable...

Notice the colored links and the smaller text box in the following screenshot of `fonts_showcase`:

---

Once again, these new features are not implemented for `TileSetFont`. I'm considering keeping the API of `TileSetFont` but replacing its implementation by a `BMFont` for it to gets all the new shiny features.

Pull-Request: #2527
Reviewed-by: Jean Privat <jean@pryen.org>

gamnit: add new features to the fonts_showcase example

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>