nitgg: use is_toplevel instead of heuristics to not customize top-level methods

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib: introduce module hash_debug

Nit-exclusivity thanks to class refinements, intrude imports and the control of the main function.

Inject behavior analysis to hash-collections (HashMap, HashSet, etc.)
Accesses to hash collections are instrumented, and statistics are automatically displayed at the end of the program.

This module helps to detect, and track bad behavior on hash-collections, especially collisions.

Simple usage:

1. compile your program with `-m hash_debug`
2. execute your program.

Advanced usage:

import `hash_debug` and use the functions `Sys::show_hash_stats` and `Sys::clear_hash_stats` at strategic points.

You can also use some dynamic call-graph tools (like valgrind) and look at callers of `HashCollection::gt_collide` and `HashCollection::st_collide`.

Pull-Request: #664
Reviewed-by: Frédéric Vachon <fredvac@gmail.com>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Deserialize generics with nitserial

nitserial compiles a Nit module after analyzing a Nit program. This module can then be compiled with the program (possibly using `-m`) to support deserializing any alive generic type. Many generated module can be used to support different libraries with hidden serialization logic, or to support exchanges between a client and a server.

Will be used by the RESTful interface of Benitlux.

Pull-Request: #650
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: cleanup --no-check-*

Some people like to live dangerously, they unplug their usb stick without unmounting, they write long comments in a textbox in a browser, they eat pasta with a white t-shirt.
Now, they can also `--no-check-all` to disable all runtime-tests and sweat pure adrenaline.

Some numbers, because people like numbers: `--no-check-all` gives a small 6% boost for compiling nitg.
(for reference, --semi-global is a 20% boost).

Pull-Request: #665
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Optimize usage of the chars of a string

* The first commit, on `html_escape`, improves nitdoc execution on RnR by about 10s, or 6%.
* The second commit _theorically_ improves access to the chars of strings. It _worsen_ the execution of nitdoc on RnR by about 9s.

The overall gain on this specific use case is of 1s. Obviously this PR is not to be merged as is!

Pull-Request: #663
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: nitg-e doesn't know the full type of generics, expect the error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test a module generated by `nitserial`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test nitserial itself

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: extend test_deserialization with generics

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitserial: intro a support tool to deserialize generic types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/json_serialization: support Arrays

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/string: use indexed access to chars instead of iterators

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

comp: add --no-check-all

Signed-off-by: Jean Privat <jean@pryen.org>

comp: rename --no-check-other to --no-check-null, because it is what it does

Signed-off-by: Jean Privat <jean@pryen.org>

nitgg: correclty disable attr check with --no-check-attr-isset

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Ai search

Second part of the ai library. now with astar (and other search algos)

Look a puzzle.nit for a simple example of usage.

Pull-Request: #660
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Intent: An android API to launch activities and services

New API for `lib/android` allowing to start/stop activities and services. Intent tests raised new subtle errors in `Bundle`API and `Audio` API that have been fixed in this PR.

Pull-Request: #644
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: UTF-8 Strings without index

Another WIP version of UTF-8 Strings, without indexing this time.

This is more likely to become the final implementation, depending on the performance of it. I'll add benches for the versions of UTF-8 to examine their impact and decide a bit later.

This implementation being less rigid than the other, more of the API is supported, still, more work needs to be done.

Pull-Request: #655
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Memcpy -> memmove

As discussed in #655, this PR replaces the uses of memcpy in standard by memmove, a safer alternative while not costing that much more.

Before : 0m15.584s
After : 0m15.748s

Pull-Request: #661
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Finalizing Nit objects on garbage collection

Rules for finalizable objects:

* They must be a standard Nit class (not an extern, nor a universal).
* They must not have any cycles, or else they won't be finalized.
* In practice, they should be used on small Nit objects acting as a thin layer around a resource. In other words, it is to be used in the Nity layer.
* `finalize` may be invoked more than once, and the underlying resources may also be used by other instances. This must be considered when implementing `finalize`.
* The finalizer will be called on garbage collection. It can be forced with `sys.force_garbage_collection`.
* When attempting to aquire a limited resource (for example, a file description) if you hit the limit, it is a good practice to force the garbage collection and try again.

Pull-Request: #659
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Frédéric Vachon <fredvac@gmail.com>

lib: introduce module hash_debug

Signed-off-by: Jean Privat <jean@pryen.org>

lib/android: Removed deprecated `super Serializable`

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

lib/android: Fixes audio module tests

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

lib/android: Bundle API JNI error fix

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

lib/android: Added Intent API tests to mnit_simple

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

lib: use a simple iteration in `html_escape` and move to `string`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test finalization effect

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitg & lib: intro `Finalizable` to be called when an object is freed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/ai: add the n-puzzle problem as an example of search

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ai: add search.nit as the second module

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: Replace memcpy by memmove for safety.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: Updated README

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

utf8_noindex/tests: Added a test for utf8 without index variant

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: FlatBuffer is compatible with UTF-8

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: AI backtrack

The first part of the artificial intelligence library.

This provides a framework for a basic backtracking algorithm.

It is used in a standard 8 queens problem (quite elegant!), but also replace the specific solver in friendz (the new solver is a little faster in fact)

Pull-Request: #642
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

friendz: add solver_cmd for solve from command line

Signed-off-by: Jean Privat <jean@pryen.org>

friendz: use ai::backtrack instead of the ad-hoc solver

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ai: add the eight-queen problem as an example

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ai: introduce the ai library with `backtrack` as the first module

For information, the logic is extracted from the solver of friendz.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/android: Intro of the Android Intent API

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

Merge: Compare arrays

Improve comparaisons in arrays

Pull-Request: #658
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: lib/trees: improve bintrees efficiency

First, comment potential slow asserts in the hot-path.
These asserts are needed only to check that the implementation is
correct.

Second, use a single `<=>` instead of doing multiple comparisons.
So reduce the total number of comparisons.

On a real instance (IA-related problems), the gain is the following:

RBTreeMap, 8738 insertions, 24855 accesses
Before: 2.54s
After: 0.07s (so, in the noise)

Pull-Request: #653
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Improve Floats perfs

Improve perf for those who do not need excessive boxing of floats

Pull-Request: #656
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Reactivate shortcut range

Since transform.nit and the Numeric class (that renamed Discrete::succ into something else) the optimization that shortcut range was innefective.

After reactivating them, Perf increase is approx 5%.

Pull-Request: #657
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update because line changes in errors.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: add ArrayCmp to easily compare arrays of comparable elements.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: add fast implementation for Array::==

Signed-off-by: Jean Privat <jean@pryen.org>

transform: do not transform rranges in for; this reactivates the short-range optimisation

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav related to lines in kernel

Signed-off-by: Jean Privat <jean@pryen.org>

comp: shortcut-range work also on closed ranges

Signed-off-by: Jean Privat <jean@pryen.org>

comp: fix shortcut-range (succ was removed)

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: Float has their own `==` and Comparable-related methods

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string_exp/utf8_no_index: Bytelen now defined in Text

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: Adapted String methods to UTF-8 string

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: Added char_at, does the same as [] but with UnicodeChar.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: Added new constructor for UnicodeChar

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_no_index: Introducing utf8 variant without indexes

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: jwrapper: New features added

This may be considered as the first release of jwrapper. Here's a list of the new implemented features since the last PR:
* Grep into `lib/android` to retrieve already wrapped classes
* Auto-generate licence
* Basic user interface added
* Choice between :
  * Auto-wrap unknown types
  * Comment methods containing unknown types

Pull-Request: #641
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/trees: improve bintrees efficiency

First, comment potential slow asserts in the hot-path.
These asserts are needed only to check that the implementation is
correct.

Second, use a single `<=>` instead of doing multiple comparisons.
So reduce the total number of comparisons.

On a real instance (IA-related problems), the gain is the following:

RBTreeMap, 8738 insertions, 24855 accesses
Before: 2.54s
After: 0.07s (so, in the noise)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Sys.run

Add `Sys::run` as the new entry point of programs.
So some modules (eg. platforms) can more easily inject code before or after the execution of programs.

Pull-Request: #652
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/jwrapper: Added jwrapper.res to sav

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

Merge: Improve hash perfs

Some improvements.

## nitg nitg.nit
before: 0m9.688s
after: 0m9.172s

## ./nit naive_interpreter.nit
usage of HashCollection before:
average length: 128.41
average capacity: 294.06 (229.01%)
average number of collisions: 113571 (35.27%)
average length of collision: 3.74

usage of HashCollection after:
average length: 128.40
average capacity: 327.42 (255.00%)
average number of collisions: 62608 (19.44%)
average length of collision: 2.29

All this is needed for the ai library

Pull-Request: #651
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/jwrapper: Added README

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

contrib/jwrapper: Auto-generate licence

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

Merge: tests: remove duplicated contrib tests from testfull

The previous globs already get them

Pull-Request: #648
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: A few Java and Android fixes

Pull-Request: #649
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

contrib/jwrapper: Added basic UI

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

contrib/jwrapper: Retrieves existing extern classes using grep

Signed-off-by: Frédéric Vachon <fredvac@gmail.com>

tests: update sav because line changes in standard::array

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: improve implementation of `Set.hash` and `Sequence.hash`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: better policy for enlarging HashCollection

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update because line changes in kernel.nit

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add base_redef_run

Signed-off-by: Jean Privat <jean@pryen.org>

lib/kernel: introduce `Sys::run` as the entry point of programs

Signed-off-by: Jean Privat <jean@pryen.org>

engines: the entry point is `sys.run` or else `sys.main`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/std: more efficient Collection::to_a

Signed-off-by: Jean Privat <jean@pryen.org>

lib/java: move up `to_java_string` from `String` to `Text`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

java: allow code block inside generated class (works only on Android)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: compile C code with an "infinity" of threads (~12% faster)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: fix min/max/taget_api_version annotation reduce

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: remove duplicated contrib tests from testfull

The previous globs already get. them

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: vim: allow spell check on string literals and comments.

Just `:set spell` to see errors, and `z=` on highlighted words to see
suggestions.

Pull-Request: #643
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Frédéric Vachon <fredvac@gmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

vim: allow spell check on string literals and comments.

Just `:set spell` to see errors, and `z=` on highlighted words to see
suggestions.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/realtime: Add Timespec::to_f (and to_s) so one can print them easyly

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: sendmail & detect programs in path (also used in Inkscape)

Pull-Request: #636
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/standard: rework and factorise queues and heaps.

Rewrite most of the queue and head data-structures.

1. move them is their own module (instead of the end of the collection files)
2. make Queue the abstract queuing interface (I need this for my IA library)
3. faster Heap implementation

Pull-Request: #639
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: introduce and use MModuleData

This introduces a helper module `mmodule_data` to store and retrieve arbitrary data trough module hierarchies.
Then `annotation` helper is extended to simplify the retrieval of annotations trough hierarchies of moduledecl
This allows the simplification of `android_annotations` by the use of the new services.

user-declared annotations in then implemented annotations (closes #623)

Pull-Request: #633
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: base_user_annotation4 for multiple annotation declaration

Signed-off-by: Jean Privat <jean@pryen.org>

check_annotation: warn if a module declares again annotation

Signed-off-by: Jean Privat <jean@pryen.org>

tests: updates for user-declated annotations

Signed-off-by: Jean Privat <jean@pryen.org>

lib: add user-declared annotations on some modules

Signed-off-by: Jean Privat <jean@pryen.org>

src: new phase check_annotation

Signed-off-by: Jean Privat <jean@pryen.org>

android: remove priority_annotation_on_modules and use lookup_annotation_on_modules instead

Signed-off-by: Jean Privat <jean@pryen.org>

annotation: add lookup_annotation_on_modules and related methods

Signed-off-by: Jean Privat <jean@pryen.org>

lib/standard: rework and factorise queues and heaps.

Rewrite most of the queue and head data-structures.

1. move them is their own module (instead of the end of the collection files)
2. make Queue the abstract queuing interface (I need this for my IA library)
3. faster Heap implementation

Signed-off-by: Jean Privat <jean@pryen.org>

lib: intro the sendmail module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

version 0.6.7

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Add and icon, an app name and a version for Ballz & fix version for Moles

Pull-Request: #635
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Minor fixes to the Android support

Pull-Request: #634
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

inkscape_tools: detect if inkscape is installed

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>