src: create groups for related things

File are moved, some minimal change in importations

* modelize
* semantize
* frontend
* compiler
* interpreter

Signed-off-by: Jean Privat <jean@pryen.org>

src: clean white-spaces and license in some files

Signed-off-by: Jean Privat <jean@pryen.org>

src/metrics: clean importations

Signed-off-by: Jean Privat <jean@pryen.org>

niti: remove dependency on common_ffi

Signed-off-by: Jean Privat <jean@pryen.org>

src: cleanup importations

Signed-off-by: Jean Privat <jean@pryen.org>

src: add new hub modules to regroup related things together.

modelize: for modelize_*
semantize: for typing/auto_super_init/scope/flow/etc.
compiler: for compiler related things
interpreter: for interpreter related things

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: String: Bugfixes

When rewriting the to_s method in Array, an error was subtle enough to fight its way through the tests but was discovered when reworking the Ropes (yup, be prepared, it'll appear once more).

Oh and there was a bug in the substring_from method (well, more of a lack of efficiency then a real bug).

Pull-Request: #699
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/standard/string: reverse iterator fix on substring. Fixes #709

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Nitunit: Allow external test files.

Unit testing can now be achieved in two ways:

* using `DocUnits` in code comments
* using `TestSuites` with test unit files

`DocUnits` are executable pieces of code found in the documentation of modules,
classes and properties.
They are used for documentation purpose, they should be kept simple and illustrative.
More advanced unit testing can be done using TestSuites.

`TestSuites` are test files coupled to a tested module.
They contain a list of test methods called TestCase.

## Working with `DocUnits`

With DocUnits, executable code can be placed in comments of modules, classes and properties.
 The execution can be verified using `assert`

 Example with a class:

    module foo
    #    var foo = new Foo
    #    assert foo.bar == 10
    class Foo
        var bar = 10
    end

 Everything used in the test must be declared.
To test a method you have to instanciate its class:

    module foo
    #    var foo = new Foo
    #    assert foo.bar == 10
    class Foo
        #    var foo = new Foo
        #    assert foo.baz(1, 2) == 3
        fun baz(a, b: Int) do return a + b
    end

 `nitunit` is used to test Nit files:

    $ nitunit foo.nit

## Working with `TestSuites`

 TestSuites are Nit files that define a set of TestCase for a particular module.

 The test suite must be called `test_` followed by the name of the module to test.
 So for the module `foo.nit` the test suite will be called `test_foo.nit`.

 The structure of a test suite is the following:

    # test suite for module `foo`
    module test_foo
    import foo # can be intrude to test private things
    class TestFoo
        # test case for `foo::Foo::baz`
        fun test_baz do
            var subject = new Foo
            assert subject.baz(1, 2) == 3
        end
    end

 Test suite can be executed using the same `nitunit` command:

    $ nitunit foo.nit

 `nitunit` will execute a test for each method named `test_*` in a class named `Test*`
 so multiple tests can be executed for a single method:

    class TestFoo
        fun test_baz_1 do
            var subject = new Foo
            assert subject.baz(1, 2) == 3
        end
        fun test_baz_2 do
            var subject = new Foo
            assert subject.baz(1, -2) == -1
        end
    end

 `TestSuites` also provide methods to configure the test run:

 `before_test` and `after_test`: methods called before/after each test case.
 They can be used to factorize repetitive tasks:

    class TestFoo
        var subject: Foo
        # Mandatory empty init
        init do end
        # Method executed before each test
        fun before_test do
            subject = new Foo
        end
        fun test_baz_1 do
            assert subject.baz(1, 2) == 3
        end
        fun test_baz_2 do
            assert subject.baz(1, -2) == -1
        end
    end

 When using custom test attributes, a empty init must be declared to allow automatic test running.

 `before_module` and `after_module`: methods called before/after each test suite.
 They have to be declared at top level:

    module test_bdd_connector
    import bdd_connector
    # Testing the bdd_connector
    class TestConnector
        # test cases using a server
    end
    # Method executed before testing the module
    fun before_module do
        # start server before all test cases
    end
    # Method executed after testing the module
    fun after_module do
        # stop server after all test cases
    end

## Generating test suites

 Write test suites for big modules can be a pepetitive and boring task...
 To make it easier, `nitunit` can generate test skeletons for Nit modules:

    $ nitunit --gen-suite foo.nit

 This will generate the test suite `test_foo` containing test case stubs for all public
 methods found in `foo.nit`.

 Useful options with `--gen-suite`:

* `--private`: also generate tests for protected and private methods
* `--force`: force generation of the skeleton (existing test suite will be overwritten)

Pull-Request: #627
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Move `android::java_io` to `java::io`

Fix #696

Pull-Request: #705
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: Added test for the special case of Array.to_s with a Rope.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/string: bugfix in Array::to_s when encoutering another structure than a FlatString

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/string: Proper handling of trivial cases in substring_from.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nitunit: update tests.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: remove java_io from cc.skip

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: update users of `java::io`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

java: move `android::java_io` to `java::io` & remove refs to android

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: java is a group

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

version 0.6.8

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Test libs

Improve libs so that all tests on them pass.

Currently, ./testfull.sh does test only a subset of the files in lib/.
With this PR all files in lib are considered.

Changes are:

* some lib files are fixed to allow an independent build for each engine.
* targetless-mnit and linux-mnit automatically exit in a testing environment
* platforms tests are silent, so that niti and sav are easier to manage.

Pull-Request: #698
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: testfull includes all sources in lib/

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add java_io to cc.skip

See #696

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string_exp: add a missing FFI `import UnicodeChar.len`

Signed-off-by: Jean Privat <jean@pryen.org>

lib/mnit: globally protect from NIT_TESTING

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add more .res (or skip) for some libs

Signed-off-by: Jean Privat <jean@pryen.org>

tests: remove mnit_linux related tests from exec.skip

Signed-off-by: Jean Privat <jean@pryen.org>

lib/mnit_linux: globally protect from NIT_TESTING

Signed-off-by: Jean Privat <jean@pryen.org>

tests: Not executable plateforms produce empty .res

This reduce the number of .res files and accommodate niti

Signed-off-by: Jean Privat <jean@pryen.org>

lib/android: use min_api_version in intent and shared_preferences

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Clean tests

Great scripts to test stuff; most come from unpublished scripts from our Jenkins instance.
A lot of cleaning in the tests/sav directory.
And some unpublished tests

The `search_tests.sh` script is quite useful to retrieve the original program for some test:
~~~.sh
$ ./search_tests.sh hello_world sav/base_var_type_evolution_null_alt3.res
../examples/hello_world.nit
base_var_type_evolution_null.nit
~~~

It will be also used by Jenkins to check that each sav/*res file has a corresponding test; since commit 'tests: add missing test files whose sav files where committed' show that sometime the .res are committed but without the corresponding .nit

The `search_tests_git.sh` looks in the git commit to found modified things to tests.
Basically, the simple usage is to perform all engines on the result:

~~~.sh
$ ./testall.sh `./search_tests_git.sh origin/master HEAD`
~~~

Pull-Request: #691
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: add time and timestamp in tests.sh

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitdoc: cache `concern_rank`

Improve performance of nitdoc by 60 times in some cases!

Fixes #692, nitdoc on RnR goes from 8 min to 7 sec.

Thanks-to: Jean Privat <jean@pryen.org>

Pull-Request: #695
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add search_tests_git.sh

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add search_tests.sh to retrieve the original nit files of tests

Signed-off-by: Jean Privat <jean@pryen.org>

tests: activate some exising tests in examples/

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add missing test files whose sav files where committed

Signed-off-by: Jean Privat <jean@pryen.org>

tests: remove remaining and obsolete sav/ files

Signed-off-by: Jean Privat <jean@pryen.org>

tests: split testfull.sh into listfull.sh that just lists testfiles

Signed-off-by: Jean Privat <jean@pryen.org>

tests: fix errlist

Signed-off-by: Jean Privat <jean@pryen.org>

misc: make public some scripts used by Jenkins

Signed-off-by: Jean Privat <jean@pryen.org>

nitdoc: cache `concern_rank`

Improve performance of nitdoc by 60 times in some cases!

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Less OES in opengles

Because of things explained in the debian bug [754397](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=754397), the compilation of mnit project fails on linux systems with a recent mesa library.

One way to solve the problem is to not rely on the OES symbols that cause the issue.
Fortunately, it seems that classes and methods that use those symbols are unused and tagged broken, so just remove them.

Closes #689
Closes #677

Pull-Request: #694
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/mnit/opengles: cleanup C dependencies.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/mnit/opengles1.nit: remove unused part that rely on _OES symbols

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Calculator refactor & numerics proposition

* Modularize calculator.nit into 3 modules and move to a project structure.
* Rewrite the code behind the displayed string.
* Use numerics to switch nicely between `Float` and `Int`
* No more weird bug with the C button.

The Android UI will follow in another PR.

Pull-Request: #646
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: add README for group `testing` and redirect from nitunit doc.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: allow test-suite skeleton generation.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: allow testing from external files called test-suites.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

calculator: add Makefile

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: major logic refactor, move up display code & use numerics

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: move to a project folder

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro the `standard::numeric` module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: phase: Do not revisit all annotations for each phase

Instead of one visit per phase per module, do one single visit per module that collect the nodes.

With the standard `nitg nitg.nit`, the gain is approx 4%. Not so bad.

Pull-Request: #690
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

phase: Do not revisit all annotations for each phase

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Less char boxings

Because of the way the boxing is done in nitg-s, the services in the `Text::chars` view cause unnecessary boxing of chars.

After profiling, we found that the biggest consumers of such boxing are `Lexer::get_token` and `BufferedIStream::read_all`.

Thus, the idea is to implement a efficient `Text::[]` method that do not use the `chars` view. Then to update the two consumers to use it instead.

With `nitg nitg.nit`, the total gain is approx 5%, and the number of boxes of char is reduced by 70% (from 4.8Mboxes to 1.4Mboxes).

Note: this is only an easy workaround until the boxing is done better in nitg (mid-term goal)

Pull-Request: #688
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Clean make

The various Makefile need some love. So, a new recipe `full` can be used to build programs from examples and contrib.

The `clean` recipe is also updated to work and clean stuff.

However, some questions:

1. Should the `clean` recipe clean the binaries? I did not fine a definitive answer on the Internet.
2. Should the binaries be .gitignored?

Note: In a near future, Jenkins may also check that all the Makefile, and their `clean` work as expected.

Pull-Request: #687
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: factorize test_dir processing into test_base.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitunit: split module into one executable and a group named `testing`.

Introduce module `test_doc` that implements "doc-units".

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib/sort_downloads: use relative nitg binary

Signed-off-by: Jean Privat <jean@pryen.org>

Makefile: clean the clean recipes

And remove the useless dist-clean recipe

Signed-off-by: Jean Privat <jean@pryen.org>

parser: Lexer.get_token use String[j] instead of String.chars[]

Signed-off-by: Jean Privat <jean@pryen.org>

lib/stream: BufferedIStream.read_all use Buffer[j] instead of Buffer.chars[]

Signed-off-by: Jean Privat <jean@pryen.org>

lib/string: redefine [] for FlatString and FlatBuffer without using chars

Signed-off-by: Jean Privat <jean@pryen.org>

Makefile: add recipe `full` to build examples and programs.

Signed-off-by: Jean Privat <jean@pryen.org>

examples/mnit_*: add icon in .gitignore

Signed-off-by: Jean Privat <jean@pryen.org>

examples/mnit_*: add Makefile recipe to build svg_to_icons

Signed-off-by: Jean Privat <jean@pryen.org>

leapfrog: add .gitignore

Signed-off-by: Jean Privat <jean@pryen.org>

leapfrog: fix Makefile

Signed-off-by: Jean Privat <jean@pryen.org>

online_ide: add .gitignore

Signed-off-by: Jean Privat <jean@pryen.org>

jwrapper: add .gitignore

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: .gitignore .out files

Signed-off-by: Jean Privat <jean@pryen.org>

nitcc: generate info files with .out instead of .txt

Signed-off-by: Jean Privat <jean@pryen.org>

gitignore: ingore all bin/ and doc/ in examples/

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: lib/standard: optimize Array.to_s

Micro-optimized version of Array::to_s based on the results of benchmarks available in PR #685.

`./bin/nitg ./src/nitg.nit`
Before : `15.080 s`
After : `13.928 s`

Pull-Request: #686
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Bench string

Added a few benches for variations of String and Array.
Also added a array_debug module on the same idea as hash_debug (PR #664) to track the use of to_s in Array (other functions may be supported someday if needed).

The UTF-8 benchmarks only work with the no-index version for now.

Pull-Request: #685
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Utf8 strings - noindex

Added a few features missing from UTF8 Strings without index.

NOTE : It is slow and space-consuming (lots of allocated characters and no GC), however by experimenting a bit (read : force UnicodeChar as a Universal intern class), the performance is surprisingly close to the old ones and the memory-use becomes acceptable once again :
* < 10% loss for iteration (with iterator, not index, this is much slower) and concat
* substring is slower by a significant margin (75%), however considering the cost of the ancient one (close to none), I guess this is still acceptable.

Pull-Request: #684
Reviewed-by: Jean Privat <jean@pryen.org>

tests: Update tests for conformance with modifications.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/string: Array.to_s micro-optimization

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/standard/array: new NativeArray/NativeString are now usable everywhere.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/array_debug: Added array_debug module to keep stats on Array use in a program.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

benchmarks/string: Added benchmark for Array.to_s

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

c_src: Fix uname in Makefile

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: New constructors

A very long development for a very important but experimental feature: the new-style constructors.

Most of the cleaning and other stuff was committed under interdependent PR.
So what remain here is the hardcore fundamental stuff.

I didn't find a simple way to have nice commits. So I went for some kind of incremental features.

## First commit

It is the worse since it introduces the new-style constructors in the model, semantic analysis and engines.

With the new-style constructors, the point is to understand that the syntax `var a = new A(some_b)` is in fact the following sequence

~~~
var a = ALLOC_INSTANCE(A)
a.b=(some_b)
a.init()
~~~

Where the `a.b=` part is a standard method call for the accessor `b=`.
Therefore, each constructor has a sequence of methods to call, they are called `initializers`.
Since redefinitions of constructor can provide different initializers, the initializers are attached to the MMethodDef class.

Because of this, a MMethodDef for a new-style constructor has two signatures, the real empty msigntature seen by the programmer that implements the constructor, and the one seen by the programmer that uses it to instantiate objects trough `new`, so called `new_msignature`.

~~~
class A
  var b: B
  # here, an implicit init, with, by rule of inheritance, the empty signature
end
var a = new A(some_b) # here the `new` takes a single B
~~~

Note that the `new_msignature` has to be conform with the `inititializers` since the arguments of the `new` are used for the invocations of the inititializers.

Modules `modelize_property` (and `auto_super_init` in a lesser extend) is modified to use new-style constructors for the default/automatic/free/implicit constructors.
Explicit constructors (named or not) use the old-style-constructors.
The code in these two modules is quite complex because it has to deal with the various implicit combinations of the old-style and new-style constructors.

For the engines (and rta), modifications are made to handle correctly the implementations of:

1. the invocation of the new-style constructors. by invoking each initializer, and
2. the implicit body of the new-style default/automatic/free/implicit constructors; they do just a call to super since the initializations of the attributes is done outside the init: in the sequence code of the new.

While user-defined constructor is not present in this commit, all the implicit init are converted.
The boostrap still works, and most tests pass.

## Second commit

Just introduce (and use) the annotation `old_style_init` that is used to mark explicit constructors to use the old semantic (and implementation).
The annotation can be put on a single `init`, or on the whole module.

## Third commit

'simple' `init` are those defined without name nor parameters (and that are public).
They are converted to the new-style constructors.
This is just magic because things, like the boostrap and most tests, still work as expected.

Now, programmers can use the default init and get the initializers automatically called.
Basically, instead of writing

~~~
class A
  var b: B
  init(b: B)
  do
    self.b = b
    rest_of_init
  end
end
var a = new A(some_b)
~~~

just write

~~~
class A
  var b: B
  init
  do
    rest_of_init
  end
end
var a = new A(some_b) # Same client, but less code in the A class
~~~

And simple subclasses get easier

~~~
class SubA
  super A
  var c: C
  init
  do
    some_other_stuff
  end
end
var sa = new SubA(some_b, some_c)
# Done in order:
# 1. set b
# 2. set c
# 3. rest_of_init
# 4. some_other_stuff
~~~

## Fourth commit

Update existing tests.

## Last commit

add a new test that illustrates combination and the linearization of the simple init

## What is next?

### User-definer initializers

Conflict on initializers are detected, but currently there is no simple way for the used to define its own sequence of initializers.

* what syntax to use? something like `init is initializers(a,b,c) do ...`?
* what rules? are any sequence allowed?

### Not-simple constructors

The status of the constructors that remains is still unclear.

* named constructors are the simpler case since the proposed specification want to have them working like standard method but usable with a new. In fact, they will behave as a simple version of the old-style-constructors, with less shenanigans.
* init with parameters, still accepted for compatibility but they should be migrated. If not migratable, more investigation and thinking will be required
* private init. Since the root `init` of Object is public, subclasses cannot change its visibility. So how to indicate that a class cannot be instantiated publicly? Again, more investigation and thinking.

Pull-Request: #679
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: add base_init_basic.nit

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update to pass tests

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: simple inits are new-style

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: tests: do not check whitespace errors in *.res files

Pull-Request: #682
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

string_exp/utf8_noindex: Update README

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/string_exp/utf8_noindex: Access is now done from the nearest point of insertion (begin, end or cache)

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

tests: do not check whitespace errors in *.res files

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Intro `user/group_exists` and apply a few small fixes

Pull-Request: #678
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib/curl: use more precise return types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

bench/strings: Added bench for UTF-8 strings without index

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

src: new annotation old_style_init

Signed-off-by: Jean Privat <jean@pryen.org>

src: introduce new constructors

Signed-off-by: Jean Privat <jean@pryen.org>

lib/privileges: prevent seg faults with asserts and require in doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro `user_exists` and `group_exists`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

sendmail: fix missing empty line between header and body

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Auto super init call next method

If one redefines a constructor in a subclass (a real redefinition, not just a look-alike init with the same name) the auto-super-init phase automatically inserted a call to a compatible constructor in the super-class, so a call to itself, so a fatal infinite recursive call :/

It is an old bug, but nobody did real redefinitions of constructors, except that it will be the norm with the new constructors. So just let solve the bug now, before people start to complain.

Pull-Request: #676
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/string_exp/utf8_noindex: Added cache for last access.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>