misc/vim: update README file

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/vim: delete the first empty line of the preview window on Nitdoc command

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/vim: the Nitdoc command search with priorities

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/vim: make Nitdoc a command

Use this vim command to show the doc of any entities `:Nitdoc Object`.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/vim: fix omnifunc order of results found in the long doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/vim: make private functions local to the script

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Sys is top

And when I say *top* I mean *great*. But I also mean *top* in fact.

The idea is to move the top-level methods (those defined outside classes) from Object to Sys.
While this is a cosmetic move, it has a lot of benefits:

* top-level methods get a real meaningful receiver: the current system. It is meaningful both on the declaration side and the call side.
* no more need to distinguish the concept of top-level methods with their rules and semantic, so this simplify the language with one less thing (almost, see bellow)
* self is now usable in top-level methods, not that useful now because it is `sys`, a singleton, but this allow some kind of inheritance if you add super-classes to Sys.
* no more name conflicts between a standard class method and a top-level method
* no more useless slots in table of classes for crazy methods defined in Object and never redefined
* close #461 and close #1081 by making them irrelevant
* Let us see a bright future where the singleton Sys become a multiton and allow specific isolation of computation. Specific Sys will then be active objects (threads, computation node, actors, whatever) isolated with their own specific cloud of objects and efficient lock-less concurrency, dedicated memory model (realtime?), and why not transparent distribution

There is still two drawbacks

* what is the status of `sys` that represent the current `Sys`? I hard-coded it to stay a method in Object. One way to solve the probem is to make it a keyword (like `self`)
* when doing `foo(x)`, first this tries `self.foo(x)` then `sys.foo(x)` thus this is some additional rule of the language.

Pull-Request: #1249
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Robust IO

Some cleanup on lib/standard/file.nit
Especially close #755

There is still some work to do and question to answer from an API point of view.

Pull-Request: #1246
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: miniclean quadtrees

Still a lot of warning remains...

Pull-Request: #1251
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: remove fixme sav/nitg-g/fixme/test_deriving_alt1.res

Signed-off-by: Jean Privat <jean@pryen.org>

tests: ffi use `Sys_` instead of `Object_` prefix

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update tests results related to top-level or Object->Sys

Signed-off-by: Jean Privat <jean@pryen.org>

code: remove `protected` from top-level methods (now in sys)

Signed-off-by: Jean Privat <jean@pryen.org>

typing: remove most top-level things

only kept for `new` factories and `sys` (for the moment)

Signed-off-by: Jean Privat <jean@pryen.org>

lib/md5: do not import `print` in FFI

Signed-off-by: Jean Privat <jean@pryen.org>

mixin: look for top-level methods in `Sys`.

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_classes: top-level methods are defined in Sys, not Object

Signed-off-by: Jean Privat <jean@pryen.org>

engines: implement special fall-back to sys

Signed-off-by: Jean Privat <jean@pryen.org>

typing: look for method in `sys` when they are not in `self`

Signed-off-by: Jean Privat <jean@pryen.org>

modelize classes: process AStdClassdef before

So that non-AStdClassdef classes can be attached to existing ones if any

Signed-off-by: Jean Privat <jean@pryen.org>

niti: implements native `chdir` and `mkdir` with a return value

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav related to ligne changes in kernel

Signed-off-by: Jean Privat <jean@pryen.org>

contrib/nitester: no more free to call

Signed-off-by: Jean Privat <jean@pryen.org>

lib: move errno and strerror to legacy FFI

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: once some global constants

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: some methods return a nullable Error on error

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: String::files does not exist on error

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: remove useless protected for top-level methods

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: expose FileStat instead of NativeFileStat

Signed-off-by: Jean Privat <jean@pryen.org>

quatree: cleaup indentation

Signed-off-by: Jean Privat <jean@pryen.org>

quadtree: use new constructors

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Misc AST

Various small improvements on the ast side.

The main improvement is the lower consumption of Location instances.
Before: 681k where created; for 174MIr
After:  472k are created (-30%); for 120MIr (-31%)
However, the final impact should be negligible.

Other changes are related to error messages in order to have them more useful in other context.
As a proof of concept, nitlight can show some warnings and errors in the generated HTML.
There is still issue, especially: how to display them property. Currently they are in a popupable dropdown boxes, but the with is too small and nested info boxes show unreadable stacked  things.

Eg, for `return new Foo[nullable Bar]`, how can I show

* information on the classes Foo and Bar
* error on the whole `nullable Bar` because Foo is in fact not generic
* error on the whole `new Foo[nullable Bar]` because in fact we are in a procedure, so no return value is expected

Pull-Request: #1248
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: new `with` statement

Introduce the `with` statement that is analogous to the `with` of Python or the `uning` of C#.

~~~nit
with x = something do
   x.work
end
~~~

That is equivalent with

~~~nit
do
   var x = something
   x.start
   x.work
   x.finish
end
~~~

Note that an alternative syntax, without the local variable exists:

~~~nit
with something do
   work
end
~~~

that is used when we want some automatic control or whatever. Eg resource allocation or critical section.

~~~nit
do
   var tmp = something
   tmp.start
   work
   tmp.stop
end
~~~

Most real-world examples could be

~~~nit
with file = path.create do
   file.write("Bla")
end
~~~

and

~~~nit
with a_mutex do
   work
end
~~~

## Names

I reused the `finish` method from Iterator.
I introduced the antonym `start` for the other side.

Note that the `start` is important because it helps the object to know it has to prepare itself for a `finish`.

I did not introduce an interface, mainly because I have no idea for a name. C# names it `IDisposable` and the `finish` method is called `Dispose`. There is no `start` because C# designers are lunatic sometime.

In python there is no interface (obviously) and the method are called
`__enter__` and `__exit__` because Python likes identifiers that resemble words eaten by boas.
Note that the returned variable is not the original expression but the result of `__enter__`.
With the Python semantic, but the Nit syntax, the first example will be equivalent to

~~~nit
do
   var tmp = something
   var x = tmp.start
   x.work
   x.finish
end
~~~

I am not sure of the benefits of the additional complexity, but the the more I thing about it the more I think this could be useful, ex for the control case the `start` can return the handler to `finish`.

The issue is that proposed syntax: `with x = something` does not make sense (because `tmp=something` and `x=tmp.start`) thus should be replaced with something else; Python uses `with something as x:` that we can reuse but I do not want because it is ugly.

An other alternative I tough of was to reuse the `for` keyword. but It is convoluted.
The two previous real world examples will then be

~~~nit
for file = path.create do
   file.write("Bla")
end
~~~

and

~~~nit
for a_mutex do
   work
end
~~~

Pull-Request: #1243
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Etienne M. Gagnon <egagnon@j-meg.com>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update nitlight and test_parser

Signed-off-by: Jean Privat <jean@pryen.org>

hightlight: remove two asserts that make #1247 crashes

the result is still buggy but things keep-going

Signed-off-by: Jean Privat <jean@pryen.org>

test_parser: add option `-x` to output XML

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: add infoboxes with messages

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: factorize the creation of tags

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: error methods return the messages, to add information

unused yet.

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: attach errors message to their location

Signed-off-by: Jean Privat <jean@pryen.org>

parser: reuse child location when possible

Signed-off-by: Jean Privat <jean@pryen.org>

lexer: do not create useless location (for whitespaces)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Parallelization phase introduction

Introduces the begining of the parallelization in Nit !

For now, only accepts the "threaded" annotation on methods without return value and without parameters.

Coming next :
Parametrized methods,
methods with return value,
for loops.

Pull-Request: #1247
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Not null types

In order to fix #86 and #1238 some preliminary work to solve remaining issues with the type system is needed. This PR is a step toward this goal.

This introduce not-null types, that is a modifier to indicate that a type cannot contain null.
Basically, this new modifier is almost useless because it is the semantic of all the types (except obviously null and nullable things). Except in one case: when one adapts a formal type whose bound is nullable.

Before the PR, the semantic was the following

~~~nit
class A[E: nullable Object]
   fun foo(e: E, o: nullable Object) do
      var o2 = o.as(not null) # the static type of o2 is `Object`
      print o2 # OK
      var e2 = e.as(not null) # the static type of e2 is still `E` because there is no `nullable` to remove
      print e2 # Error: expected Object, got E
   end
end
~~~

Obviously, the issue was not that important because people managed to program complex things in Nit and I do not remember getting some complain about that particular issue. For the rare cases of this unexpected behavior, a workaround was possible: to cast on the non-nullable bound

~~~nit
   var e2 = e.as(Object)
   print e2 # OK
~~~

Nevertheless, the behavior was still buggy since type information was lost and not POLA. Moreover, `!= null` and `or else` did not have a workaround.

So, this PR introduces a special new type-modifier for this case so that everything become sensible.

~~~nit
      var e2 = e.as(not null) # the static type of e2 is now `not null E`
      print e2 # OK
~~~

Moreover, a lot of local refactorisation was done in model.nit and typing.nit to clean and harmonize the code. So that independently of the new notnull modifier, the code is cleaner, some bugs where removed and some small features added, especially the detection of useless `or else`.

Last, but not least, the `not null` thing is only an internal modifier and is not usable as a syntactic type construction (the grammar and the AST is unchanged); `not null` can however be shown to the programmer in messages.

~~~nit
      var e2 = e.as(not null) # the static type of e2 is now `not null E`
      var e3 = e2.as(not null) # << Warning: expression is not null, since it is a `not null E` >>
~~~

I could easily add `not null` as a specific syntactic construction since everything internally is ready. but 1. does this worth it?. 2. I do not want to conflict with #1243 that also change the grammar.
As an example, is it useful to write the following? (currently refused but very easy to add after this PR)

~~~nit
class A[E: nullable Object]
   fun foo(e: not null E): not null E do
      var x = e.to_s # no null pointer exception
      # ...
      return e
   end
end

var a = new A[nullable Int]
var i = a.foo(5)
~~~

Pull-Request: #1244
Reviewed-by: Etienne M. Gagnon <egagnon@j-meg.com>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Improve checking of virtual types

This PR does 2 things to avoid runtime errors during nitc. Invalid programs that crashed the compiler now display errors messages.

* improve the static detection of loops in virtual types.
* consider types in the signatures of properties to be fragile since they contains potentially bad virtual types.

If merged with #1241 then nitpick can process the whole tests directory without crashing (impressive, since there is 1584 border-case files).
~~~
$ ./nitpick ../tests/*.nit ../tests/alt/*.nit -I ../lib/standard/ -I ../lib/standard/collection/
[... lots of errors ...]
Errors: 1766. Warnings: 195.
~~~

Pull-Request: #1245
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Romain Chanoir <chanoir.romain@courrier.uqam.ca>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Clean benches

Some janitoring in the benchmarks directory

Pull-Request: #1242
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Robust keep-going

Detection and resolution of crashes or irrelevant error messages with tools that keeps going (eg. nitpick).

Historically, the compiler just exited at the end on a step when an error occured. The ToolContext#keep_going flag disable this automatic exit and was introduced for tool that are expected to be launched on broken code: nitpick and nitlight. However most parts of the code expected that:

* the previous steps where completed successfully, and expected information where available and correct.
* they are that special important snowflake can just exit the whole program when they are unhappy.

These rules can make sense for a compiler but are to strict for most SE tools that need to work (or continue working) when some random module contain an error.
Thus this PR improve the robustness of various parts of the code for the keep-going case so that we do not exit or crash before having processed all the modules.

With this PR, the following command does not crash anymore:

~~~
$ nitpick `nitls -rps ../lib ../contrib ../examples`
[...]
Errors: 10. Warnings: 31.
~~~

Note that `nitpick ../tests` still crashes. There is ugly errors hard to recover from in this directory.

Maybe, one day most of the tools can be made keep going by default.

Pull-Request: #1241
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Etienne M. Gagnon <egagnon@j-meg.com>

src/hightlight: hightlight and do not crash on MNotNullType

Also add MNullType that where missing.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add base_not_null.nit and base_notnull_lit.nit

Signed-off-by: Jean Privat <jean@pryen.org>

code: remove useless `or else` now that they are detected

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update test_new_native_alt1.res because line change in array :(

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update because resolved types are in error messages

Signed-off-by: Jean Privat <jean@pryen.org>

typing: on type error, also indicate the resolved type

Signed-off-by: Jean Privat <jean@pryen.org>

Update tests error message on null adaptation and tests

Signed-off-by: Jean Privat <jean@pryen.org>

lib/array: suppress a warning to be compatible with the bootstrap

Signed-off-by: Jean Privat <jean@pryen.org>

model: rename `as_notnullable` to `undecorate`

The behavior is to remove the decoration, and `as_notnullabe` is not
the best name to undecorate a `MNotNullType`

Signed-off-by: Jean Privat <jean@pryen.org>

typing: add `check_can_be_null` to fix and factorize as_notnull transformations

Signed-off-by: Jean Privat <jean@pryen.org>

model: add new type `MNotNullType` to force that null is excluded from a type.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/base_virtual_type7.res

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add error_virtual_type.nit and error_virtual_type2.nit

Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: add some doc and nitunits

Signed-off-by: Jean Privat <jean@pryen.org>

clib/gc_chooser: add a default for a switch to silent a warning

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: improve the search of circularity for virtual types

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: use resolve_mtype_unchecked during build_signature

Signature can contain illegal type made of virtual types.
But at this point, the virtual types are not yet validated.

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: remove unused ASignature::build_signature

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ai: remove randomness in puzzle so benches can compare sanely

Signed-off-by: Jean Privat <jean@pryen.org>

model: extract a common proxy from MNullableType

This will simplify the creation of future proxys/decorations for types.

Signed-off-by: Jean Privat <jean@pryen.org>

src: use MFormalType for type checks when it makes sense

Signed-off-by: Jean Privat <jean@pryen.org>

model: introduce MFormalType as a superclass of MVirtualType and MParameterType

Strangely enough, they do not have common methods yet.
It is why a super-class was never introduced.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add base_with.nit

Signed-off-by: Jean Privat <jean@pryen.org>

code: rename identifiers `with` since it is a keyword now

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: interpret `with` statement

Signed-off-by: Jean Privat <jean@pryen.org>

transform: transform the `with` statement

Signed-off-by: Jean Privat <jean@pryen.org>

benches/strings: add .gitignore and `make clean`

Signed-off-by: Jean Privat <jean@pryen.org>

benches/engines: remove nitcc generated files for calc

Signed-off-by: Jean Privat <jean@pryen.org>

benchs/markdown: add a .gitignore to avoid cruft

Signed-off-by: Jean Privat <jean@pryen.org>

benchs/markdown: add a root Makefile

most for the for the `clean` than for the `all`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update fatal error messages.

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: call only `errors_info` once at the end

Thus only display one total of errors/warnings, not one per call of `check_errors`

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: run_global_phases do nothing for an empty list of modules

Signed-off-by: Jean Privat <jean@pryen.org>

typing: do not rely on `MModule.object_type` that will fatal error

Instead get the standard `missing class` error and continue processing

Signed-off-by: Jean Privat <jean@pryen.org>

model: get_primitive_class filter classes by module

This make the analysis of distinct kernels possible (and robust)

Signed-off-by: Jean Privat <jean@pryen.org>

typing: be more robust on missing/buggy information

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_class: make the class-name-conflict a warning

as an error, it prevents temporary duplication of same classes
for development and experimentation.

One do not want to have an hard error in a file because a random file
in the same directory has issues.

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: invalidate information to avoid causing cascaded errors

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_class: make various steps more robust if the previous steps failed

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: promote `get_mclass_by_name` from typing

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: resolve_mtype does not crash when the class is incomplete

Signed-off-by: Jean Privat <jean@pryen.org>

model: protect MClassDef.is_intro and provide MClass.try_intro

Signed-off-by: Jean Privat <jean@pryen.org>

loader: build_module_importation invalidates the mmodule on errors

Signed-off-by: Jean Privat <jean@pryen.org>

loader: the AModule.mmodule can be null if the mmodule is invalid

Signed-off-by: Jean Privat <jean@pryen.org>

various phases: more robust for keep-going

Entry point of most phases return gracefully in case of missing info.
Instead of crashing.

Signed-off-by: Jean Privat <jean@pryen.org>

benchs/markdown: fix location of nitc

do not assume $PATH and make it modifiable

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: parser: add a basic sabblecc3 parser in Java

So one can more easily play and compare parsers.

Sometime, when I have issues with the parser, it helps to understand if it is nit-related, sablecc-related or grammar-relater.

Pull-Request: #1240
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Unite app.nit metadata annotations common to Android and iOS

* Rename the annotation `java_package` to `app_namespace`.
* Move up `app_name`, `app_version` and `app_namespace` and their default values from the Android platform.
* Apply these annotations in iOS too.
* Use the annotations in Hello iOS.

Pull-Request: #1233
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Updated bench scripts for strings

Updated the script for benching the variants of strings.

Some new variations for strings will follow in further PRs

Pull-Request: #1230
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean Privat <jean@pryen.org>

parser: add a basic sabblecc3 parser in Java

So one can more easily play and compare parsers.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: benches/markdown: add `pandoc` engine.

Here the result for 5 consecutive runs.


Pull-Request: #1136
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Test compilation of OS X and iOS programs, on OS X

The results of the compilation of iOS apps by XCode are directories. This PR fix tests.sh to detect those directory and report them cleanly.

Also intro a script for running OS X specific tests.

Pull-Request: #1232
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: lib/standard/string: Added faster to_cstring method on FlatText.

Adds a service for quick cstring in `FlatTexts`, this is mainly to speedup some methods like `write_native`, which takes a cstring in input.

This just creates a new pointer to the same `char*` with an offset.

Since no copy is ever made, its use is highly discouraged in extern code or in cases other than ephemereal uses of the resulting `NativeString`.

Since it adds a new intern service, it cannot be used as is in the standard library as it will need a regeneration of c_src beforehand.

Pull-Request: #1231
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>