json: use `write_char c` instead of `write c.to_s`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Windows: last changes for a working bootstrap

This PR tweaks the generated Makefile so it works under Windows and silences the excessive warnings when casting ints to pointers, which is used to optimize `Int`, `Char` and `Bool`. And, to fix the heuristic that finds the Nit dir, this PR modifies two methods to support Windows path separator `\` and the PATH env var separator `;`.

These should be the last changes to get a working bootstrap on Windows using msys2/mingw64 tools. Once we regen c_src, you can clone and make Nit from Windows by following the first guide at: http://nitlanguage.org/windows.html Using msys2/mingw64 allows to compile native Windows apps using GNU tools, so the resulting program is an exe file that can use any Windows .dll file and show standard Windows windows.

These changes are far from fixing all issues for running Nit on Windows. However, a working bootstrap will simplify future incremental improvements and will allow detecting regressions with automated testing.

Pull-Request: #2368
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: new module annotation `is generated`

This annotation has no effect on the semantic.
is only intended on software engineering software to discriminate computer-generated modules from human-written ones.

Pull-Request: #2366
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

lib/github: fix api pull request

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix api milestone

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github: fix Commit api for users

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/github/curl: fix error message matching

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/serialization: fix serialization of first attribute

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/json/store: fix object paths

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: add response handler for csv documents

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/nitcorn: add some media types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: simplify_path supports Windows style path

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

toolcontext: support Windows PATH separator ';'

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: silence pointer to int cast warnings on Windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: link with pcreposix but not rt on Windows when using mingw64

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: use '> nul' on windows

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Use `UInt32` to manipulate Unicode chars and support 32 bits platforms

Unicode support was broken on 32 bits platforms and anywhere a C `long` was on 32 bits (such as 64 bits Windows). This caused issues when compiling Nit tools.

This PR modifies the critical code in order to use `UInt32` instead of `Int` to fit all the 32 bits of Unicode chars. To do so, the first commit inverts the dependency order of the modules `fixed_int` and `text` so that `text` becomes a client of `fixed_int`. Also, update how constants are declared and fix a few implicit cast warnings.

Fix Debian 32 bits support #2355 after a c_src regen.

Fix #1945 Unicode support on iOS.

Allows to bootstrap under Windows with other minor changes (for another PR).

Reported-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Pull-Request: #2363

Merge: improve AST dump

The debug method `ANode.dump_tree` is now more versatile and powerful:

* it can hide tokens (and others non useful nodes)
* it can display code line along with the AST
* it can display model information (through refinement in modelize and semantize modules)
* it uses some color so the output is more readable

Eg: for the code

~~~nit
var a: nullable Object = "Hello".substring(1,3)
print "{a or else "?"}"
~~~

the AST dumped is

~~~
1 var a: nullable Object = "Hello".substring(1,3)
AMainMethPropdef  @test_expr.nit:1,1--2,23
`--ABlockExpr  @test_expr.nit:1,1--2,23
   |--AVardeclExpr :nullable Object @test_expr.nit:1,1--47
   |  |--AType :nullable Object @test_expr.nit:1,8--22
   |  `--ACallExpr :String call=String.abstract_text$Text$substring(from: Int, count: Int): String @test_expr.nit:1,26--47
   |     |--AStringExpr :String @test_expr.nit:1,26--32
   |     `--AParExprs  @test_expr.nit:1,43--47
   |        |--AIntegerExpr :Int @test_expr.nit:1,44
   |        `--AIntegerExpr :Int @test_expr.nit:1,46
2 print "{a or else "?"}"
   `--ACallExpr  call=Sys.file$Sys$print(object: Object) @test_expr.nit:2,1--23
      |--AImplicitSelfExpr :Sys @test_expr.nit:2,1
      `--AListExprs  @test_expr.nit:2,7--23
         `--ASuperstringExpr :String @test_expr.nit:2,7--23
            |--AStartStringExpr :String @test_expr.nit:2,7--8
            |--AOrElseExpr :Object @test_expr.nit:2,9--21
            |  |--AVarExpr :nullable Object @test_expr.nit:2,9
            |  `--AStringExpr :String @test_expr.nit:2,19--21
            `--AEndStringExpr :String @test_expr.nit:2,22--23
~~~

Pull-Request: #2364

Merge: mongo::queries: add unwind method

Also fix `op` method so it matches the specification in the comment

Pull-Request: #2362

tests: update nitserial & nitresful sav files with 'generated'

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: use is_generated in various tools and generated files

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add new module annotation `is generated`

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav for test_parser

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitrestful: async services and deserialize plain JSON arguments

This PR brings new features to the generated RESTful services: asynchronous RESTful methods, deserialization of plain JSON objects and more.

Using the annotation and argument `is restful(async)` triggers a method to be executed asynchronously when invoked by an HTTP request. Each RESTful call to this method will be executed by the `thread_pool` attribute of the receiving `RestfulAction`. As such, careful attention should be paid to its code to make sure that it works in parallel to the rest of the services and to other instances/threads of itself. The `thread_pool` can be customized with the desired number of threads and it can also be shared with other services.

Arguments of the RESTful methods are deserialized from JSON format. This PR applies the latest features of the deserialization services and uses the static parameter types as a heuristic to guess the Nit type the incoming data. This is also safer as only subclasses of the static type will be deserialized.

The code generated by nitrestful now considers all RESTful methods in order of declaration. This means that many methods can answer to the same `foo` name, but only the first implementation accepting the HTTP method and the type of the arguments will be executed.

As support, this PR also adds threads support to libevent, handles signal interruptions in `Float::sleep`, makes the `ThreadPool` a bit more permissive, improves support of plain JSON map object and adds a test for the nitrestful example.

Pull-Request: #2360
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

nitc: test_parser use dump_tree instead of an adhoc treeprinter

Signed-off-by: Jean Privat <jean@pryen.org>

ios: remove temporary Unicode fix

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: explicitly cast long to int

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: fix large int constants

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

text: use UInt32 to manipulate chars

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: dump_tree can display the lines of the source-code

Signed-off-by: Jean Privat <jean@pryen.org>

lib/ordered_tree: factorize `write_line` so subclasses can redefine it.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: typing and modelbuilder extends dump_info

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ASTDump exposes color helpers

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ASTDump can display aditionnal information

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: ANode::dump_tree can skip structural nodes

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add ANode::is_structural

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: add Location::get_line

Signed-off-by: Jean Privat <jean@pryen.org>

core: invert dependencies between `text` and `fixed_ints`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

mongo: add query unwind stage

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

mongo: fix query op name to follow the comment/spec

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitunit: fix before and after methods

Before and after method were not actually called in the test suite process.

This PR enables the compilation and run of these methods.

The new behavior is: if the `before_module` test case fails, all the test cases and the `after_module` are skipped and marked as failed.

Pull-Request: #2359
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: macOS: update realtime lib for Sierra

The latest version of macOS, Sierra, defines the functions `clock_gettime` and `clock_getres` which were previously missing. This PR adds support for Sierra while preserving compatibility with El Capitan using a simple heuristic to either use the system provided functions or define them locally.

Reported-by: Marie-Pier Lessard @mplessard

Pull-Request: #2358
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: nitc: inject importation

Extends the nitc code so a phase can inject new submodules.

The main new method the this PR is `ModelBuilder::inject_module_subimportation` that must be used during the analysis on a module.

Up to now, the module hierarchy was fixed and built by the loader before any phases are run.
The basic way was: 1. load the main module, 2. load its imported modules recursively and build the hierarchy, 3. run the phases on all the loaded modules from the most general to the most specific (top-down)
Now the phases can also extends the module hierarchy while running some phases.
This cause the following changes:
* `run_phase` use a work-list (instead of a simple loop)
* new modules can pop up even for the main module of a program, so a fictive main module is always created
* conditional_importations is extended to be used to by inject_module_subimportation.

Pull-Request: #2357
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

nitcorn: add test for nitrestful

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: update restful example with an async method and complex data type

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: intro module to simplify pthreads support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful & lib: use static type to limit and as heuristic at deserialization

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: use mclassdef instead of mclass

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: generate code for async restful methods

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: detect the async keyword

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitcorn: intro RestfulTask

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: intercept at `prepare_respond_and_close` instead

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitrestful: fallback on other restful services if one fails type check

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

libevent: intro services for threads and fork

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: intro `ThreadPool::join_all`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: allow to set `ThreadPool::nb_thread` before first execute

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: `ThreadPool` accept any `Task`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: add tests for nitunit before and after module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/test_suite: update Sys class to nitunit fix

We need the private method so we can compile the test case with intrude.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: compile before and after methods

Tests case will fail if the before method failed.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: fix `before_module` and `after_module` method recognition

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: extract `fail` method to make a test case fail without running it

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

core: Float::sleep to handle interruptions

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

json: support reading plain JSON map when the static type is known

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update metrics because the new fictive bottom module

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: drop the fictive bottom module if unneeded

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add `inject_module_subimportation` to inject importation.

Signed-off-by: Jean Privat <jean@pryen.org>

phase: use a extensible work-list for `run_phases`

Signed-off-by: Jean Privat <jean@pryen.org>

loader: only apply conditional importation on strict submodules

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: always create a main fictive module

This simplify the logic and the number of assumptions.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: first_real_mmodule is now explicitly set.

This solve the issue where `nitc foo.nit -m subfoo.nit` program
is named `subfoo` instead of `foo`.

Signed-off-by: Jean Privat <jean@pryen.org>

realtime: don't use custom functions on Sierra

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitweb: close quicksearch box when clicking outside of it

* Add some crappyjs(TM) to autoclose the search box when the user click somewhere else.
* Also autoclose the box when the user click on a link from the list (unwanted js sideeffects are sometimes wanted)

Checks one more box from #2178

Demo: http://nitweb.moz-code.org

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2354

Merge: nitweb: auto link entitites found in `span code`

This PR introduces a stub feature for nitweb: autolinking entities from `span` code.

Each time nitweb renders a Markdown comment it evaluates the content of each inline `code` tag and tries to match it with the model index. If the content of the `code` tag matches a package, module, class or property, the `code` content is wrapped in a link to that entity.

Examples:

* `Object`: will be rendered as `<a href='/doc/core::Object'>Object</a>`
* `nullable Object`: will be rendered as `<a href='/doc/core::Object'>nullable Object</a>`
* `is_same_instance`: will be rendered as `<a href='/doc/core::Object::is_same_instance'>is_same_instance</a>`.

The name matching algorithm is the same as the one used to resolve short links like `[Object]` or complex directives like `[graph: core]`.

Demo: http://nitweb.moz-code.org

The documentation from the `core` package benefits from the new feature: http://nitweb.moz-code.org/doc/core

Pull-Request: #2353

Merge: Revamp the C string to Nit string services to put forward the safest alternative

There are now three services to convert a `CString` to a `String`:

* `CString::to_s` and `to_s_with_length(byte_length)` copies data into the GC memory and clean the UTF-8 characters. The difference is that `to_s` search for the first null byte to find the length of the string. These services are the safest and recommended for use with the FFI. They replace the old `to_s_with_copy` and `to_s_with_copy_and_length`.

* `CString::to_s_unsafe(byte_length, char_length, copy, clean)` is the unsafe alternative. It can optimize conversion of a string that has already been cleaned, is already in the GC memory or of which the number of characters has already been counted. This service unifies (and replace) the old `to_s`, `to_s_with_length`, `to_s_full` and `to_s_unsafe`.

Also fix `from_percent_encoding` that did not clean its output, same for the binary deserialization of single characters, and `environ` which now copies the C string into GC memory.

Update a test result as there is now one more string (the copy by `environ`) and a call to `String::length` to cut on the calls to `CString::utf8_length`.

This PR applies #2057 and it is based on #2347. That a look at the commit "core: revamp `CString::to_s` services" first.

Edit: The full doc and signature of `to_s_unsafe` for ease of reading:

# Get a `String` from the data at `self` (with unsafe options)
#
# The default behavior is the safest and equivalent to `to_s`.
#
# Options:
#
# * Set `byte_length` to the number of bytes to use as data.
#   Otherwise, this method searches for a terminating null byte.
#
# * Set `char_length` to the number of Unicode character in the string.
#   Otherwise, the data is read to count the characters.
#   Ignored if `clean == true`.
#
# * If `copy == true`, the default, copies the data at `self` in the
#   Nit GC allocated memory. Otherwise, the return may still point to
#   the data at `self`.
#
# * If `clean == true`, the default, the string is cleaned of invalid UTF-8
#   characters. If cleaning is necessary, the data is copied into Nit GC
#   managed memory, whether or not `copy == true`.
#   Don't clean only when the data has already been verified as valid UTF-8,
#   other library services rely on UTF-8 compliant characters.
fun to_s_unsafe(byte_length, char_length: nullable Int, copy, clean: nullable Bool): String

Pull-Request: #2350
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

nitweb: link entities from Markdown code span

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: factorize md utilies to MDEmiter instead of DocCommand

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: close quick search box when clicking outside

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Benitlux: Improve the iOS variation and general bug fixes

General improvements to Benitlux:
* Don't suggest to follow current friends.
* Don't allow to post a review when not logged in.
* Forget current login on an invalid token and don't recheck them.
* Extract the manual button for checking in and out to its own module.
* Use more precise classes to offer more variation points for platform adaptations.

Improvements to the look on iOS:
* Rely on the new default behavior of the iOS implementation of *app.nit* to ellipsize long texts.
* Less auto correct and auto capitalizing.
* Use placeholder text to identify text fields.
* Prettier views and windows in general, more alignment, text color, sizes, etc.
* Fix icon when the font is missing.

See the result for yourself!

Pull-Request: #2352

benitlux: move manual checkin feature to its own module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: prettier iOS adaptation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: revamp the signup window with more variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: classify views in simple classes as variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux server: don't suggest current friends

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: make BeerView labels public attributes so they are variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: refresh home window on receiving an invalid token error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: don't endlessly recheck token if its invalid

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: fix size and alignment of Star & Follow Button

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: flatten icon text to path

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: expect that native objects will be freed between log ins and outs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: disable autocorrect and autocapital.. on user name input text field

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: disable star buttons when not logged in

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: drop the custom ellipsizing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: calculator: bug fix and small tweaks to the iOS adaptation

Fix a bug where numbers would be limited to a single digit after some operations.

Improve the look of the calculator under iOS.

Pull-Request: #2351

Merge: lib/graph: Fix `to_dot`

The `Graph::to_dot` function seldom produced bad dot when used on objects with special formatting in their `to_s` method.

This PR changes that by overriding the ID of a node by an Int.
There is still the concern that the new implementation might explode when used on a very large graph, there might be a better way to generate it or to escape the node's ids, but I can't find another one at the moment.

Poke @ablondin, this might interest you

Pull-Request: #2349
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Merge: Rename the extern class `NativeString` to `CString`

`NativeString` used to be mainly implemented by the engines, but in the last few years it became gradually a normal extern class. As such, its instances are now C strings (`char *`). Most of its methods are extern and implemented in the library instead of the engines. It is also widely used by extern methods implemented in C as `char *`, the type appears 300+ times in the general lib and 67 times in `lib/core/text`.

This PR renames `NativeString` to `CString`. This change makes it clear to beginner programmers that its instances are pointers to C strings and how they are passed to C code. Plus, it fits better next to `CppString`, `JavaString` and `NSString`.

The only remaining engine not using it as a C string is the Java compiler, which implements it as a Java string. This still works and as long as it behaves like a C string there is no problem.

This PR also updates the related doc and attempts to update all indirect references to the new `CString`.

As discussed with @privat and @R4PaSs.

Pull-Request: #2347
Reviewed-by: Jean Privat <jean@pryen.org>

calculator: improve iOS variation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: update language in variations doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: rename the module `ios_calculator` to `ios`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: fix numbers limited to a single digit after a clean

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>