nitc: explicitly cast long to int

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: fix large int constants

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

text: use UInt32 to manipulate chars

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: invert dependencies between `text` and `fixed_ints`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitunit: fix before and after methods

Before and after method were not actually called in the test suite process.

This PR enables the compilation and run of these methods.

The new behavior is: if the `before_module` test case fails, all the test cases and the `after_module` are skipped and marked as failed.

Pull-Request: #2359
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: macOS: update realtime lib for Sierra

The latest version of macOS, Sierra, defines the functions `clock_gettime` and `clock_getres` which were previously missing. This PR adds support for Sierra while preserving compatibility with El Capitan using a simple heuristic to either use the system provided functions or define them locally.

Reported-by: Marie-Pier Lessard @mplessard

Pull-Request: #2358
Reviewed-by: Jean-Philippe Caissy <jpcaissy@piji.ca>

Merge: nitc: inject importation

Extends the nitc code so a phase can inject new submodules.

The main new method the this PR is `ModelBuilder::inject_module_subimportation` that must be used during the analysis on a module.

Up to now, the module hierarchy was fixed and built by the loader before any phases are run.
The basic way was: 1. load the main module, 2. load its imported modules recursively and build the hierarchy, 3. run the phases on all the loaded modules from the most general to the most specific (top-down)
Now the phases can also extends the module hierarchy while running some phases.
This cause the following changes:
* `run_phase` use a work-list (instead of a simple loop)
* new modules can pop up even for the main module of a program, so a fictive main module is always created
* conditional_importations is extended to be used to by inject_module_subimportation.

Pull-Request: #2357
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

tests: add tests for nitunit before and after module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/test_suite: update Sys class to nitunit fix

We need the private method so we can compile the test case with intrude.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: compile before and after methods

Tests case will fail if the before method failed.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: fix `before_module` and `after_module` method recognition

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

testing: extract `fail` method to make a test case fail without running it

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update metrics because the new fictive bottom module

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: drop the fictive bottom module if unneeded

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add `inject_module_subimportation` to inject importation.

Signed-off-by: Jean Privat <jean@pryen.org>

phase: use a extensible work-list for `run_phases`

Signed-off-by: Jean Privat <jean@pryen.org>

loader: only apply conditional importation on strict submodules

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: always create a main fictive module

This simplify the logic and the number of assumptions.

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: first_real_mmodule is now explicitly set.

This solve the issue where `nitc foo.nit -m subfoo.nit` program
is named `subfoo` instead of `foo`.

Signed-off-by: Jean Privat <jean@pryen.org>

realtime: don't use custom functions on Sierra

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitweb: close quicksearch box when clicking outside of it

* Add some crappyjs(TM) to autoclose the search box when the user click somewhere else.
* Also autoclose the box when the user click on a link from the list (unwanted js sideeffects are sometimes wanted)

Checks one more box from #2178

Demo: http://nitweb.moz-code.org

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2354

Merge: nitweb: auto link entitites found in `span code`

This PR introduces a stub feature for nitweb: autolinking entities from `span` code.

Each time nitweb renders a Markdown comment it evaluates the content of each inline `code` tag and tries to match it with the model index. If the content of the `code` tag matches a package, module, class or property, the `code` content is wrapped in a link to that entity.

Examples:

* `Object`: will be rendered as `<a href='/doc/core::Object'>Object</a>`
* `nullable Object`: will be rendered as `<a href='/doc/core::Object'>nullable Object</a>`
* `is_same_instance`: will be rendered as `<a href='/doc/core::Object::is_same_instance'>is_same_instance</a>`.

The name matching algorithm is the same as the one used to resolve short links like `[Object]` or complex directives like `[graph: core]`.

Demo: http://nitweb.moz-code.org

The documentation from the `core` package benefits from the new feature: http://nitweb.moz-code.org/doc/core

Pull-Request: #2353

Merge: Revamp the C string to Nit string services to put forward the safest alternative

There are now three services to convert a `CString` to a `String`:

* `CString::to_s` and `to_s_with_length(byte_length)` copies data into the GC memory and clean the UTF-8 characters. The difference is that `to_s` search for the first null byte to find the length of the string. These services are the safest and recommended for use with the FFI. They replace the old `to_s_with_copy` and `to_s_with_copy_and_length`.

* `CString::to_s_unsafe(byte_length, char_length, copy, clean)` is the unsafe alternative. It can optimize conversion of a string that has already been cleaned, is already in the GC memory or of which the number of characters has already been counted. This service unifies (and replace) the old `to_s`, `to_s_with_length`, `to_s_full` and `to_s_unsafe`.

Also fix `from_percent_encoding` that did not clean its output, same for the binary deserialization of single characters, and `environ` which now copies the C string into GC memory.

Update a test result as there is now one more string (the copy by `environ`) and a call to `String::length` to cut on the calls to `CString::utf8_length`.

This PR applies #2057 and it is based on #2347. That a look at the commit "core: revamp `CString::to_s` services" first.

Edit: The full doc and signature of `to_s_unsafe` for ease of reading:

# Get a `String` from the data at `self` (with unsafe options)
#
# The default behavior is the safest and equivalent to `to_s`.
#
# Options:
#
# * Set `byte_length` to the number of bytes to use as data.
#   Otherwise, this method searches for a terminating null byte.
#
# * Set `char_length` to the number of Unicode character in the string.
#   Otherwise, the data is read to count the characters.
#   Ignored if `clean == true`.
#
# * If `copy == true`, the default, copies the data at `self` in the
#   Nit GC allocated memory. Otherwise, the return may still point to
#   the data at `self`.
#
# * If `clean == true`, the default, the string is cleaned of invalid UTF-8
#   characters. If cleaning is necessary, the data is copied into Nit GC
#   managed memory, whether or not `copy == true`.
#   Don't clean only when the data has already been verified as valid UTF-8,
#   other library services rely on UTF-8 compliant characters.
fun to_s_unsafe(byte_length, char_length: nullable Int, copy, clean: nullable Bool): String

Pull-Request: #2350
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

nitweb: link entities from Markdown code span

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: factorize md utilies to MDEmiter instead of DocCommand

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: close quick search box when clicking outside

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Benitlux: Improve the iOS variation and general bug fixes

General improvements to Benitlux:
* Don't suggest to follow current friends.
* Don't allow to post a review when not logged in.
* Forget current login on an invalid token and don't recheck them.
* Extract the manual button for checking in and out to its own module.
* Use more precise classes to offer more variation points for platform adaptations.

Improvements to the look on iOS:
* Rely on the new default behavior of the iOS implementation of *app.nit* to ellipsize long texts.
* Less auto correct and auto capitalizing.
* Use placeholder text to identify text fields.
* Prettier views and windows in general, more alignment, text color, sizes, etc.
* Fix icon when the font is missing.

See the result for yourself!

Pull-Request: #2352

benitlux: move manual checkin feature to its own module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: prettier iOS adaptation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: revamp the signup window with more variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: classify views in simple classes as variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux server: don't suggest current friends

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: make BeerView labels public attributes so they are variation points

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: refresh home window on receiving an invalid token error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: don't endlessly recheck token if its invalid

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: fix size and alignment of Star & Follow Button

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: flatten icon text to path

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: expect that native objects will be freed between log ins and outs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: disable autocorrect and autocapital.. on user name input text field

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: disable star buttons when not logged in

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

benitlux: drop the custom ellipsizing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: calculator: bug fix and small tweaks to the iOS adaptation

Fix a bug where numbers would be limited to a single digit after some operations.

Improve the look of the calculator under iOS.

Pull-Request: #2351

Merge: lib/graph: Fix `to_dot`

The `Graph::to_dot` function seldom produced bad dot when used on objects with special formatting in their `to_s` method.

This PR changes that by overriding the ID of a node by an Int.
There is still the concern that the new implementation might explode when used on a very large graph, there might be a better way to generate it or to escape the node's ids, but I can't find another one at the moment.

Poke @ablondin, this might interest you

Pull-Request: #2349
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>

Merge: Rename the extern class `NativeString` to `CString`

`NativeString` used to be mainly implemented by the engines, but in the last few years it became gradually a normal extern class. As such, its instances are now C strings (`char *`). Most of its methods are extern and implemented in the library instead of the engines. It is also widely used by extern methods implemented in C as `char *`, the type appears 300+ times in the general lib and 67 times in `lib/core/text`.

This PR renames `NativeString` to `CString`. This change makes it clear to beginner programmers that its instances are pointers to C strings and how they are passed to C code. Plus, it fits better next to `CppString`, `JavaString` and `NSString`.

The only remaining engine not using it as a C string is the Java compiler, which implements it as a Java string. This still works and as long as it behaves like a C string there is no problem.

This PR also updates the related doc and attempts to update all indirect references to the new `CString`.

As discussed with @privat and @R4PaSs.

Pull-Request: #2347
Reviewed-by: Jean Privat <jean@pryen.org>

calculator: improve iOS variation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: update language in variations doc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: rename the module `ios_calculator` to `ios`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

calculator: fix numbers limited to a single digit after a clean

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update `test_text_stat.res`

There's one more string instance because `environ` output is copied now.
Extra calls to `length` and the like replace calls to `utf8_length`.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

*: update all clients of the `CString::to_s` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: keep `to_s_full` as an indirection for retro compatibility

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: revamp `CString::to_s` services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/graph: Fix `to_dot` that could produce invalid dot when making arcs between invalid names.

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

c_src: update with CString

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

update all indirect references to native strings

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: update to use `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

core: update doc of `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rename `NativeString` to `CString`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: lib/counter: Added pack function

Added Counter::pack to separate values by occurence into a final 2D array of values

Pull-Request: #2346

Merge: lib/for_abuse: Fix typos in documentation

Simple fix of a few misuses of `trough` instead of `through`

Pull-Request: #2345
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: nitweb: misc fixes

Some cleaning and fixes for nitweb:

* Clean api_auth and login module
* Clean html (extract directives, add menu icons, clean markup)
* Uniformize card headers

Pull-Request: #2344

Merge: tests: use NIT_TESTING_ID in neo4j tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2343
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

Merge: nitweb: add READMEs summaries

Automatically add a summary extracted from the README / doc contents


Also add anchors to the content of the README, so you can make links like:

http://nitweb.moz-code.org/doc/core#Methods-Implicitly-Defined-in-Sys

Pull-Request: #2342

Merge: lib/text: do not replace undecoded `%` by `?`

Change the specification of `from_percent_encoding` so undecoded `%` are not replaced by `?`.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2337

lib/counter: Added pack function

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

lib/for_abuse: Fix typos in documentation

Signed-off-by: Lucas Bajolet <r4pass@hotmail.com>

nitweb: fix card headers

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: clean scripts import

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add some icons in menus

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: extract user sidebar directive

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move github login configuration to its own module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/core: more tests for percent_encoding

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/text: do not replace undecoded `%` by `?`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: update test for nitcatalog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: test_neo use NIT_TESTING_ID

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: use NIT_TESTING_ID for postgresql tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/postgres: use NIT_TESTING_ID in table names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/postgres: remove documentation warnings

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/mongo: use NIT_TESTING_ID

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitweb: rewritte stars

Upgrade the feedback stars form.

More stars and more details:


Demo here: http://nitweb.moz-code.org/

Pull-Request: #2341

Merge: nitweb: misc fixes

Should fix more points from #2177

* Sort list by alphabetical order
* Remove useless links on doc location
* Remove useless code tabs when the code linearization tab exists

Demo here: http://nitweb.moz-code.org/

Pull-Request: #2340

Merge: proposal: lib/config

We often need basic option handling in our app.

Here a minimalist proposal that covers the basics:
* options holder
* default values
* loading options from ini file

Extract from doc:

# Configuration options for nit tools and apps

This module provides basic services for options handling in your nit programs.

## Basic configuration holder

The `Config` class can be used as a simple option holder and processor:

~~~nit
import config

# Create a new config option
var opt_my = new OptionString("My option", "--my")

# Create the config and add the option
var config = new Config
config.add_option(opt_my)

# Parse the program arguments, usually `args`
config.parse_options(["--my", "myOption", "arg1", "arg2"])

# Access the options and args
assert opt_my.value == "myOption"
assert config.args == ["arg1", "arg2"]
~~~

## Custom configuration class

Instead of using basic `Config` instances, it is better to define new sublcasses
to store options and define custom services.

~~~nit
import config

class MyConfig
super Config

var opt_my = new OptionString("My option", "--my")

init do
super
tool_description = "Usage: MyExample [OPTION]... [ARGS]..."
add_option(opt_my)
end

fun my: String do return opt_my.value or else "Default value"
end

var config = new MyConfig
config.parse_options(["--my", "myOption", "arg1", "arg2"])

assert config.my == "myOption"
assert config.args == ["arg1", "arg2"]
~~~

We define the `my` method to provide an elegant shortcut to `opt_my.value`
and define the default value if the option was not set by the user.

The `tool_description` attribute is used to set the `usage` header printed when
the user request the `help` message.

~~~nit
config.parse_options(["-h"])
if config.help then
config.usage
exit 0
end
~~~

This will display the tool usage like this:

~~~raw
Usage: MyExample [OPTION]... [ARGS]...
 -h, --help   Show this help message
 --my         My option
~~~

## Configuration with `ini` file

The `IniConfig` class provides an easy way to link your configuration to an ini
file.

~~~nit
class MyIniConfig
super IniConfig

var opt_my = new OptionString("My option", "--my")

init do
super
tool_description = "Usage: MyExample [OPTION]... [ARGS]..."
opts.add_option(opt_my)
end

fun my: String do return opt_my.value or else ini["my"] or else "Default"
end
~~~

This time, we define the `my` method to return the option value or the ini
if no option was passed. Finally, if no ini value can be found, we return the
default value.

By default, `IniConfig` looks at a `config.ini` file in the execution directory.
This can be overrided in multiple ways.

First by the app user by setting the `--config` option:

~~~nit
var config = new MyIniConfig
config.parse_options(["--config", "my_config.ini"])

assert config.config_file == "my_config.ini"
~~~

Default config file can also be changed by the library client through the
`default_config_file` attribute:

~~~nit
config = new MyIniConfig
config.default_config_file = "my_config.ini"
config.parse_options(["arg"])

assert config.config_file == "my_config.ini"
~~~

Or by the library developper in the custom config class:

~~~nit
class MyCustomIniConfig
super IniConfig

redef var default_config_file = "my_config.ini"
end

var config = new MyCustomIniConfig
config.parse_options(["arg"])

assert config.config_file == "my_config.ini"
~~~

Pull-Request: #2339
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: encode URIs

Closes #2164

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2338
Reviewed-by: Jean-Christophe Beaupré <jcbrinfo.public@gmail.com>

catalog: fix double H1 display from package page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix model_json output with alphabetical order

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: use NIT_TESTING_ID in neo4j tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix nitrpg tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: migrate to config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: pop_repos use config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: pop_config use config

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib: introduce basic config classes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: add sumaries to doc pages

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc_down: render synopsis as `h1`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless links on locations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: remove useless code tabs for propdefs and classdefs

Since the code is already loaded in the linearization list

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: sort mentities list by name

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: clean defs list rendering

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: show grade overview in specific page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: show grades in user page

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: rewrite stars display

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>