frontend: Introduce `test_frontend` to easily test model related code

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc: Rename `synopsys` into `synopsis`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

metrics: ReadmeMetrics uses markdown2

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: ci: basic bench with old branch

This adds a job where a basic execution is compared against origin/master is order to catch important time or space regressions. Because the test machine is shared with many jobs, the results are not that reliable and some additional checks by the integrator might be required.

However, the script can help developers to do a basic check to document their PR.

Pull-Request: #2739
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: typing: get_method refactoring

Split the get_method to three different entry points. These new entry points make it possible to adapt the treatment to the actual context. This avoids creating callsites manually and in the same time do the verification if the researched method exist (display an error if not exist)

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Pull-Request: #2760
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitc: fix --keep-going in the compiler broken by 539ca148d

Also add tests to avoid that again

Pull-Request: #2763

ci: compile the manual

Signed-off-by: Jean Privat <jean@pryen.org>

ci: do not error when nothing with nitunit_some

Signed-off-by: Jean Privat <jean@pryen.org>

ci: tests that requirements for tools are still OK

Signed-off-by: Jean Privat <jean@pryen.org>

README: update the state of requirements

Signed-off-by: Jean Privat <jean@pryen.org>

tools: move nitpm to more_tools since it requires libcurl

Signed-off-by: Jean Privat <jean@pryen.org>

doc/manual: put back the manual in the main repository

Currently it bit rot in the wiki :(

Signed-off-by: Jean Privat <jean@pryen.org>

nitc: fix --keep-going in the compiler broken by 539ca148d

Signed-off-by: Jean Privat <jean@pryen.org>

typing: get_method refactoring

Split the get_method to three different entry points. These new entry points make it possible to adapt the treatment to the actual context.

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

tests: add base_safe.nit for safe calls

Signed-off-by: Jean Privat <jean@pryen.org>

typing and engines: handle safe calls `x?.foo`

Signed-off-by: Jean Privat <jean@pryen.org>

github: Remove old logging

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Clean `get_contributor_stats`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Kill `github_curl`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github_search_for_jni: Migrate to new Github API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github_merge: Migrate to new Github API

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ci: clean ccache stats to see the real effect of ccaching

Signed-off-by: Jean Privat <jean@pryen.org>

github: Introduce `get_pull_comments`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Rename `ReviewComment` in `PullComment`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Rename `get_review_comment` in `get_pull_comment`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Introduce `get_commit_status`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Repo::default_branch can actually be null...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: GithubWallet uses logger

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: GithubWallet uses optional attributes

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Add mock testing for GithubWallet

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Clean GithubAPI deserialization

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

gihtub: Remove ISODate

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Remove GithubEntity

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Decouple API from responses instances

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Remove method `GithubAPI::get_branch_commits`

Let clients handle that.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: `search_issues` returns a SearchResults

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Remove `get_repo_last_issue`

This was a terrible hack...

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Refactorize array requests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Rename `GithubAPI::load_` methods in `get_`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Move deserialization process to `get`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Decouple GithubAPI from `GithubCurl`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: Kill `wiringPi`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: Kill `refund`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

contrib: Kill `neo_doxygen`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ci: basic bench with old branch

Signed-off-by: Jean Privat <jean@pryen.org>

interpreter: add `Instance::is_null` to simplify code

Signed-off-by: Jean Privat <jean@pryen.org>

parser: regenerate with safe call `x?.foo`

Signed-off-by: Jean Privat <jean@pryen.org>

syntax: add safe call syntax `x?.foo`

Signed-off-by: Jean Privat <jean@pryen.org>

github: API use new constructors

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: nitrpg: Move `nitrpg` to its own repository

`nitrpg` is broken since a long time. I think https:/api.github.com actually changed twice since it broke. I don't plan on killing it yet but I moved it to its own repository until I worked again on it (or never).

See https://github.com/Morriar/nitrpg.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2755

Merge: Mock Github API tests

This PR adds a mock to GithubAPI so we can avoid sending requests to the API on CI.

For each API call we save the actual Github response body from the API and reuse it during the tests.
The attribute `update_responses_cache` can be set to `true` so the cache files are updated from the API when `nitunit` is called.

Pull-Request: #2753
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Follow the INI specification

This version follows more closely the INI specification (https://en.wikipedia.org/wiki/INI_file) and adds some improvements to the API.

Spec changes:
* Allow `#` and `;` for comments
* No more sections nesting as by the spec (which actually change nothing see below)

API changes:
* Renaming `ConfigTree` -> `IniFile` (as it's no more a "tree")
* No more coupling with a file path, use utility methods `load_string`, `load_file`, `write_to`  instead
* Ability to iterate keys, values, sections and section content
* Ability to create `IniSection` by hand
* `IniFile` and `IniSection` implements `Map[String, nullable String]`

The biggest change is that sub-sections are now flattened.

Before, with the following ini:

~~~ini
[section1]
key1=value1
[section1.section2]
key2=value2
~~~

You would get this hierarchy:

~~~
section1
  |   key1=value1
  `- section2
      `-  key2=value2
~~~

Now you get:

~~~
section1
  `- key1=value1
section1.section2
  `-  key2=value2
~~~

Two independent (unnested) sections, one called `section1` and the other called `section1.section2`.
This actually change nothing if the client was using the `[]` operator with the `.` notation as:

~~~
ini["section1.section2.key2"] # still returns `value2`
~~~

Documentation and specification from the README:

# `ini` - Read and write INI configuration files

[INI files](https://en.wikipedia.org/wiki/INI_file) are simple text files with
a basic structure composed of sections, properties and values used to store
configuration parameters.

Here's an example from the `package.ini` of this package:

~~~nit
import ini

var package_ini = """
[package]
name=ini
desc=Read and write INI configuration files.
[upstream]
git=https://github.com/nitlang/nit.git
git.directory=lib/ini/
"""
~~~

## Basic usage

`IniFile` is used to parse INI strings and access their content:

~~~nit
var ini = new IniFile.from_string(package_ini)
assert ini["package.name"] == "ini"
assert ini["upstream.git.directory"] == "lib/ini/"
assert ini["unknown.unknown"] == null
~~~

`IniFile` can also load INI configuration from a file:

~~~nit
package_ini.write_to_file("my_package.ini")

ini = new IniFile.from_file("my_package.ini")
assert ini["package.name"] == "ini"
assert ini["upstream.git.directory"] == "lib/ini/"

"my_package.ini".to_path.delete
~~~

INI content can be added or edited through the `IniFile` API then written to
a stream or a file.

~~~nit
ini["package.name"] = "new name"
ini["upstream.git.directory"] = "/dev/null"
ini["section.key"] = "value"

var stream = new StringWriter
ini.write_to(stream)

assert stream.to_s == """
[package]
name=new name
desc=Read and write INI configuration files.
[upstream]
git=https://github.com/nitlang/nit.git
git.directory=/dev/null
[section]
key=value
"""
~~~

## INI content

### Properties

Properties are the basic element of the INI format.
Every property correspond to a *key* associated to a *value* thanks to the equal (`=`) sign.

~~~nit
ini = new IniFile.from_string("""
key1=value1
key2=value2
""")
assert ini["key1"] == "value1"
assert ini["key2"] == "value2"
assert ini.length == 2
~~~

Accessing an unknown property returns `null`:

~~~nit
assert ini["unknown"] == null
~~~

Properties can be iterated over:

~~~nit
var i = 1
for key, value in ini do
assert key == "key{i}"
assert value == "value{i}"
i += 1
end
~~~

Property keys cannot contain the character `=`.
Values can contain any character.
Spaces are trimmed.

~~~nit
ini = new IniFile.from_string("""
prop=erty1=value1
 property2 =  value2
property3=value3 ; with semicolon
""")
assert ini[";property1"] == null
assert ini["prop=erty1"] == null
assert ini["prop"] == "erty1=value1"
assert ini["property2"] == "value2"
assert ini[" property2 "] == "value2"
assert ini["property3"] == "value3 ; with semicolon"
~~~

Both keys and values are case sensitive.

~~~nit
ini = new IniFile.from_string("""
Property1=value1
property2=Value2
""")
assert ini["property1"] == null
assert ini["Property1"] == "value1"
assert ini["property2"] != "value2"
assert ini["property2"] == "Value2"
~~~

### Sections

Properties may be grouped into arbitrary sections.
The section name appears on a line by itself between square brackets (`[` and `]`).

All keys after the section declaration are associated with that section.
The is no explicit "end of section" delimiter; sections end at the next section
declaration or the end of the file.
Sections cannot be nested.

~~~nit
var content = """
key1=value1
key2=value2
[section1]
key1=value3
key2=value4
[section2]
key1=value5
"""

ini = new IniFile.from_string(content)
assert ini["key1"] == "value1"
assert ini["unknown"] == null
assert ini["section1.key1"] == "value3"
assert ini["section1.unknown"] == null
assert ini["section2.key1"] == "value5"
~~~

Sections can be iterated over:

~~~nit
i = 1
for section in ini.sections do
assert section.name == "section{i}"
assert section["key1"].has_prefix("value")
i += 1
end
~~~

When iterating over a file properties, only properties at root are returned.
`flatten` can be used to iterate over all properties including the one from
sections.

~~~nit
assert ini.join(", ", ": ") == "key1: value1, key2: value2"
assert ini.flatten.join(", ", ": ") ==
"key1: value1, key2: value2, section1.key1: value3, section1.key2: value4, section2.key1: value5"

i = 0
for key, value in ini do
i += 1
assert key == "key{i}" and value == "value{i}"
end
assert i == 2

~~~

Sections name may contain any character including brackets (`[` and `]`).
Spaces are trimmed.

~~~nit
ini = new IniFile.from_string("""
[[section1]]
key=value1
[ section 2 ]
key=value2
[section1.section3]
key=value3
""")
assert ini.sections.length == 3
assert ini["[section1].key"] == "value1"
assert ini["section 2.key"] == "value2"
assert ini["section1.section3.key"] == "value3"
assert ini.sections.last.name == "section1.section3"
~~~

The dot `.` notation is used to create new sections with `[]=`.
Unknown sections will be created on the fly.

~~~nit
ini = new IniFile
ini["key"] = "value1"
ini["section1.key"] = "value2"
ini["section2.key"] = "value3"

stream = new StringWriter
ini.write_to(stream)
assert stream.to_s == """
key=value1
[section1]
key=value2
[section2]
key=value3
"""
~~~

Sections can also be created manually:

~~~nit
ini = new IniFile
ini["key"] = "value1"

var section = new IniSection("section1")
section["key"] = "value2"
ini.sections.add section

stream = new StringWriter
ini.write_to(stream)
assert stream.to_s == """
key=value1
[section1]
key=value2
"""
~~~

### Comments

Comments are indicated by semicolon (`;`) or a number sign (`#`) at the begining
of the line. Commented lines are ignored as well as empty lines.

~~~nit
ini = new IniFile.from_string("""
; This is a comment.
; property1=value1

# This is another comment.
# property2=value2
""")
assert ini.is_empty
~~~

### Unicode support

INI files support Unicode:

~~~nit
ini = new IniFile.from_string("""
property❤=héhé
""")
assert ini["property❤"] == "héhé"
~~~

Pull-Request: #2752
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Introduce `Logger`, a simple yet powerful logging system

# A simple logger for Nit

## Basic Usage

Create a new `Logger` with a severity level threshold set to `warn_level`:

~~~nit
var logger = new Logger(warn_level)
~~~

Messages with a severity equal or higher than `warn_level` will be displayed:

~~~nit
logger.error "Displays an error."
logger.warn "Displays a warning."
~~~

Messages with a lower severity are silenced:

~~~nit
logger.info "Displays nothing."
~~~

`FileLogger` can be used to output the messages into a file:

~~~nit
var log_file = "my.log"

logger = new FileLogger(warn_level, log_file, append = false)
logger.error("An error")
logger.info("Some info")
logger.close

assert log_file.to_path.read_all == "An error\n"
log_file.to_path.delete
~~~

## Severity levels

Each message is associated with a level that indicate its severity.
Only messages with a severity equal to or higher than the logger `level`
threshold will be displayed.

Severity levels from the most severe to the least severe:

* `unknown_level`: An unknown message that should always be outputted.
* `fatal_level`: An unhandleable error that results in a program crash.
* `error_level`: A handleable error condition.
* `warn_level`: A warning.
* `info_level`: Generic (useful) information about system operation.
* `debug_level`: Low-level information for developpers.

## Formatting messages

You can create custom formatters by implementing the `Formatter` interface.

~~~nit
class MyFormatter
super Formatter

redef fun format(level, message) do
if level < warn_level then return message
return "!!!{message}!!!"
end
end
~~~

See `DefaultFormatter` for a more advanced implementation example.

Each Logger can be given a default formatter used to format the every messages
before outputting them:

~~~nit
var formatter = new MyFormatter
var stderr = new StringWriter
var logger = new Logger(warn_level, stderr, formatter)

logger.warn("This is a warning.")
assert stderr.to_s.trim.split("\n").last == "!!!This is a warning.!!!"
~~~

Optionally, a `Formatter` can be given to replace the `default_formatter`
used by default:

~~~nit
# Create a formatter with no default decorator
logger = new Logger(warn_level, stderr, null)

# Display a message without any formatter
logger.warn("This is a warning.")
assert stderr.to_s.trim.split("\n").last == "This is a warning."

# Display a message with a custom formatter
logger.warn("This is a warning.", formatter)
assert stderr.to_s.trim.split("\n").last == "!!!This is a warning.!!!"
~~~

Pull-Request: #2751
Reviewed-by: Jean Privat <jean@pryen.org>

github: Switch GithubAPI examples to `nitish`

Since it's now covered by the mock.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Fix `GithubAPI::load_repo_branches`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Add mock api testing

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitrpg: Move `nitrpg` to its own repository

See https://github.com/Morriar/nitrpg.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpm: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitpackage: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

loader: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitiwiki: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

docker-ci: ajoute libicu-dev

config: Update to new INI api

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ini: Update `package.ini` file

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ini: Add a README with tests from the spec

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ini: Rewrite lib so it follows the INI spec

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: Adapt server to new `pop_logging` interface

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

github: Adapt Github loader to new `pop_logging` interface

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: Remove useless dependency between `pop_tracker` and `pop_logging`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

popcorn: Use `logger`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Introduce `logger`, a simple logging utility for Nit

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Some more small improvements on gitlab-ci

Pull-Request: #2744

Merge: concurrent_collections: Add implementation of has method

Adding the implementation of the has method to call the has on the `real_collection`

Pull-Request: #2748

Merge: lib/core/bytes: Add a redef of has method

Adding the redef of the `has` method  to take care of the negative numbers

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Pull-Request: #2749
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Fix LineIterator

The logic behind LineIteraor (and the contracts of the iterators methods) was broken because of a bad management of the cache.

Instead of solving it locally, this PR introduces a simple CacheIterator abstract class with the correct behavior and simplify LineIteraor by using it.

Pull-Request: #2750

tests: add test_file_read3 for LineIterator

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core/stream: LineIterator use CachedIterator

The logic behind `is_ok` was broken and caused inconsitent results.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core/collection: add `CachedIterator` to factorize the logic of iterators with a cache

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core/bytes: Adding a redef of has method

Adding the redef of the `has` method  to take care of the negative numbers

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

concurrent_collections: Adding implementation of has method

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Merge: astbuilder: Adding new nodes makers(assert, method, or, and,...)

Adding new nodes creation services.
Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Pull-Request: #2745
Reviewed-by: Jean Privat <jean@pryen.org>

astbuilder: Adding new nodes makers(assert, method, or, and,...)

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

nitunit: do not write empty testsuites in the xml file

Signed-off-by: Jean Privat <jean@pryen.org>

tests.sh: run junit2html to render xml files

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: add nitmetrics job

Signed-off-by: Jean Privat <jean@pryen.org>

gitlab-ci: add valgrind job

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: CI: macOS jobs for Gitlab CI

Add 3 CI jobs for macOS, equivalent to `build_tools`, `test_some` and `test_full_nitcs`. They are executed by a shell executor on a macOS host, Nit Gitlab repos should have a such a runner with the tag `macos`. The new jobs are similar enough to the GNU/Linux versions that they can share the same script.

This PR also fixes 3 problems with macOS portability:

* Workaround for the error with kqueue on libevent and nitcorn clients.

* Set `sed -E` explicitly in `check_manpages.sh` for portability with macOS.

* Download bdwgc in the CI docker image, to prevent `test_full_nitcs_macos` to fail on `hello_ios` because it downloads bdwgc at compilation and prints to the test output. This will require regenerating the official Docker image.

Pull-Request: #2743
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: ci: nitlang/nit-ci docker image runs in UTF8

Or else gradle fails with an exception

Pull-Request: #2742
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Moving the astvalidation module in astbuilder

The astvalidation module has been moved into the astbuilder, as both are always used together.

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Pull-Request: #2741
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: Java FFI: use class NitObject for references to Nit objects from Java

This PR improves the type safety of the Java FFI and fixes a bug with pointers to Nit objects at the same time.

* The main change is the introduction of the Java class `NitObject` used as a general type for Nit objects referenced from Java code. It replaces the use of a simple `int` holding the pointer value, which was the source of the Java FFI bug.

* Change internal pointers to Nit object to use the Java primitive types `long` instead of `int`, addressing to the same pointer bug. Only low-level services should still use `long` this way, in this case it is the support for Android that relies mostly on the FFI with C.

* Change the annotation `extra_java_files` to accept the full name of Java classes (package + class) instead of the path to the Java source file. The compile still looks for the file in the same directory as the Nit module.

* Clear up the documentation of the class `ExternFile` for `filename` to be relative to the compilation folder. This required updating previous usages.

Pull-Request: #2740
Reviewed-by: Jean Privat <jean@pryen.org>

ci: nitlang/nit-ci docker image runs in UTF8

Signed-off-by: Jean Privat <jean@pryen.org>

ci: pre download bdwgc before launching the tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

misc/check_manpages.sh: add -E option to sed for for macOS compat.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: workaround for 'broken kqueue' error on macOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

ci: tests for macOS on Gitlab CI

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Moving the astvalidation module in astbuilder

Signed-off-by: Florian Deljarry <deljarry.florian@gmail.com>

Java FFI: Makefile adds the compilation dir to the Java CLASSPATH

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test Java on the new Gitlab CI setup

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: NitActivity and NitService use long to hold pointers

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>