Merge: curl: basic Unix domain socket support

Support using a Unix socket to send an HTTP request.

~~~
var request = new CurlHTTPRequest("http://localhost/")
request.unix_socket_path = "/tmp/nginx.sock"
var response = request.execute
~~~

@matthmsl Is this what you needed for #2623?

Pull-Request: #2625
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

curl: intro `CurlHTTPRequest::unix_socket_path`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

curl: cleanup, remove a typo and a callback from C to Nit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Fix regressions in make

* nitc_0 is rebuild when needed
* tools are spited into two groups to lighten the initial build

Close #2619

Pull-Request: #2620

makefile: split tools into 2 groups

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: force dependency on all .nit file of src

It is a good approximation of tool changes I suppose.

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: nitc is in ../bin/

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Improve lib/html and nitlight

Various improprement in the whole nitlight chain.

Before: nitlight --keep-going -d tmp ../lib/ ../src
* Elapsed (wall clock) time: 28.71
* User time (seconds): 47.25
* System time (seconds): 1.05
* Maximum resident set size (Gbytes): 2.1311

After: nitlight --keep-going -d tmp ../lib/ ../src
* Elapsed (wall clock) time: 22.97 (-20%)
* User time (seconds): 34.42  (-27%)
* System time (seconds): 1.06
* Maximum resident set size (Gbytes): 1.8924 (-11%)

After + new option: nitlight --keep-going -d tmp ../lib/ ../src --no-infobox
* Elapsed (wall clock) time: 10.71 (-63%)
* User time (seconds): 14.49 (-69%)
* System time (seconds): 0.83
* Maximum resident set size (Gbytes): 1.6713 (-20%)

Pull-Request: #2618

src/nitlight: add option --no-infobox

Signed-off-by: Jean Privat <jean@pryen.org>

src/htmlight: Do not create the whole infobox unless needed

Signed-off-by: Jean Privat <jean@pryen.org>

lib/core::Text::html_escape: better implementation.

But it is shortcut anyway by the implementation in Flat anyway :(

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: really implements Writable::write_to

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: use Array as it improve performances

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Intro picnit, the (minimal) Nit package manager

picnit is a command line tool to install Nit packages, it supports the following actions:

* `picnit install <package or git-repository>` Install a package by name or from a git-repository
* `picnit list`    List installed packages
* `picnit upgrade <package>`  Upgrade a package
* `picnit uninstall <package>`  Uninstall a package
* `picnit help [command]`    Show general help message or the help for a command

The Nit loader has been modified to search for packages where picnit puts them.

You can try picnit with:

~~~
picnit install hello_picnit
picnit list
nit hello_picnit
~~~

The install command clones the Git repo to `~/.local/lib/nit/hello_picnit/` where it will be found by all Nit tools. It can then be interpreted directly by nit (as in the above) or imported by any Nit module.

The server offers only static files, the package.ini renamed for the package (as in hello_picnit.ini). For now, the package list is on my server, so if you want me to add a package, just send me a link to the package.ini! You can see the full list of available packages at https://xymus.net/picnit/.

I'll continue testing and improving picnit by moving gamnit out of the Nit repo and rely on picnit to install it.

Current and planned future features:
- [x] Install from git repository.
- [x] Update, list and uninstall installed packages.
- [x] nitc and others use the installed packages.
- [x] Install by package name, using a centralized server to keep the package.inis.
- [ ] Post install/upgrade hooks: to compile something, suggest installing native libs, etc.
- [ ] A command to show data from the package.ini: issue URL, etc.
- [ ] Centralized server support for unapproved packages, moderation, rating, etc.
- [ ] Advanced search: "Did you mean?" and search in doc of all packages
- [ ] Support nested packages, the git.dir option and more than one package per repo.
- [ ] Detect or declare dependencies of each packages and auto install them.
- [ ] Pin version / branch / tag per project.
- [ ] Windows support.

Pull-Request: #2615

loader: use NIT_TESTING_TESTSSH to ignore picnit packages when testing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: intro NIT_TESTING_TESTSSH

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Tests maintenance for macOS

Update the expected result of `hello_ios` and blacklist two more tests on macOS. Both gettext and mongoc (the failure behind nitweb) are available on macOS, however, they would require some configuration.

Pull-Request: #2617

Merge: inkscape_tools: fix Inkscape version detection on Ubuntu

The regex detecting the Inkscape version was too permissive and expected 3 numbers. This made it wrongly match the revision string on Ubuntu where the version string has only 2 numbers:
`Inkscape 0.91 r13725`

Thanks @BlackMinou!

Pull-Request: #2616
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Explain failed asserts for easier debugging, error reporting and TDD

When an assert fails, the program prints the details of the failed expression to the console, above the stacktrace. This change makes it easier and even fun to implement methods by writing the tests first and using nitunit to debug.

The AST rewrite can explain binary comparisons (printing the expected and actual values in a similar way to JUnit's `assertEquals`), `not` and `isa` expressions, as well as the receiver and arguments sent to a method returning `Bool`. It does not explain `and` & `or` expressions as they could cause unwanted side-effects in the current implementation.

Example of a method call:
~~~
var x = 0.0
var y = 1.0
assert x.is_approx(y, 0.5)
~~~

Output:
~~~
Runtime assert: 0.0.is_approx(1.0, 0.5)
Runtime error: Assert failed (a.nit:3)
~~~

Expressions are executed only once by assigning each printed values to a variable. The values are then printed via a superstring, inheriting its automatic call to `to_s`.

Example of a binary comparison with a possible side-effect and protected nullable types:

~~~
fun foo(v: nullable Int): nullable Int do
print "foo"
return v
end

assert foo(null) != null
~~~

Output:

~~~
foo
Runtime assert: null != null
Runtime error: Assert failed (b.nit:6)
~~~

---

I don't like that the phase has so many dependencies, but they appeared to be required by `ASTBuilder` which greatly simplify the code and they also help to deal with nullable types. Future work could probably remove some dependencies and work on the pure AST.

This PR may break the reproducibility of some tests, but I have another PR in the works that could fix that.

Pull-Request: #2541
Reviewed-by: Jean Privat <jean@pryen.org>
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update Darwin skip list

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: hello_ios now has an empty "assets" folder

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

inkscape_tools: fix Inkscape version detection on Ubuntu

The regex detecting the Inkscape version was too permissive and expected
3 numbers. This make it wrongly match to the revision string on Ubuntu
where the version string has 2 numbers:

Inkscape 0.91 r13725

Reported-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test picnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: add picnit manual

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

loader: look for packages installed via picnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

picnit: install and update Nit packages from Git repos

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: skip tests failing on timeout or file size limit error by ld

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: explain asserts only if Array is available, for nitcg

nitcg failed on base.isa.base_isa_vt_gen1.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

rta: visit the superstring created by explain_assert

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Infer more attribute types

Extend the detection of the static type of attributes from their literal values to support three new cases:

* Simple arrays like `[0, 1, 2]` and `[new Set[Int], new Set[Int]]`. However, it does not accept arrays with an explicit type because we can't subtype/anchor at that point, as far as I know.

* Negative integers and floats. This cheats a bit as the return type of the unary - is defined in the core libary. However this should help 99.9% of the time, in particular for Nit beginners, and a workaround is to declare the attribute static type when defining a different kernel library.

* The `once` keyword.

~~~
class A
       # Now detected
       var i = -1
       var f = -1.0
       var a = [0, 1]
       var o = once [0, 1]

       # These are refused
       var a1 = [0, 1.0, "a"] # Different types
       var a2 = [0, 1: Int] # Can't reliably check subtypes
       var a4 = [1+1] # Expression
       var o1 = once [0, "a"] # Forwarded error
end
~~~

---

You may want to review commit by commit as the first commit is a small refactoring.

Pull-Request: #2614

Merge: Intro and use `prompt`, an alternative to `readline`

The new package `prompt` offers two basic services to create a shell interface. It does not depend on external libraries and it is licensed under Apache 2.0.

The `prompt` API is optionally implemented by the `readline` package which can be used as a drop-in replacement.

This PR uses `prompt` in nitx to remove the dependency on readline. This dependency would prevent us from compiling Nit on platforms that do not offer the native library, and someone could argue that there are possible legal ramifications in which I would not want to ensnare the Nit project. See the past discussion on GNU readline: #2083

Anyone can still mixin readline with nitx using: `nitc nitx.nit -m readline`

This will also fix the Nit Docker image failing to build: https://hub.docker.com/r/nitlang/nit/builds/

Pull-Request: #2613

Merge branch 'explain-assert' into master

frontend: fix missing location

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

*: remove newly superfluous static types on attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test the new inferrable attribute types

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model: infer the types of attributes with unary - and once

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model: infer the array types of attributes

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

model: extract infer_static_type to support recursive calls

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitin: use `prompt`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitx: remove dependency on GNU readline

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitx: exit on EOF

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

realtime: implement the `prompt` service

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: intro `prompt`, basic Apache 2.0 service to display a prompt

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitc: check pkg-config packages availability later

The `pkgconfig` annotation tells the compiler to use the `pkg-config` command in order to get the C compiler and linker options required to build the user C code. The availability of each package was tested twice, once at reading the annotation and once in the generated Makefile. This PR moves the first check later, with the generation of the Makefile. There is still two checks, one by the Nit compiler with a prettier output, and one by the Makefile in case it is distributed with the generated C source files.

This fixes an issue we've had when compiling for Android and iOS, where the result of the annotation was not used but still blocked the compilation if the host did not have the package. And leaving the check to the Makefile give a chance to the programmer to tweak it before the C compilation when cross-compiling.

The error message thrown by the Makefile is less user-friendly as we lose the reference to the Nit source file and line number. This should not be much on an issue since it is rarely a programming error, more of a system configuration error, but it could be improved upon if it becomes an issue.

Pull-Request: #2610
Reviewed-by: Jean Privat <jean@pryen.org>

tests: test_syntax now reports other errors before the pkgconfig error

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc & niti: move the duplicated pkg-config checks to the pkgconfig module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: Gamnit on iOS

Support iOS as a target for Gamnit games, including:

* GC on iOS and Xcode assets folder support in the compiler.
* iOS view controller and OpenGL view using the GLKit services.
* Loading of assets: sound, texture and text (and thus 3D models and fonts).
* iOS touch event and orientation change support.
* A few bug fix and tweaks to Gamnit.
* Minimal makefile rules to target iOS.

The game `asteronits` works as expected, here it is on iPad (With controls that are way too big):


Limitations:
* By default, the compiler generates an app for the simulator. To compile for a physical device, in practice, I run `nitc -m ios --compile-dir nit_compile` to generate the iOS project and view errors in Nit or in the custom Objective-C code. And then I launch Xcode with `open -a xcode nit_compile/ios/my_project.xcodeproj` to compile and run on a device from there.

* The depth API (3D) does not work on iOS with this PR because of known bugs in the current implementation. I have a rewrite of the depth API that fixes these bugs and bring a much needed performance boost.

* A `Sound` instance can't be played more than once concurrently. This could be improved by using `AVPlayer` as kind of sound channel and an `AVPlayerItem` for each sound instance, instead of the current `AVAudioPlayer`.

* iOS does not support exactly the same format for assets than Android. Sounds in mp3 format should work on both platforms. PNG files work on both platforms but iOS is more picky on the color palette, I've had an issue with a greyscale PNG, RGBA PNG files should be safe.

  You can always use the `app_files` annotation to include platform-specific assets.

* `gamnit::selection` does not work on iOS because we can't read the screen pixels. It should be updated to use an FBO.

* We still need a portable API for locking the screen orientation.

* Compiling Gamnit games for iOS fails at a missing pkg-config package. The package is not used and in can be safely ignored by removing the "pkgconfig" line in `lib/glesv2/glesv2.nit`. I'll need to find a clean fix for this...

Pull-Request: #2605
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: doc/commands: extract CmdCode superclass

Provides a common super class to factorize code rendering services for doc commands.

Changes:
* renamed `CmdComment::render` to `render_comment` to avoid name conflicts with multiple inheritance
* extracted `CmdCode` command to factorize code related services
* introduced new class `CmdEntityCode`, in place of the old `CmdCode` class
* updated nitx/nitweb clients
* updated tests

Pull-Request: #2609

Merge: Remove the packages `glesv1`, `mnit` and `sdl` (1.2), and their clients

This PR removes the packages for OpenGL ES 1.0, most of the graphics engine `mnit` and the SDL 1.2 wrapper `sdl`, as well as their clients: crazy_moles, friendz, memory, mnit_ballz, mnit_dino, shoot and the 2D client of Tinks!.

This purge is mainly motivated by the declining support for OpenGL ES 1.0, it is not available on macOS and on some recent GNU/Linux distributions (including on our test servers). Plus, all the libraries have been replaced by well-supported alternatives: `glesv2` for OpenGL ES 2.0, the graphics engine `gamnit` and `sdl2`. The new libraries are even more portable, adding support for Windows and iOS alongside GNU/Linux and Android.

Some of the deleted games were quite good, it is sad to simply let them go. If anyone is willing to put in the work, most of these games can still be updated to `gamnit` by reverting the commit and writing some code!

@privat  Could you somehow lock the APK files on the F-Droid server so the games live on? They all had Android variants except for `shoot`.

Pull-Request: #2611

android: update the `sensors` module to use gamnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: don't TODO Darwin errors for OpenGL ES 1.0

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

inkscape_tools: remove `mnit` support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

inkscape_tools: delete mnit based test applications

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: clear all references to mnit from memory

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: delete the `sdl` package (there's still SDL2)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib: delete most of the mnit package (keeping input.nit)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tinks: delete the old 2D mnit client

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: delete the `shoot` game

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: delete the friendz game

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: delete the memory game

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: delete mnit_ballz

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

examples: remove mnit_dino

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: remove crazy_moles

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

contrib: remove mnit_test

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: document the phase detecting the annots `platform` and `pkgconfig`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

doc/commands: update tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: extract `CmdCode` super class

So we can factorize code related queries even if they are not related to a specific MEntity

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: rename `CmdComment::render` to `render_comment` to avoid name conflicts

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: location: fix located_in behavior

Before this PR, asking if `1,12--1,12` was in `1,1--2,1` returned `false`.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2606

Merge: Gamnit: rewrite Android lifecycle support

Rewrite much of the Android support to better deal with system state changes. This includes handling out of order lifecycle messages, temporarily invalid OpenGL display surfaces, and recreating the OpenGL context when it is released by the system.

In practice, this PR recreates in `gamnit::gamnit_android` a better version than what is in `android::game`. The old `android::game` could probably be removed with `mnit` and a small clean up.

As a bonus:
* Into portable* services to lock the device orientation. (The iOS variant will be in another PR when #2605 is merged.)
* Ask for 4x antialiasing, it should be available on all target platforms.
* Compile Android apps using gcc, it appears to compile a more stable GC. We can probably tweak a few defines to use clang instead.
* Fix numeric version numbers using the local time, causing surprises when compiled in the cloud.

Pull-Request: #2607

tests: don't use the readlink option -f when not available (macOS)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: use en_US.UTF-8 locale on macOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: fix superfluous option in call to xargs, was broken on macOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: nitce crashes compiling test_platform_ios on the unavailble 'system'

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

ios: accept spaces in path to the Nit project

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: skip some tests failing weirdly on macOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: import gamnit_android from android19 for a clear linearisation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

asteronits, action_nitro & model_viewer: use gamnit::landscape

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test_platform_ios produces an empty assets folder

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

share: use BASH_SOURCE to reliably detect the script folder

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

pthreads: fix thread/gc support on iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

asteronits, action_nitro & model_view: add makefile rules for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

iOS: add support for bdgwc/libgc

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc ios: xcode support per file cflags

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro basic input event supports for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

ios: implement app::audio for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

ios: implement TextAsset for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: intro core gamnit graphics services for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: move landscape & portrait from the android package to gamnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: use GMT as numeric version instead of local time

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: request 4x antialiasing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: rewrite android support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: differentiate create_display and recreate_gamnit from create_gamnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: add poll_looper_pause

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: use the gcc toolchain

At this point, using the GCC toolchain compiles a more stable GC.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

location: fix located_in behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

ios: intro GLKit services

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: support iOS assets

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: alternative include directive for iOS

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

lib/realtime: use our custom clock_gettime when targetting < iOS 10

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>