nitc & niti: move the duplicated pkg-config checks to the pkgconfig module

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: document the phase detecting the annots `platform` and `pkgconfig`

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: location: fix located_in behavior

Before this PR, asking if `1,12--1,12` was in `1,1--2,1` returned `false`.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Pull-Request: #2606

Merge: Gamnit: rewrite Android lifecycle support

Rewrite much of the Android support to better deal with system state changes. This includes handling out of order lifecycle messages, temporarily invalid OpenGL display surfaces, and recreating the OpenGL context when it is released by the system.

In practice, this PR recreates in `gamnit::gamnit_android` a better version than what is in `android::game`. The old `android::game` could probably be removed with `mnit` and a small clean up.

As a bonus:
* Into portable* services to lock the device orientation. (The iOS variant will be in another PR when #2605 is merged.)
* Ask for 4x antialiasing, it should be available on all target platforms.
* Compile Android apps using gcc, it appears to compile a more stable GC. We can probably tweak a few defines to use clang instead.
* Fix numeric version numbers using the local time, causing surprises when compiled in the cloud.

Pull-Request: #2607

gamnit: import gamnit_android from android19 for a clear linearisation

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

asteronits, action_nitro & model_viewer: use gamnit::landscape

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: move landscape & portrait from the android package to gamnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitc: use GMT as numeric version instead of local time

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: request 4x antialiasing

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: rewrite android support

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: differentiate create_display and recreate_gamnit from create_gamnit

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: add poll_looper_pause

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: use the gcc toolchain

At this point, using the GCC toolchain compiles a more stable GC.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

location: fix located_in behavior

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: niti: fix constructors with an empty return

fixes #2546

Pull-Request: #2596
Reviewed-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: exec: display system error after failed fork

This PR modifies `basic_exec_execute` to add a call to `perror` to display the error message before exiting when a fork fails.

Pull-Request: #2603

tests: remove fixed *fixme* files for niti/constructor

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: core: add `Sequence::get_or_default` and `get_or_null`

I though these existed. They do but only for `Map`s.

I just wanted to get an optional commande line argument without having to do an if.

~~~nit
# get the 2th command line argument, or else get null
var arg2 = args.get_nor_null(1)
~~~

I'm not fan of the names, but at least they are. If someone have better. Initially, I named it `try`, like `var arg2 = args.try(1)`.

Pull-Request: #2594

Merge: benches: add a simple microbenches for nit try/catch

It's just the program, not the bench scripts. Maybe also compare with other languages try/catch

Pull-Request: #2595
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: gamnit: bug fixes, updated doc and prepare iOS support

This PR brings miscellaneous improvements to the `gamnit` graphics framework, see each commit description for more details.

Pull-Request: #2597
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>

Merge: Android: fix issues in the audio support

Refactor the loading of sounds and music to use the same logic and order, and to fix trying to load invalid resource ids (the errors on 0x00000000). Update the documentation to the currently recommended usage. And close the file descriptors after use/dup.

Pull-Request: #2598

gamnit: fix parsing .obj models without an explicit object declaration

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

docker: add zipalign to support compiling Android apps in release mode

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: print gl_MAX_TEXTURE_SIZE with other driver data

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix draw order of the DPad background

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: fix doc of `ModelAsset` to represent the current API

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

exec: display system error after failed fork

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

gamnit: lapse clock on resume, so `update` ignores the time in the background

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: set resolution at 1080p for splash screens (as the doc says)

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: don't delete uninitialized programs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

glesv2: check for null pointers in glGetString

glGetString may return NULL pointers when OpenGL has not been correctly
initialized. This assert makes such errors easier to debug on mobile
devices when there's no stacktrace.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

niti: fix constructors with an empty return

fixes #2546

Signed-off-by: Jean Privat <jean@pryen.org>

benches: add a simple microbenches for nit try/catch

Signed-off-by: Jean Privat <jean@pryen.org>

core: add `Sequence::get_or_default` and `get_or_null`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: nitx: use doc commands

Three things in this PR:
* `nitx` now uses doc-commands (and related cleaning), bye bye the heavy `DocModel` with pre built `DocPages`
* More tests for `nitx`
* Move `nitx` to the `doc` tools suite, the group is now known as `doc::term`

Pull-Request: #2591
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: nitweb: use doc-commands

Migrate nitweb to the doc-commands system.

Changes:
* moved the group to `doc::api`
* use doc-commands (backend and frontend changes)
* limited the size of produced json at the maximum
* API accepts "?pretty" parameter

Pull-Request: #2592
Reviewed-by: Jean Privat <jean@pryen.org>

core: fix README for new doc-commands names

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: move model_json to doc/templates

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model/json: fix model json tests after update

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: fix commands json tests after update

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: migrate frontend to new json/commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/api: migrate api to new doc-commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: use AnsiHighlightVisitor

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

share/man: update manpage for the nitx --catalog option

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: update bin tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitx: add command tests

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

android: update example in audio

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: close file descriptors of sound & music after use

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: refactor music/sounds and fix trying to use invalid music resource

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitx: nitx use doc commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

doc/commands: parser stores commands usage and help

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model/json: simplify the basic rendering at a maximum level

No more nested objects and cross-references.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: move `web` group to `doc::api`

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: fix mdoc_or_fallback for nullables types

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

nitweb: allows client to precise ?pretty in request args

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

lib/popcorn: to_json accept serialization parameters

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: annotations: introduce `example` annotation

## Motivations

When looking at the nit libraries, it's not rare to find external files used only to store examples that cannot be expressed as docunit.

The `example` annotation aims at tag pieces of code that may be considered as examples and thus be:
1. ignored be the compilation tools
2. used by documentation tools (and testing tools)

## Why a new annotation?

Rather than the `examples/` folder convention?

1. Examples can now be included directly in the module code if needed
2. Makes it easier to separate real code example from helper code and example tests
3. More flexibility in project organization and namming
4. To be coherent with the `test` annotation

## How to use it?

Simply tag the MEntity with `example`:

~~~nit
module my_example_module is example
~~~

Can also be applied on classes and methods:

~~~nit
module my_module # is not example

# Abstract class A, we should provide an example of subclass...
# So let's see `ExampleA`.
abstract class A
end

# This class provides an example of how to sublass A.
class ExampleA is example
   super A
end

class C
    # This method provides an example of how to instantiate `A` sublcasses
    fun example_init_a is example do
        var a: A = new ExampleA
    end
end
~~~

## Incoming work

This PR only introduces the annotation and applies it to the existing source code.

Next PR will make tools like nitweb, nitdoc and nitx use it (via commands #2580).

Pull-Request: #2581
Reviewed-by: Alexandre Blondin Massé <alexandre.blondin.masse@gmail.com>
Reviewed-by: Jean Privat <jean@pryen.org>

lib/ai: fix raw code in now tested docunit for puzzle test module

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for model json

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: highlight with ansi color (for console)

Because the nit interactive interpreter and nitx might want it


This provides a new `AnsiHighlightVisitor` than can do stuff

Note: colors are currently hard-coded and only comments, keywords, classnames and literals are highlighted. However, since this reuse the full highlighting infrastructure, a lot of semantic things can be added.

Pull-Request: #2593

nitlight: update manpage

Signed-off-by: Jean Privat <jean@pryen.org>

nitlight: add --txt for text-based highlighting

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: extract HTML stuff from highlight into htmlight

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: remove useless `self` parameter (some crazy previous refactor?)

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: move hightlightcode inside HighlightVisitor

Signed-off-by: Jean Privat <jean@pryen.org>

highlight: rename enter_visit and htmlize (and fix spell of hightlight)

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: gamnit: new services and a lot of bug fixes and performance improvements

This PR groups small fixes to gamnit and related packages. It is a general cleanup in preparation for optimizations to the gamnit depth 3D API.

Intro a few new services:
* `ParticleSystem::clear` to remove all live particles.
* `CustomTexture` can be modified and reloaded in GPU memory after the first call to `load`.
* Don't apply dynamic resolution to UI sprites as they are usually lightweight and any change in resolution is easily noticable.

Optimizations:
* Matrix creation and manipulation, in both gamnit and the matrix package.
* Free pixel data from both Nit and Java memory after loading them from the assets folder into the GPU memory.
* Avoids using mallocs in `realtime` services.

Fixes:
* Fix the left and right anchors of the `UICamera`.
* Fix a constant used to ask for antialiasing in the `egl` package.
* Avoid long attribute names in Blinn-Phong shader in case their name is truncated or the attribute is optimized out.
* Fix pointer to the parent GPU texture name in subtextures.
* Improve a few API doc.

Pull-Request: #2586
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: android: adaptive icons, free memory on demand and use same package in debug mode

This PR extends the new Android compilation toolchain:

* Add support for adaptive icons from Android 8 Oreo (and the older `roundIcon`), see https://developer.android.com/guide/practices/ui_guidelines/icon_design_adaptive.html. It should detect the icons structure generated by Android Studio 3.

* Tweak the GC compilation options to make it more stable and support releasing memory when the Android system sends the `onLowMemory` message.

* Don't change the app name and package/namespace when compiling in debug mode. While this allowed to easily install both the release and the debug version of the same app on a device, it could be unexpected and it was not compatible with some Google services linked to a precise package name. The old behavior can be reproduced in standard Nit code by using a debug variant like so:
  ~~~
  module asteronits_debug is
      app_name "Asteronits debug"
      app_namespace "org.nitlanguage.asteronits_debug"
  end

  import asteronits
  ~~~

Pull-Request: #2589

Merge: tests: force a utf8 locale because gradle don't like pure ascii

this should fix the CI tests when people with international names make PR.

ref: https://github.com/gradle/gradle/issues/3117

Pull-Request: #2590

tests: update some sav because uft8 locale

Signed-off-by: Jean Privat <jean@pryen.org>

tests: force a utf8 locale because gradle don't like pure ascii

this should fix the CI tests when people with international names make PR.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: fix tests for sort_perf

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for neo

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for nitls

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for nitdoc

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for nitsmells

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for nitcatalog

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for nit index

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix test loader

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

tests: fix tests for doc commands

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

examples: annotate examples

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

frontend: add `is example` test

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: filter examples from views

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

frontend: parse examples annotations

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

model: introduce examples flags

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

frontend: move annotations to check_annotation

So all core lib can use it.

Signed-off-by: Alexandre Terrasa <alexandre@moz-code.org>

android: kindly ask the GC to do its thing when the OS is low on memory

bdwgc will try to release some of its memory if compiled with -DUSE_MUNMAP.

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: tweak the GC compilation flags

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: don't change metadata in debug mode

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: accept adaptive icons and other previous icon formats

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

perf analysis: customize float precision in reports

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

realtime: avoid unnecessary mallocs

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

realtime: make native services private

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: don't apply dynamic resolution to UI sprites

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: dynamic_resolution_ratio should be writable

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

gamnit: free images pixel data from RAM after loading it in GPU memory

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge: nitin FFI seems to work

This adds the bad triple-quoted string and bad extern in the lexer to enable continuing in nitin.
Now FFI seems to work.

~~~raw
-->fun hello `{
...puts("Hello, world");
...`}
-->hello
Hello, world
~~~

Pull-Request: #2587

Merge: android: update compiler to use the "new" toolchain

Update the Android support in the compiler to use of the new official Android toolchain based on gradle and CMake, it replaces the old toolchain based on ndk-build and Android.mk files. The use of the new toolchain makes it easier to connect with libraries, it follow the current examples, it is a bit faster to compile, it automatically downloads the SDK files for the target platforms and it has a decent quiet compilation mode!

The new toolchain brings the following changes to the generate Android projects:
* It adds a new project layer above the app layer, this results in moving most of the generated code down in the `app/src/main` folder.
* It moves some settings (API levels, etc.) out of AndroidManifest.xml to a `build.gradle`.
* It replaces the makefiles Android.mk by CMakeLists.txt.

I took advantage of these changes to bring back the GC support for Nit on Android. The new toolchain executes the standard libgc/bdwgc CMakeLists.txt with only small modifications (based on the Unity fork) and the GC works as expected on Android (with thread support). Having a working GC required tweaking some existing Nit code that did not take into account a functioning GC in order to correctly pin references to Nit objects from Java.

I've also updated the full Docker image to support the new toolchain.

Note that the new Android toolchain supports only 64 bits host platforms with Java 8 JDK.

Future work:
* Support more ABIs, incl. arm64 and x86_64, they should be activated only when targetting their minimum supported platform.
* Compile libunwind with its CMakeLists.txt.
* Support adding extra lines to the gradle files, or accept full gradle files from clients.

Pull-Request: #2575
Reviewed-by: Jean Privat <jean@pryen.org>

Merge: src/doc: Introduce doc commands

There is 3 doc related tools:
* nitdoc
* nitweb
* nitx

Each tool currently uses an ad-hoc way to explore the model, retrieve and present the results.

This PR aims at unifying the process between all the documentation tools by providing a unique API to explore model and entities.

A `DocCommand` represents a query to perform on the model.
Since a command can be used by a wide variety of clients, initialization of DocCommands works in two steps.

First, you pass the data you already have to the command at init:
~~~nit
# var c1 = new CmdEntity(view, mentity_name = "Array")
# var c2 = new CmdEntity(view, mentity = my_entity)
~~~

Then, you call `init_command` to initialize the missing field from the stub data:
~~~nit
var r1 = c1.init_command
assert c1.mentity != null
assert r1 isa CmdSuccess

var r2 = c2.init_command
assert c2.mentity_name != null
assert r2 isa CmdSuccess
~~~

There is a variety of commands that can be used to fulfill the tool objectives:
* `commands_model`: commands related to model and entities
* `commands_catalog`: commands related to catalog and statistics
* `commands_graph`: commands related to visual representations
* `commands_usage`: commands related to classes and methods usage
* `commands_docdown`: commands related to MDoc parsing and markdown features

To make the integration with tools easier some features are added in:
* `commands_parser`: parse commands from string such as `graph: array | pdepth: 1`
* `commands_http`: initialize commands options from HTTP requests

Rendering options:
* `commands_json`: render the command results as JSON
* `commands_html`: render the command results as HTML

A lot of examples can be found in the test modules.

Pull-Request: #2580
Reviewed-by: Jean Privat <jean@pryen.org>

nitin: add FFI example in the README

Signed-off-by: Jean Privat <jean@pryen.org>