benchs: add --inline-some-methods and --direct-call-monomorph to bench_nitg-s_options-faster

Signed-off-by: Jean Privat <jean@pryen.org>

benchs: add --no-gcc-directive to bench_nitg-s_options-slower

Signed-off-by: Jean Privat <jean@pryen.org>

benchs: protect mangle groups of options in `bench_nitg*_options`

Signed-off-by: Jean Privat <jean@pryen.org>

nitgs: add --direct-call-monomorph and --inline-some-methods

These code-generation-level global optimizations allow the separate
compiler to:

* first, use a direct call, instead of a VFT call when RTA gives inform
  that a callsite is monomorph (and that the receiver is a nonnull
  non parametric type)
* second, to inline static call when the mmethoddef is tagged accordingly
  (we reuse the `can_inline` service of the global compiler)

**DISCLAMER**
The point of these optimizations is to evaluate some extreme optimizations,
thus to bound the gain of much less aggressive optimizations.
Real direct call and inlining optimizations SHOULD be applied on the AST
or (some intermediate code level) to be combinable with other optimizations.

Some numbers for `nitg --separate nitg.nit`:

# base (no option)
total number of invocations: 45833
invocations by VFT send:     34556 (75.39%)
invocations by direct call:  9955 (21.72%)
invocations by inlinning:    1322 (2.88%)
user time 0m10.2s

# with --direct-call-monomorph
total number of invocations: 45833
invocations by VFT send:     9259 (20.20%)
invocations by direct call:  35199 (76.79%)
invocations by inlinning:    1375 (3.00%)
user 0m10.1s

# with --direct-call-monomorph and --inline-some-methods
total number of invocations: 46657
invocations by VFT send:     9701 (20.79%)
invocations by direct call:  26239 (56.23%)
invocations by inlinning:    10717 (22.96%)
user 0m10.0s

Discussion about the number:
Something is fishy, while there is a high reduction of VFT or direct calls,
there is no real gain in CPU time. Points to investigate:

* the optimized invocations are not in the hot path
  TODO gather dynamic numbers
* my CPU is very efficient when dealing with direct call and indirect calls
  TODO test on pratchett
* some issues with the measurements or with the measurer
  TODO go to sleep

Signed-off-by: Jean Privat <jean@pryen.org>

nitg-s: use is_intern instead of crazy AST stuff

Signed-off-by: Jean Privat <jean@pryen.org>

model: add `MMethodDef::is_intern`

Signed-off-by: Jean Privat <jean@pryen.org>

nitg-s: collect static statistics about the invocation mechanism used

They are displayed on `-v -v`.

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: Use gcc special attributes and directives.

`noreturn` tags `show_backtrace` as no return
ie. `__attribute__ ((noreturn))`

`likely` tags runtime error checks with `unlikely`
ie. `__builtin_expect((x),0)`

These special C annotations can be disabled with --no-gcc-directive
The additional `--no-gcc-directive correct-likely` invert the
`__builtin_expect` target.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Callgraph

Quick patches so that RTA can give two new pieces of information.

1. what are the live CallSites? `RTA::live_callsites`
2. for each live CallSite, what are the live targets (MMethodDef) `RTA::live_targets`

Pull-Request: #369
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>

Merge: Fix ffi null service

With nitg-g, the linker could fail when the same two piece of code will be in distinct files,
since the #ifndef trick does not cross compilation units.

This merge is just a workaroud where we use a global flag to avoid multiple definition.
While it works (thus is an improvement) it is ugly and broke the separate compilation concerns.

Pull-Request: #368
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: More on Pipeline

Pull-Request: #362
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: update sav/nitmetrics_args1.res for RTA-callsite info

Signed-off-by: Jean Privat <jean@pryen.org>

metrics/rta: add callsite_info to display things

Signed-off-by: Jean Privat <jean@pryen.org>

rta: add live_callsites and live_callsites

In a callgraph it is useful to be able to compute the live target of any
callsite

Signed-off-by: Jean Privat <jean@pryen.org>

callsite: add `mmodule` and `anchor` to the callsite objects

This simplify the job of its users since more model information is
available.

Signed-off-by: Jean Privat <jean@pryen.org>

compiler_ffi: factorize code in compile_extern_helper_functions

Signed-off-by: Jean Privat <jean@pryen.org>

compiler_ffi: ifndef does not protect multiple definition of symbols

`#ifndef` trick can work on the compiler, but not on the linker.

Do not use buggy pragma to protect multiple definition

lib/pipeline: add basic functional-like filer processing (map&select)

Because Nit is not functional, worse, there is no anonymous classes, the
use is complex.
However, I tried to have the syntax as light as it could be currently.

I still suspect that for most cases, a `for` loop can perform
enough map&select style. Therefore, consider this commit as an
experimentation.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: check signature visibility

A public API property cannot expose a private type.

Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

tests: add base_prot_sig to test usage of private type in public signature

There is a lot of tests because there is a lot of combination...

Signed-off-by: Jean Privat <jean@pryen.org>

modelize_property: check that public properties only contains public types

Signed-off-by: Jean Privat <jean@pryen.org>

metrics: type phase attributes with Phase instead of private subclasses

Signed-off-by: Jean Privat <jean@pryen.org>

model_viz: privatize linex_comparator

Because LinexComparator is private and the attribute
is only used as a cache.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/coll: remove private types from public signatures

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Easy entry point for student

Simplify the entry point for new contributor of the tools.
4th (and last) of the #353 series.

Pull-Request: #353
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

Merge: Process mainmodule and mmodules

improve  `ModelBuilder::run_global_phases` and `Phase::process_mainmodule`.
Better API when more that one module is given (with an implicit bottom-module).

The 3rd PR of the #353 series

Pull-Request: #357
Reviewed-by: Lucas Bajolet <r4pass@hotmail.com>

lib: modify lib/pipeline to work on iterators instead of collection

* Methods in `pipeline` are difficult to use because they are lazy.
* They are highly generic and return a abstract return type, thus
having them in Collection lead to strange API, like `[1,2,3].head(2)` that
is not an Array.
* Because they are in Collection, all standard class like Array show them
in their documentation, confusing beginners.

Moving all pipeline functions on Iterator solve these problems.

This basically reverts commit c0316e522d0d8053c0fb155bf1fbd14979a12202.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/curl: remove dep. en `pipeline`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge: Toolcontext process options

improve `ToolContext::process_options`.
This factorizes code and reduces the number of buggy corner-case

The second PR of the #353 series

Pull-Request: #356

merge: Reactivate networg debug

Rename and reactivate the network debogger

First step of the PR series #353

Pull-Request: #355

Merge branch 'doc_stdlib_some_more'

Merge branch 'html_add_outer'

lib/html: add method add_outer

closes #233
signed-off-by: Johann Dubois <johann.dubois@outlook.com>
Signed-off-by: Jean Privat <jean@pryen.org>

Merge branch 'doc_for_FileStat'

lib/file: Add comments in FileStat

closes #234
signed-off-by: Johann Dubois <johann.dubois@outlook.com>

lib/environ: more documentation and nitunit tests

Fixes #209
Signed-off-by: Jean Privat <jean@pryen.org>

lib/string_search: more documentation and nitunit tests

Fixes #186
Fixes #218
Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: more documentation and nitunit tests

Fixes #160
Fixes #161
Signed-off-by: Jean Privat <jean@pryen.org>

lib/file: document and fix `file_extension`

Also remove the redundant (thus useless) test file.

Fixes #160
Signed-off-by: Jean Privat <jean@pryen.org>

tests: add src/test_test_phase

Signed-off-by: Jean Privat <jean@pryen.org>

metrics/generate_hier: project_hierarchy.dot use given_mmodules

Instead of using the first loaded project

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: `process_options` require arguments.

Having it to access directly `sys.args` broke some isolation concerns.

This commit also updates all tools to avoid breakage.

Signed-off-by: Jean Privat <jean@pryen.org>

src: new example tool test_test_phase.nit

This module could be shown to first-time contributors (like students)
that need to implement some proof of concept.

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add parameter `given_mmodules` to `Phase::process_mainmodule`

`given_modules` is the list of explicitely requested modules.
From the command-line for instance.

Thus, global phases can chose to work with the bottom main module or
with each specific given modules.

Signed-off-by: Jean Privat <jean@pryen.org>

tests: update sav/ for tools

Signed-off-by: Jean Privat <jean@pryen.org>

test_phase: provide a simpler way to implement POC of nit tools

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: `run_global_phases` takes an array of modules

Instead of a single module.
Thus it can creates itself the implicit bottom module if required.

Signed-off-by: Jean Privat <jean@pryen.org>

src: update tools to the new toolcontext helpers on option processing

Specify a tooldescription
Get rid of manual management of most arguments error

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add src/test_phase

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: doc/nitc/index.html includes test_*

Also, old names of nitdbg_* are removed.

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: add the flag `accept_no_arguments`

Signed-off-by: Jean Privat <jean@pryen.org>

makefile: build nitdbg_* tools

Because the ffi works again!

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: process_option honors --help, --version and checks options errors

Signed-off-by: Jean Privat <jean@pryen.org>

nitdbg_client: exit if not connected (instead of getting a SIGPIPE)

Signed-off-by: Jean Privat <jean@pryen.org>

toolcontext: add `usage` and `tooldescription`

Signed-off-by: Jean Privat <jean@pryen.org>

nitg: catch SIGPIPE as a runtimeerror

Signed-off-by: Jean Privat <jean@pryen.org>

src: rename `dbgcli` and `netdbg` as `nitdbg_{client,server}`

the `nit` prefix is reserved for commands.

Signed-off-by: Jean Privat <jean@pryen.org>

src: rename `nitdbg_commons` as `debugger_commons`

the `nit` prefix is reserved for commands.

Signed-off-by: Jean Privat <jean@pryen.org>

src: rename `nit_version.nit` as `version.nit`

the `nit` prefix is reserved for commands.

Signed-off-by: Jean Privat <jean@pryen.org>

Merge branch 'doc_on_collection'

Merge branch 'module_paths'

This series improve the way the loader identify path.

Now, directories and global projects (those in the NIT_PATH or from -I)
can be loaded

Thus, you can write

~~~
$ nitg mytool.nit -m android
~~~

A new tool, `nitls` exposes path identifications to the user than now
can list source files, projects, and both in a tree only by looking at
the file system (no parsing or whatever)

Eg. what are the projects in the directory lib (-k ignore non nit
things)

~~~
$ src/nitls lib/* -k
lib/a_star.nit
lib/android.nit
lib/base64.nit
lib/bcm2835.nit
lib/bucketed_game.nit
lib/console.nit
lib/counter.nit
lib/cpp.nit
lib/csv.nit
lib/curl
lib/curses
lib/dummy_array.nit
lib/egl.nit
lib/filter_stream.nit
lib/for_abuse.nit
lib/glesv2.nit
lib/gpio.nit
lib/gtk.nit
lib/gtk3_4
lib/gtk3_6
lib/gtk3_8
lib/html.nit
lib/json
lib/json_serialization.nit
lib/jvm.nit
lib/md5.nit
lib/mnit
lib/mnit_android
lib/mnit_linux
lib/more_collections.nit
lib/mpd.nit
lib/nitcc_runtime.nit
lib/opts.nit
lib/ordered_tree.nit
lib/pipeline.nit
lib/poset.nit
lib/posix_ext.nit
lib/privileges.nit
lib/realtime.nit
lib/scene2d.nit
lib/serialization.nit
lib/signals.nit
lib/simple_json_reader
lib/socket
lib/sqlite3
lib/standard
lib/symbol.nit
lib/template.nit
lib/x11.nit
~~~

All stuff from standard in a tree

~~~
$ nitls lib/standard/ -r -t
standard
|--collection
|  |--lib/standard/collection/abstract_collection.nit
|  |--lib/standard/collection/array.nit
|  |--lib/standard/collection/collection.nit
|  |--lib/standard/collection/hash_collection.nit
|  |--lib/standard/collection/list.nit
|  |--lib/standard/collection/range.nit
|  `--lib/standard/collection/sorter.nit
|--lib/standard/environ.nit
|--lib/standard/exec.nit
|--lib/standard/file.nit
|--lib/standard/gc.nit
|--lib/standard/kernel.nit
|--lib/standard/math.nit
|--lib/standard/posix.nit
|--lib/standard/ropes.nit
|--lib/standard/standard.nit
|--lib/standard/stream.nit
|--lib/standard/string.nit
|--lib/standard/string_search.nit
`--lib/standard/time.nit
~~~

Conflicts:
tests/testfull.sh

tests: do not use now-private classes

Signed-off-by: Jean Privat <jean@pryen.org>

lib/coll: make private some specific implementations of interfaces

Signed-off-by: Jean Privat <jean@pryen.org>

lib/coll: make CoupleMapIterator private

Thus introduce a protected service `CoupleMap::couple_iterator` to
factorise the instantiation.

Signed-off-by: Jean Privat <jean@pryen.org>

lib/coll: generalize `insert` in Sequence

Signed-off-by: Jean Privat <jean@pryen.org>

lib/coll: move *index_of* in Sequence

Signed-off-by: Jean Privat <jean@pryen.org>

lib: document abstract_collection + nitunit tests

Signed-off-by: Jean Privat <jean@pryen.org>

Merge branch 'model_entity'

Basically, this adds a super-class MEntity and a class MDoc in model.

Now, tools that need to deal with abstractions of entities and with
documentation could be simplified.

lib/array: fix AbstractArray::unshift

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add and update test_markdown

A old version of sav/test_markdown.res existed but was not executed
by fulltest.sh

Signed-off-by: Jean Privat <jean@pryen.org>

test_markdown: adapt to MDoc

and update to the new lib/html API

Signed-off-by: Jean Privat <jean@pryen.org>

nitx: adapt to MDoc

all `modelbuilder.mthing2nthing` have disappeared.

However, the new MEntity class still need to be used to factorize code.

Signed-off-by: Jean Privat <jean@pryen.org>

nitunit: adapt do MDoc

Quite simple indeed.

Since the point is just to collect pieces of code, the walk on the AST is
still the best path.

Signed-off-by: Jean Privat <jean@pryen.org>

nitdoc: adaptation for MDoc

The adaptation is minimal.

I tried to write a more complete adaptation but a in-depth rewriting
could be more useful since the new classes MEntity and MDoc should really
simplify things.

Signed-off-by: Jean Privat <jean@pryen.org>

markdown: work on MDoc (instead of ADoc)

This commit broke the clients nitdoc, nitunit, and nitx.
The next commits will fix them (hopefully).

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: fill the `mdoc` of entities

Signed-off-by: Jean Privat <jean@pryen.org>

model: add module `model/mdoc` to attach optional MDoc to model entities

Signed-off-by: Jean Privat <jean@pryen.org>

model: add `MEntity` as a superclass for model entities (ie. most classes in model)

Signed-off-by: Jean Privat <jean@pryen.org>

lib/html: add a lot of nitunit tests

Also fix a bug related to the css `style` attribute thanks to those tests!

Signed-off-by: Jean Privat <jean@pryen.org>

Merge remote-tracking branch 'alexis/various-ffi-fixes'

android: make apps fullscreen

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

android: cleanup indentation in generation of xml files

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

nitls: add -M option do list dependencies

Signed-off-by: Jean Privat <jean@pryen.org>

Merge remote-tracking branch 'alexis/more-jvm'

tests: update error_mod_unk.nit

Signed-off-by: Jean Privat <jean@pryen.org>

Makefile: rule `doc/stdlib/index.html` use `nitls` instead of `find`

Signed-off-by: Jean Privat <jean@pryen.org>

Makefile: build nitls

Signed-off-by: Jean Privat <jean@pryen.org>

tests: add nitls

Signed-off-by: Jean Privat <jean@pryen.org>

src: new tool nitls

Simple tool to list nit source files in directories.

The tool is really fast since it does not load files, just look at the
structure of files and directories.

There is a bunch of cool options, try it.

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: add `MGroup::module_paths` to store potential nit files

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: `identify_file` works with directories and module names

* `cvs` will get `../lib/csv.nit`
* `curl` will get `../lib/curl/curl.nit`
* `some/path/` could get `some/path/path.nit`

This enable some fun the the option `-m`:

    $ nitg someprog.nit -m android

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: extract `search_module_in_paths` from `get_mmodule_by_name`

Signed-off-by: Jean Privat <jean@pryen.org>

modelbuilder: get_mmodule_by_name only output lookpaths instead of tries

Signed-off-by: Jean Privat <jean@pryen.org>

lib/kernel: add `Bool::to_i`

Signed-off-by: Jean Privat <jean@pryen.org>

Merge branch 'streamable'

tests: add errors to the jvm tests

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: test JavaVM::destroy and ::env

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

tests: improve error handling in test_jvm

Signed-off-by: Alexis Laferrière <alexis.laf@xymus.net>

Merge branch 'comparators'

Merge branch 'file_string'