Merge: nitwebcrawl: add a simple crawler for nitweb
authorJean Privat <jean@pryen.org>
Mon, 4 Jul 2016 15:26:31 +0000 (11:26 -0400)
committerJean Privat <jean@pryen.org>
Mon, 4 Jul 2016 15:26:31 +0000 (11:26 -0400)
I do not remember why I developed this, but it works so why not publish it.

This can be a base to bench IO-bound parallel problem, or something to test nitweb.
For information, if I crawl a nitweb server on lib/core. I get 5209 entities in 1m51s real time (0m50s user time)

Pull-Request: #2214
Reviewed-by: Romain Chanoir <romain.chanoir@viacesi.fr>
Reviewed-by: Alexandre Terrasa <alexandre@moz-code.org>


Trivial merge