**Neocrawler** — система краулеров на Node.js. Особенности: * поддержка настройки правил извлечения через веб-интерфейс (CSS-селекторы и регулярные выражения); * наличие безголового браузерного движка (PhantomJS) для извлечения контента, созданного с п...

Crawlab — это распределённая платформа для управления краулерами, разработанная с использованием Golang. Она поддерживает множество языков программирования, таких как Python, NodeJS, Go, Java и PHP, а также различные фреймворки для краулеров.

Distributed web crawler admin platform for spiders management regardless of languages and frameworks.