**Neocrawler** — система краулеров на Node.js. Особенности: * поддержка настройки правил извлечения через веб-интерфейс (CSS-селекторы и регулярные выражения); * наличие безголового браузерного движка (PhantomJS) для извлечения контента, созданного с п...

Gecco — это легковесный и простой в использовании сетевой паук, разработанный на языке Java. Он объединяет в себе отличные фреймворки, такие как jsoup, httpclient, fastjson, spring, htmlunit и redission.

Приложение для универсального парсинга на основе WebMagic, главное преимущество которого — простота и удобство использования. После настройки легко извлекает данные.

Элегантный краулер для системы управления учебным процессом в форме квадрата.

Некоторые интересные примеры Python-краулеров, которые дружелюбны к новичкам. Они в основном сканируют сайты Taobao, Tmall, WeChat, Douban и QQ.

Grabant — это фреймворк для создания краулеров на языке Go с использованием правил, написанных на JavaScript. Разработка правил в Grabant похожа на создание правил для краулера Skynet.

Лёгкий фреймворк для краулеров, основанный на событийной рассылке.

Шаблон конфигурации для управления фронтендом краулера на основе React (Ant-Design от Ant Financial).

Цяньцзя фан дичан ван, эр шоу фан па чжун чэн.

Многопоточный краулер пользователей Zhihu на основе Python 3.

Инструмент для веб-скрейпинга: выберите подходящий веб-сайт, укажите URL, и инструмент автоматически выполнит скрап данных и создаст шаблон. Все просмотренные веб-сайты могут быть использованы мной!