Основы фреймворка проекта NLP: специализированный веб-краулер для динамических веб-страниц (JS).

Лёгкий паук для Elasticsearch.

Распределённая структура для краулеров. Разработка распределённого краулера с помощью одной строки кода. Поддерживает такие функции, как многопоточность, асинхронность, динамические IP-прокси, распределение и рендеринг JS.

Простой веб-краулер, реализованный с помощью Scala Akka.

Собственный простой фреймворк для краулеров.

ККраулер — открытый облачный краулер. https://github.com/KingFalse/KCrawler

Скачивание романа.

Веб-сайт для сохранения проектов: сохранение статей в публичном аккаунте WeChat (инструмент для сохранения статей на сайте mp.weixin.qq.com).

Использование технологий springboot, spring-data-jpa, webmagic и т. д., для периодического сбора видео с Aiqiyi и 360 Video.

nspider A lightweight crawling/scraping package for Node. Features: server-side DOM & auto

Небольшой паук, написанный на Scala, использует пакеты Java HttpClient и Jsoup. Поскольку Scala основана на Java и является исходным языком для Spark, в будущем можно рассмотреть возможность запуска с использованием кластера.

Один легковесный сетевой многопоточный фреймворк для парсинга.