1. Webmagic-learn

1. Введение

1. Использование Webmagic и Springboot для сбора данных с CSDN блога, сбора видео с Айки и 360影视. С использованием таймера данные из паука очищаются каждые 24 часа и собираются заново, чтобы данные были максимально актуальными.

2. Технологии на бэкенде

SpringBoot, MySQL, SpringBoot Data JPA, Webmagic, Redis.

3. Результаты работы

• Конкретные результаты доступны по адресу: http://152.136.105.250:8066/.

1. Страница со списком фильмов

   ​ Данные о фильмах (название, URL и т. д.) собираются с официального сайта Айки с помощью Webmagic и сохраняются в базе данных MySQL. Список фильмов отображается на странице, и при нажатии на кнопку «Анализ» можно воспроизвести видео.

2. Данные списка фильмов в базе данных

   Данные собираются с помощью Webmagic с официального сайта Айки и сохраняются в MySQL.

   

3. Страница списка блогов CSDN

   ​ Данные собираются с сайта CSDN с помощью Webmagic и сохраняются в базе данных MySQL. На странице со списком блогов можно нажать на заголовок блога, чтобы просмотреть его содержимое.

4. Данные пауков в списке блогов в базе данных CSDN

   Данные собираются с сайта CSDN с помощью Webmagic и сохраняются в MySQL.

5. Сбор данных блогов с CSDN, результат показан на рисунке ниже.

4. Локальный запуск

1. Установка программного обеспечения. Необходимо установить Java, Maven, MySQL и другие программы.
2. Загрузка кода проекта. Выполните команду git clone git@gitee.com:fengsam618/webmagic-learn.git, чтобы импортировать проект в Idea.
3. Запустите файл spider_film.sql в папке sql с помощью Navicat. Успешное выполнение создаст две таблицы.
4. Измените файл application-dev.properties в каталоге resource. Особое внимание уделите изменению имени базы данных, имени пользователя и пароля для подключения.
5. Откройте Idea, запустите её успешно, а затем перейдите к http://localhost/.
6. Для развёртывания обратитесь к скриптам в каталоге bin.

5. Что предстоит сделать

1. Добавить поддержку различных видов поиска в список фильмов (по названию фильма, времени).
2. Решить проблему с неправильными URL-адресами изображений фильмов.
3. Реализовать инкрементную вставку данных и автоматическую вставку по расписанию.
4. Обеспечить возможность переключения между линиями воспроизведения видео и анализ URL-адресов VIP-видео.

6. Примечания

1. Адрес проекта на Code Cloud: https://gitee.com/fengsam618/webmagic-learn.
2. Адрес проекта на GitHub: https://github.com/fengsam6/webmagic-learn.
3. Если вам интересно, можете попробовать.
4. Прекратите использование, если есть нарушение авторских прав на видеоанализ.