// Регистрация Worker для пакетной обработки URL
pikahcu.regist(getWorker());
pikachu.start();
// Worker
GeneralWorker generalWorker = new GeneralWorker("1", TestBean.class)
.addPipeline(new BasePipeline(TestBean.class) {
@Override
public void output(Map result, String url) {
System.out.println(result);
}
});
// Создание центра управления периодическими задачами
PikachuJobManage pikachuJobManage = new PikachuJobManage(pikachu);
pikachuJobManage.regiest(generalWorker, 1L, 5L, TimeUnit.SECONDS);
/
Пример создания пакетного Worker для разбивки на страницы
@return */ public BathWorker getWorker() { int i = 1; while (i < 100) { String url = "https://hz.lianjia.com/ershoufang/xihu/pg" + i + "/"; urlList.add(url); i++; } attr.put("title", new Target("title", "List", "body > div.content > div.leftContent > ul > li > div.info.clear", null)); attr.put("price", new Target("price", "String", "body > div.content > div.leftContent > ul > li > div.info.clear > div.priceInfo > div > span", null));
worker = new BathWorker("lj") .method(MatchUrl.Method.GET) .urlList(urlList) .attr(attr) .addPipeline(new LianjiaPipeline(lianjiaRepository)); return worker; }
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )