#Scavenger

#wiki

• Проект и инструкция по использованию http://git.oschina.net/wangjiankui/Scavenger/wikis/%E9%A1%B9%E7%9B%AE%E4%BB%8B%E7%BB%8D%E5%92%8C%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E%EF%BC%88%E4%B8%AD%E6%96%87%EF%BC%89

Использование:

В кластере Hadoop выполняется множество заданий, которые могут быть запущены из MR-скриптов, Hive SQL или Pig-скриптов и т. д. Первоначально в кластере компании не было управления заданиями, и некоторые задания с большим количеством мапперов могли монополизировать все ресурсы, что приводило к блокировке других процессов заданий. Изначально приходилось вручную завершать такие задания, проверяя JobTracker (50030), что было недостаточно интеллектуально. Поэтому возникла идея этого проекта — отслеживать задания на JobTracker, обнаруживать те, у которых количество мапперов превышает заданное значение или время выполнения слишком велико, и завершать их, а затем отправлять уведомления по электронной почте.

Прочее:

1. Это была давняя идея проекта. Хотя проблемы, решаемые этим проектом, можно избежать с помощью планировщика Hadoop, всё же захотелось попробовать написать его самостоятельно.
2. Код написан плохо, но я буду постепенно улучшать его. Буду рад получить советы от опытных разработчиков :)
3. В настоящее время проект является частным. После завершения первой версии он будет открыт для общественности.
4. Существует аналогичный проект на GitHub, который обновляется медленнее, чем git@osc.
5. Часть кода подходит только для среды моей компании. При использовании необходимо внести изменения, например, в части завершения заданий.
6. Пример регулярного выполнения, crontab-решение: */2 * * * * cd ~/git-osc/Scavenger/; . env.sh; python scavenger.py >> /tmp/sca.log 2>&1 &