ElasticCTR

ElasticCTR — это решение для распределённого обучения и прогнозирования CTR, которое можно развернуть в один клик. Пользователю нужно только настроить источник данных и формат образца.

1. Обзор

Проект предлагает комплексное решение для обучения и разработки CTR. Основные особенности:

• быстрое развёртывание;
• высокая производительность;
• настраиваемость.

Пользователи могут легко расширить ElasticCTR до других сред Kubernetes.

2. Настройка кластера

Перед запуском ElasticCTR необходимо настроить кластер Kubernetes и установить компонент Volcano. Для развёртывания на платформе Baidu CCE достаточно подать заявку. Также ElasticCTR поддерживает другие облачные платформы.

После настройки кластера необходимо подготовить HDFS в качестве источника данных.

3. Руководство по развёртыванию в один клик

Для развёртывания можно использовать скрипт elastic-control.sh. Перед его запуском убедитесь, что на компьютере установлен Python 3 и пакет mlflow (устанавливается командой python3 -m pip install mlflow -i https://pypi.tuna.tsinghua.edu.cn/simple).

Скрипт используется следующим образом:

bash elastic-control.sh [COMMAND] [OPTIONS]

Возможные команды:

• -c|--config_client — получение клиентского двоичного файла для отправки запросов на прогнозирование и получения результатов;
• -r|--config_resource — определение конфигурации обучения;
• -a|--apply — применение конфигурации и запуск обучения;
• -l|--log — печать статуса обучения (необходимо запустить обучение).

При определении конфигурации обучения можно добавить дополнительные параметры для указания ресурсов:

• -u|--cpu — количество ядер процессора на каждом узле обучения;
• -m|--mem — объём памяти на каждом узле;
• -t|--trainer — количество узлов Trainer;
• -p|--pserver — количество узлов Parameter-Server;
• -b|--cube — количество фрагментов Cube;
• -hd|--hdfs_address — адрес HDFS для хранения файлов данных.

Формат данных должен соответствовать примеру:

$show $click $feasign0:$slot0 $feasign1:$slot1 $feasign2:$slot2......

Пример:

1 0 17241709254077376921:0 132683728328325035:1 9179429492816205016:2 12045056225382541705:3

• -f|--datafile — путь к файлу данных, включая адрес HDFS и начальную и конечную даты (конечная дата необязательна);
• -s|--slot_conf — файл конфигурации слота признаков, обратите внимание на расширение файла '.txt'.

Файл data.config содержит следующие переменные:

export HDFS_ADDRESS="hdfs://${IP}:9000" # HDFS адрес
export HDFS_UGI="root,i" # имя пользователя и пароль HDFS
export START_DATE_HR=20200401/00 # время начала тренировочного набора, представляет 2020-04-01 00:00
export END_DATE_HR=20200401/03 # время окончания тренировочного набора, представляет 2020-04-01 03:00
export DATASET_PATH="/train_data" # префикс тренировочного набора в HDFS
export SPARSE_DIM="1000001" # размер разреженного параметра, можно не указывать

Примеры использования скрипта:

bash elastic-control.sh -r -u 4 -m 20 -t 2 -p 2 -b 5 -s slot.conf -f data.config
bash elastic-control.sh -a
bash elastic-control.sh -l
bash elastic-control.sh -c

4. Отслеживание прогресса обучения

Мы предлагаем два способа отслеживания прогресса обучения:

1. Просмотр через командную строку. Во время обучения пользователь может ввести следующую команду для вывода состояния Trainer0 и File Server в стандартный вывод:

bash elastic-control.sh -l

2. Просмотр через file server. Когда модель будет готова, пользователь может выполнить следующую команду для просмотра журнала file server:

bash elastic-control.sh -l

Когда модель будет готова к использованию, можно выполнить прогнозирование. Для этого введите следующую команду:

bash elastic-control.sh -c

Следуйте инструкциям на экране для выполнения прогнозирования. Результаты будут выведены в стандартном выводе.