Эмоциональный интеллект: проект по распознаванию эмоций

Команда W03KFgNOc заняла третье место в соревновании по распознаванию эмоций.

Правильность результата составила 0,75564. В команду входят участники yyMoming, xkwang и RichardoMu.

Соревнование по распознаванию эмоций можно найти по ссылке: http://challenge.xfyun.cn/topic/info?type=facial-emotion-recognition.

Проект

В рамках проекта было обучено восемь моделей и сгенерированы файлы CSV. Затем модели были объединены.

Для создания среды conda была выполнена следующая команда:

conda create -n emotion python==3.8.0
conda activate emotion
cd {project_path}
pip install -r requirements.txt

Обучение проводилось в несколько этапов для каждой из восьми моделей.

1. Обучение модели efficientnet_b2b:

python main_fer2013.py --config ./config/efficientnet_b2b_config.json

2. Обучение модели efficientnet_b3b:

python main_fer2013.py --config ./config/efficientnet_b3b_config.json

3. Обучение модели cbam_resnet50:

python main_fer2013.py --config ./config/cbam_resnet50_config.json

4. Обучение модели hrnet_w64:

python main_fer2013.py --config ./config/hrnet_w64_config.json

5. Обучение модели resmasking:

python main_fer2013.py --config ./config/resmasking_config.json

6. Обучение модели resmasking_dropout1:

python main_fer2013.py --config ./config/resmasking_dropout1_config.json

7. Обучение модели resnest269e:

python main_fer2013.py --config ./config/resnest269e_config.json

8. Обучение модели swin:

python main_fer2013.py --config ./config/swin_config.json

Контрольные точки сохраняются в каталоге {project_path}/checkpoint. Логи можно посмотреть в папке log.

Прогнозирование

Конкретные шаги описаны в файле test.sh. Модели хранятся на облачном диске Baidu (https://pan.baidu.com/s/1mM-APWoLV5P3nvrzmG--Jg, код доступа 1gyh).

После загрузки модели копируются в папку user_data/model_data. Затем выполняются следующие команды для прогнозирования:

1. Прогнозирование модели efficientnet_b2b:

python gen_results.py --config ./config/efficientnet_b2b_config.json --model_name efficientnet_b2b --checkpoint_path efficientnet_b2b_2021Jul25_17.08

2. Прогнозирование модели efficientnet_b3b:

python gen_results.py --config ./config/efficientnet_b3b_config.json --model_name efficientnet_b3b --checkpoint_path efficientnet_b3b_2021Jul25_20.08

3. Тестирование модели cbam_resnet50:

python gen_results.py --config ./config/cbam_resnet50_config.json --model_name cbam_resnet50 --checkpoint_path cbam_resnet50_test_2021Jul24_19.18

4. Тестирование модели hrnet_w64:

python gen_results.py --config ./config/hrnet_w64_config.json --model_name hrnet_w64 --checkpoint_path hrnet_test_2021Aug01_17.13

5. Тестирование модели resmasking:

python gen_results.py --config ./config/resmasking_config.json --model_name resmasking --checkpoint_path resmasking_test_2021Jul26_14.33

6. Тестирование модели resmasking_dropout1:

python gen_results.py --config ./config/resmasking_dropout1_config.json --model_name resmasking_dropout1 --checkpoint_path resmasking_dropout1_test_2021Aug01_17.13

7. Тестирование модели resnest269e:

python gen_results.py --config ./config/resnest269e_config.json --model_name resnest269e --checkpoint_path resnest269e_test_2021Aug02_11.39

8. Тестирование модели swin:

python gen_results.py --config ./config/swin_config.json --model_name swin_large_patch4_window7_224 --checkpoint_path swin_large_patch4_window7_224_test_2021Aug02_21.36

Обратите внимание, что model_name является фиксированным, а checkpoint_path — это имя вашей обученной модели. Если вы обучили некоторые из этих моделей самостоятельно, пожалуйста, измените соответствующие имена на имена ваших обученных моделей.

Интеграция

Результаты прогнозирования восьми моделей объединяются в папке user_data/tmp_data. Для этого используется следующий скрипт:

python gen_ensemble.py

Объединённый результат сохраняется в файле result.csv в папке prediction_result.