SimAM: простой модуль внимания без параметров для свёрточных нейронных сетей

Линсяо Янг, Ру-Юань Чжан, Лида Ли, Сяохуа Се

Аннотация

В этой статье мы предлагаем концептуально простой, но очень эффективный модуль внимания для свёрточных нейронных сетей (ConvNets). В отличие от существующих модулей внимания по каналам и пространственным областям, наш модуль вместо этого выводит 3D-веса внимания для карты признаков на уровне, не добавляя параметров в исходные сети. В частности, мы основываемся на некоторых известных теориях нейробиологии и предлагаем оптимизировать функцию энергии, чтобы найти важность каждого нейрона. Далее мы выводим быстрое решение в замкнутой форме для функции энергии и показываем, что решение может быть реализовано менее чем в десяти строках кода. Ещё одним преимуществом модуля является то, что большинство операторов выбираются на основе решения определённой энергетической функции, что позволяет избежать слишком больших усилий по настройке структуры. Количественные оценки по различным визуальным задачам демонстрируют, что предложенный модуль является гибким и эффективным для улучшения способности представления многих ConvNets. Наш код доступен по адресу Pytorch-SimAM.

Наши среды и наборы инструментов

• ОС: Ubuntu 18.04.5
• CUDA: 11.0
• Python: 3.8.3
• Toolkit: PyTorch 1.8.0
• GPU: Quadro RTX 8000 (4x)
• thop

Модуль

Наша цель — вывести 3D-веса внимания (рисунок (c)) с заданной картой признаков, которая сильно отличается от предыдущих работ, как показано на рисунках (a) и (b).

<p align="center">
<img src="figures/attentions.png">
</p>

SimAM (Реализация, подобная pytorch). Подробности реализаций, включая модуль и сеть, можно найти в разделе networks в этом репозитории.

class SimAM(nn.Module):
    # X: входной признак [N, C, H, W]
    # lambda: коэффициент λ в уравнении (5)
    def forward (X, lambda):
        # пространственный размер
        n = X.shape[2] * X.shape[3] - 1
        # квадрат (t - u)
        d = (X - X.mean(dim=[2,3])).pow(2)
        # d.sum() / n — это отклонение канала
        v = d.sum(dim=[2,3]) / n
        # E_inv объединяет всю важность X
        E_inv = d / (4 * (v + lambda)) + 0.5
        # вернуть выделенные признаки
        return X * sigmoid(E_inv)

Кривые обучения и проверки

<p align="center">
<img src="figures/training_curves.png">
</p>

Эксперименты

Обучение и оценка

Следующие команды обучают модели на ImageNet с нуля на 4 графических процессорах.

# Обучение с нуля
python main_imagenet.py {путь к ImageNet} --gpu 0,1,2,3 --epochs 100 -j 20 -a resnet18
python main_imagenet.py {путь к ImageNet} --gpu 0,1,2,3 --epochs 100 -j 20 -a resnet18 
--attention_type simam --attention_param 0.1
python main_imagenet.py {путь к ImageNet} --gpu 0,1,2,3 --epochs 150 -j 20 -a mobilenet_v2
--attention_type simam --attention_param 0.1 --lr .05 --cos_lr --wd 4e-5

# Оценка обученной модели
python main_imagenet.py {путь к ImageNet} --gpu 0,1,2,3 -j 20 -a resnet18 -e
--resume {путь к предварительно обученному .pth}

ImageNet

Все следующие модели можно скачать с BaiduYunPan (извлечь код: 25tp) и Google Drive.

COCO Evaluation

Мы используем mmdetection для обучения Faster RCNN и Mask RCNN для обнаружения объектов и сегментации экземпляров. Если вы хотите запустить следующие модели, пожалуйста, сначала установите mmdetection с помощью их руководства. А затем поместите все файлы .py в mmdetection этого репозитория в соответствующие папки. Все следующие модели можно скачать с BaiduYunPan (код извлечения: ysrz) и Google Drive.

Обнаружение с помощью Faster RCNN (сокращённо FR) и Mask RCNN (MR)

Сегментация экземпляров с помощью Mask RCNN (MR)

Цитирование

Если вы считаете SimAM полезным в своём исследовании, рассмотрите возможность цитирования:

@InProceedings{pmlr-v139-yang21o,
    title = {SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks},
    author = {Yang, Lingxiao and Zhang, Ru-Yuan and Li, Lida and Xie, Xiaohua},
    booktitle = {Proceedings of the 38th International Conference on Machine Learning},
    pages = {11863--11874},
    year = {2021},
    editor = {Meila, Marina and Zhang, Tong},
    volume = {139},
    series = {Proceedings of Machine Learning Research},
    month = {18--24 Jul},
    publisher = {PMLR},
    pdf = {http://proceedings.mlr.press/v139/yang21o/yang21o.pdf},
    url = {http://proceedings.mlr.press/v139/yang21o.html}
}

Контактная информация

Если у вас есть какие-либо предложения или вопросы, вы можете связаться с нами по адресу: lingxiao.yang717@gmail.com. Спасибо за ваше внимание!