Few-Shot Papers

В этом репозитории содержатся статьи по обучению на малом количестве примеров (FSL), упомянутые в нашем обзоре FSL, опубликованном в ACM Computing Surveys (JCR Q1, CORE A*). Мы будем периодически обновлять этот список статей, включая новые работы по FSL.

Цитирование

Пожалуйста, цитируйте нашу статью, если вы считаете её полезной.

@article{wang2020generalizing,
  title={Generalizing from a few examples: A survey on few-shot learning},
  author={Wang, Yaqing, Yao, Quanming, James T. Kwok, and Lionel M. Ni},
  journal={ACM Computing Surveys},
  year={2020}
}

Содержание

1. Обзор
2. Данные
3. Модель
   1. Многозадачное обучение
   2. Обучение с использованием внешней памяти
   3. Генеративное моделирование
4. Алгоритм
   1. Доработка существующих параметров
   2. Доработка метаобученных параметров
   3. Изучение шагов поиска
5. Приложения
   1. Компьютерное зрение
   2. Робототехника
   3. Обработка естественного языка
   4. Акустическая обработка сигналов
   5. Другие области
6. Теории

Обзор

Обобщение на основе нескольких примеров: обзор обучения на малом количестве данных, CSUR, 2020 Y. Wang, Q. Yao, J. T. Kwok и L. M. Ni. статья

Данные

Обучение на одном примере через общие плотности на преобразованиях, в CVPR, 2000. E. G. Miller, N. E. Matsakis и P. A. Viola. статья

Адаптивное к домену дискриминационное однократное обучение жестам, в ECCV, 2014. T. Pfister, J. Charles и A. Zisserman. статья

Однократное изучение местоположения сцены с помощью переноса траектории признаков, в CVPR, 2016. R. Kwitt, S. Hegenbart и M. Niethammer. статья

Низкократное визуальное распознавание путём сжатия и галлюцинации признаков, в ICCV, 2017. B. Hariharan и R. Girshick. статья

Улучшение однократного обучения за счёт объединения дополнительной информации, препринт arXiv, 2017. Y.H.Tsai и R.Salakhutdinov. статья

Быстрая адаптация параметров для краткого описания изображений и визуального ответа на вопросы, в ACM MM, 2018. X. Dong, L. Zhu, D. Zhang, Y. Yang и F. Wu. статья

Используйте неизвестное постепенно: однократная видеоидентификация человека путём пошагового обучения, в CVPR, 2018. Y. Wu, Y. Lin, X. Dong, Y. Yan, W. Ouyang и Y. Yang. статья

Малократное обучение с крупномасштабным распространением, в CVPR, 2018. M. Douze, A. Szlam, B. Hariharan и H. Jégou. статья

Разнообразное малократное текстовое классификационное обучение с несколькими метриками, в NAACL-HLT, 2018. M. Yu, X. Guo, J. Yi, S. Chang, S. Potdar, Y. Cheng, G. Tesauro, H. Wang и B. Zhou. статья

Дельта-кодировщик: эффективный метод синтеза образцов для малократного распознавания объектов, в NeurIPS, 2018. E. Schwartz, L. Karlinsky, J. Shtok, S. Harary, M. Marder, A. Kumar, R. Feris, R. Giryes и A. Bronstein. статья

Малократное обучение через сохранение ковариации с помощью сетей состязательного дополнения, в NeurIPS

Примечание: В данном ответе не удалось перевести часть текста, так как он содержит специальные символы или непечатаемые символы. Автодополнение: обучение стратегиям дополнения данных на основе данных, CVPR, 2019. Э. Д. Кубук, Б. Зоф, Д. Мэн, В. Васудеван и К. В. Ле. статья

EDA: простые методы дополнения данных для повышения производительности при решении задач классификации текста, EMNLP и IJCNLP, 2019. Дж. Вэй и К. Цзоу. Статья

Модель

Многозадачное обучение

1. Мультизадачные методы переноса для улучшения однократного обучения для обнаружения мультимедийных событий, BMVC, 2015. У. Янь, Дж. Яп и Г. Мори. Статья

2. Эффективное обучение переносимых представлений между доменами и задачами, NeurIPS, 2017. З. Луо, Ю. Цзоу, Дж. Хоффман и Л. Фэй-Фэй. Статья

3. Многоконтентный GAN для передачи стиля шрифта с небольшим количеством выстрелов, CVPR, 2018. С. Азади, М. Фишер, В. Ким, З. Ван, Э. Шехтман и Т. Даррелл. Статья

4. Перенос пространства признаков для дополнения данных, CVPR, 2018. Б. Лю, С. Ван, М. Диксит, Р. Квитт и Н. Васконселос. Статья

5. Однократный неконтролируемый перевод между доменами, NeurIPS, 2018. Ш. Бенаим и Л. Вольф. Статья

6. Точная визуальная категоризация с использованием метаобучения и оптимизации с выборочным обучением на вспомогательных данных, ECCV, 2018. Ю. Чжан, Х. Тан и К. Джиа. Статья

7. Прогнозирование заряда с несколькими выстрелами с помощью дискриминативных юридических атрибутов, COLING, 2018. Ц. Ху, С. Ли, Ц. Ту, З. Лю и М. Сун. Статья

8. Малозатратная адаптация предметной области с состязательным подходом, NeurIPS, 2017. С. Мотиан, К. Джонс, С. Иранманеш и Дж. Доретто. Статья

Изучение встраивания

1. Классификация объектов по одному примеру с использованием метрик релевантности классов, NeurIPS, 2005. М. Финк. Статья

2. Обучение с малым числом выстрелов через призму информационного поиска, NeurIPS, 2017. Е. Триантафилло, Р. Земель и Р. Уртасун. Статья

3. Оптимизация распознавания с малым числом примеров с помощью микронаборов, CVPR, 2010. К. Д. Танг, М. Ф. Таппен, Р. Суктанкар и К. Х. Ламперт. Статья

4. Сиамские нейронные сети для распознавания изображений с одного выстрела, ICML deep learning workshop, 2015. Г. Кох, Р. Земель и Р. Салахутдинов. Статья

5. Сети соответствия для обучения с одним выстрелом, NeurIPS, 2016. О. Виньялс, К. Бланделл, Т. Лилликрэп, Д. Виерстра и др. Статья

6. Изучение одновыстрельных обучающихся с прямой связью, NeurIPS, 2016. Л. Бертинетто, Дж. Ф. Энрикес, Дж. Вальмадре, П. Торр и А. Ведалли. Статья

7. Открытие лекарств с малым количеством данных с помощью обучения с одного выстрела, ACS Central Science, 2017. Х. Алтэ-Тран, Б. Рамсундар, А. С. Паппу и В. Панде. Статья Prototypical networks for few-shot learning, в NeurIPS, 2017. J. Snell, K. Swersky и R. S. Zemel.

Attentive recurrent comparators, в ICML, 2017. P. Shyam, S. Gupta и A. Dukkipati.

Learning algorithms for active learning, в ICML, 2017. P. Bachman, A. Sordoni и A. Trischler.

Active one-shot learning, препринт arXiv, 2017. M. Woodward и C. Finn.

Structured set matching networks for one-shot part labeling, в CVPR, 2018. J. Choi, J. Krishnamurthy, A. Kembhavi и A. Farhadi.

Low-shot learning from imaginary data, в CVPR, 2018. Y.-X. Wang, R. Girshick, M. Hebert и B. Hariharan.

Learning to compare: Relation network for few-shot learning, в CVPR, 2018. F. Sung, Y. Yang, L. Zhang, T. Xiang, P. H. Torr и T. M. Hospedales.

Dynamic conditional networks for few-shot learning, в ECCV, 2018. F. Zhao, J. Zhao, S. Yan и J. Feng.

Tadam: Task dependent adaptive metric for improved few-shot learning, в NeurIPS, 2018. B. Oreshkin, P. R. López и A. Lacoste.

Meta-learning for semi-supervised few-shot classification, в ICLR, 2018. M. Ren, S. Ravi, E. Triantafillou, J. Snell, K. Swersky, J. B. Tenenbaum, H. Larochelle и R. S. Zemel.

Few-shot learning with graph neural networks, в ICLR, 2018. V. G. Satorras и J. B. Estrach.

A simple neural attentive meta-learner, в ICLR, 2018. N. Mishra, M. Rohaninejad, X. Chen и P. Abbeel.

Meta-learning with differentiable closed-form solvers, в ICLR, 2019. L. Bertinetto, J. F. Henriques, P. Torr и A. Vedaldi.

Learning to propagate labels: Transductive propagation network for few-shot learning, в ICLR, 2019. Y. Liu, J. Lee, M. Park, S. Kim, E. Yang, S. Hwang и Y. Yang.

Learning with External Memory

Meta-learning with memory-augmented neural networks, в ICML, 2016. A. Santoro, S. Bartunov, M. Botvinick, D. Wierstra и T. Lillicrap.

Few-shot object recognition from machine-labeled web images, в CVPR, 2017. Z. Xu, L. Zhu и Y. Yang.

Learning to remember rare events, в ICLR, 2017. Ł. Kaiser, O. Nachum, A. Roy и S. Bengio.

Meta networks, в ICML, 2017. T. Munkhdalai и H. Yu.

Memory matching networks for one-shot image recognition, в CVPR, 2018. Q. Cai, Y. Pan, T. Yao, C. Yan и T. Mei.

Compound memory networks for few-shot video classification, в ECCV, 2018. L. Zhu и Y. Yang. Few-shot и zero-shot мультилейбл обучение для структурированных пространств меток, в EMNLP, 2018. Х. Янг, Х. Хи и Ф. Порикли.

Метадатасет: датасет датасетов для обучения на нескольких примерах, препринт arXiv, 2019. Э. Триантафиллу, Т. Чжу, В. Дюмулен, П. Ламблин, К. Сюй, Р. Горошин, С. Гелада, К. Сверски, П.-А. Манзагол и др.

Робототехника

К обучению с одного показа: имитация для роботов-гуманоидов, в ICRA, 2010. Ю. Ву и Ю. Демирис.

Изучение манипуляционных действий по нескольким демонстрациям, в ICRA, 2013. Н. Абдо, Х. Крецшмар, Л. Спинелло и К. Стахнис.

Обучение вспомогательным стратегиям по нескольким взаимодействиям пользователя и робота: подход на основе модельного подкреплённого обучения, в ICRA, 2016. М. Хамая, Т. Мацубара, Т. Нода, Т. Терамаэ и Дж. Моримото.

Однопоточное имитационное обучение, в NeurIPS, 2017. Я. Дуан, М. Андрихович, Б. Стади, Дж. Хо, Дж. Шнайдер, И. Суцкевер, П. Аббеель и В. Заремба.

Непрерывная адаптация через метаобучение в нестационарных и конкурентных средах, в ICLR, 2018. М. Аль-Шедивит, Т. Бансал, Ю. Бурда, И. Суцкевер, И. Мордач и П. Аббель.

Глубокое онлайн-обучение через метаобучение: непрерывная адаптация для подкреплённого обучения на основе модели, в ICLR, 2018. А. Нагабанди, С. Финн и С. Левин.

Метаобучение языкового направленного обучения политике, в ICLR, 2019. Дж. Д. Ко-Рейес, А. Гупта, С. Санджив, Н. Алтьери, Дж. Де Неро, П. Аббел и С. Левин.

Обработка естественного языка

Высокорисковое обучение: получение новых векторов слов из небольшого объёма данных, в EMNLP, 2017. А. Хербело и М. Барони.

FewRel: большой набор данных для контролируемого обучения с малым количеством примеров и классификацией отношений с использованием современных методов оценки, в EMNLP, 2018. X. Хан, Х. Чжу, П. Ю, З. Ван, Я. Яо, З. Лю и М. Сун.

Акустическая обработка сигналов

Однопоточное обучение генеративным речевым концептам, в CogSci, 2014. Б. Лейк, Ч.-Ю. Ли, Дж. Гласс и Дж. Тененбаум.

Цепочка речи машины с однопоточной адаптацией к диктору, INTERSPEECH, 2018. A. Тьяндра, С. Сакти и С. Накамура.

Исследование использования разделённых и интерпретируемых представлений для однопоточного кросс-языкового преобразования голоса, INTERSPEECH, 2018. С. Х. Мохаммади и Т. Ким.

Другие

Взгляд на метаобучение с точки зрения рекомендаций по холодным запускам для товаров, в NeurIPS, 2017. M. Вартак, A. Тиагараджан, C. Миранда, Дж. Братман и Х. Ларошель.

SMASH: однопоточный поиск архитектуры модели через гиперсети, в ICLR, 2018. A. Брок, T. Лим, Дж. Ритчи и Н. Вестон.

Теории

Обучение обучению вокруг общего среднего, в NeurIPS, 2018. Г. Деневи, К. Силиберто, Д. Стамос и М. Понтил.