1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/openvinotoolkit-prc-nncf

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Это зеркальный репозиторий, синхронизируется ежедневно с исходного репозитория.
Клонировать/Скачать
AdaptiveCompressionLevelTraining.md 4.3 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
gitlife-traslator Отправлено 4 месяцев назад 619dca6

Как работает цикл обучения с адаптивным уровнем сжатия

Первый этап — начальная фаза обучения. Она соответствует количеству эпох, в течение которых модель будет обучаться с начальным уровнем/графиком коэффициента сжатия, установленным пользователем стандартным способом NNCF (начальный график темпа сокращения описан выше как экспоненциальный график с целевым темпом сокращения 0,1).

Второй этап — поиск оптимального уровня сжатия, где следующее значение коэффициента сжатия определяется алгоритмом поиска, и модель дообучается максимум в течение «patience_epochs» количества эпох. Дообучение может завершиться раньше, если критерии точности были достигнуты. Процесс продолжается до тех пор, пока алгоритм поиска не остановится. Возвращаемая модель — это модель с наивысшим коэффициентом сжатия, который удовлетворяет критерию снижения точности — снижение точности сжатой модели должно быть не более «maximal_relative_accuracy_degradation» или «maximal_absolute_accuracy_degradation».

Алгоритм поиска коэффициента сжатия

Поведение алгоритма поиска коэффициента сжатия по умолчанию подразумевает изменение значения уровня коэффициента сжатия на величину шага, которая уменьшается в процессе обучения. Обучение завершается, когда величина шага коэффициента сжатия достигает минимального значения, определяемого параметром «minimal_compression_rate_step», который можно указать в «params» раздела «accuracy_aware_training». Начальное значение для шага коэффициента сжатия задаётся параметром «initial_compression_rate_step». Величина шага уменьшается на значение «compression_rate_step_reduction_factor» в точках в процессе обучения всякий раз, когда направление изменения коэффициента сжатия меняется в точке, где выбирается новый коэффициент сжатия. То есть, если слишком большое увеличение коэффициента сжатия привело к тому, что метрики точности оказались ниже определённого пользователем критерия, коэффициент сжатия уменьшается на меньший шаг в попытке восстановить точность, и наоборот, если уменьшение было достаточным для удовлетворения критерия точности, коэффициент сжатия увеличивается на меньший шаг, чтобы проверить, может ли этот более высокий коэффициент сжатия также привести к допустимым значениям точности. Этот последовательный поиск ограничен минимальной детализацией шагов, заданной «minimal_compression_rate_step».

Пример

Пример того, как модель сжимается с использованием цикла обучения с адаптивным сжатием, приведён на рисунке ниже. Пример

Комментарий ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://gitlife.ru/oschina-mirror/openvinotoolkit-prc-nncf.git
git@gitlife.ru:oschina-mirror/openvinotoolkit-prc-nncf.git
oschina-mirror
openvinotoolkit-prc-nncf
openvinotoolkit-prc-nncf
develop