Как работает цикл обучения с адаптивным уровнем сжатия

Первый этап — начальная фаза обучения. Она соответствует количеству эпох, в течение которых модель будет обучаться с начальным уровнем/графиком коэффициента сжатия, установленным пользователем стандартным способом NNCF (начальный график темпа сокращения описан выше как экспоненциальный график с целевым темпом сокращения 0,1).

Второй этап — поиск оптимального уровня сжатия, где следующее значение коэффициента сжатия определяется алгоритмом поиска, и модель дообучается максимум в течение «patience_epochs» количества эпох. Дообучение может завершиться раньше, если критерии точности были достигнуты. Процесс продолжается до тех пор, пока алгоритм поиска не остановится. Возвращаемая модель — это модель с наивысшим коэффициентом сжатия, который удовлетворяет критерию снижения точности — снижение точности сжатой модели должно быть не более «maximal_relative_accuracy_degradation» или «maximal_absolute_accuracy_degradation».

Алгоритм поиска коэффициента сжатия

Поведение алгоритма поиска коэффициента сжатия по умолчанию подразумевает изменение значения уровня коэффициента сжатия на величину шага, которая уменьшается в процессе обучения. Обучение завершается, когда величина шага коэффициента сжатия достигает минимального значения, определяемого параметром «minimal_compression_rate_step», который можно указать в «params» раздела «accuracy_aware_training». Начальное значение для шага коэффициента сжатия задаётся параметром «initial_compression_rate_step». Величина шага уменьшается на значение «compression_rate_step_reduction_factor» в точках в процессе обучения всякий раз, когда направление изменения коэффициента сжатия меняется в точке, где выбирается новый коэффициент сжатия. То есть, если слишком большое увеличение коэффициента сжатия привело к тому, что метрики точности оказались ниже определённого пользователем критерия, коэффициент сжатия уменьшается на меньший шаг в попытке восстановить точность, и наоборот, если уменьшение было достаточным для удовлетворения критерия точности, коэффициент сжатия увеличивается на меньший шаг, чтобы проверить, может ли этот более высокий коэффициент сжатия также привести к допустимым значениям точности. Этот последовательный поиск ограничен минимальной детализацией шагов, заданной «minimal_compression_rate_step».

Пример

Пример того, как модель сжимается с использованием цикла обучения с адаптивным сжатием, приведён на рисунке ниже.