Первый этап — начальная фаза обучения. Она соответствует количеству эпох, в течение которых модель будет обучаться с начальным уровнем/графиком коэффициента сжатия, установленным пользователем стандартным способом NNCF (начальный график темпа сокращения описан выше как экспоненциальный график с целевым темпом сокращения 0,1).
Второй этап — поиск оптимального уровня сжатия, где следующее значение коэффициента сжатия определяется алгоритмом поиска, и модель дообучается максимум в течение «patience_epochs» количества эпох. Дообучение может завершиться раньше, если критерии точности были достигнуты. Процесс продолжается до тех пор, пока алгоритм поиска не остановится. Возвращаемая модель — это модель с наивысшим коэффициентом сжатия, который удовлетворяет критерию снижения точности — снижение точности сжатой модели должно быть не более «maximal_relative_accuracy_degradation» или «maximal_absolute_accuracy_degradation».
Поведение алгоритма поиска коэффициента сжатия по умолчанию подразумевает изменение значения уровня коэффициента сжатия на величину шага, которая уменьшается в процессе обучения. Обучение завершается, когда величина шага коэффициента сжатия достигает минимального значения, определяемого параметром «minimal_compression_rate_step», который можно указать в «params» раздела «accuracy_aware_training». Начальное значение для шага коэффициента сжатия задаётся параметром «initial_compression_rate_step». Величина шага уменьшается на значение «compression_rate_step_reduction_factor» в точках в процессе обучения всякий раз, когда направление изменения коэффициента сжатия меняется в точке, где выбирается новый коэффициент сжатия. То есть, если слишком большое увеличение коэффициента сжатия привело к тому, что метрики точности оказались ниже определённого пользователем критерия, коэффициент сжатия уменьшается на меньший шаг в попытке восстановить точность, и наоборот, если уменьшение было достаточным для удовлетворения критерия точности, коэффициент сжатия увеличивается на меньший шаг, чтобы проверить, может ли этот более высокий коэффициент сжатия также привести к допустимым значениям точности. Этот последовательный поиск ограничен минимальной детализацией шагов, заданной «minimal_compression_rate_step».
Пример того, как модель сжимается с использованием цикла обучения с адаптивным сжатием, приведён на рисунке ниже.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарий ( 0 )