import nncf
import openvino.runtime as ov
import torch
from torchvision import datasets, transforms

# Instantiate your uncompressed model
model = ov.Core().read_model("/model_path")

# Provide validation part of the dataset to collect statistics needed for the compression algorithm
val_dataset = datasets.ImageFolder("/path", transform=transforms.Compose([transforms.ToTensor()]))
dataset_loader = torch.utils.data.DataLoader(val_dataset, batch_size=1)

# Step 1: Initialize transformation function
def transform_fn(data_item):
    images, _ = data_item
    return images

# Step 2: Initialize NNCF Dataset
calibration_dataset = nncf.Dataset(dataset_loader, transform_fn)
# Step 3: Run the quantization pipeline
quantized_model = nncf.quantize(model, calibration_dataset)

import nncf
import torch
from torchvision import datasets, models

# Instantiate your uncompressed model
model = models.mobilenet_v2()

# Provide validation part of the dataset to collect statistics needed for the compression algorithm
val_dataset = datasets.ImageFolder("/path", transform=transforms.Compose([transforms.ToTensor()]))
dataset_loader = torch.utils.data.DataLoader(val_dataset)

# Step 1: Initialize the transformation function
def transform_fn(data_item):
    images, _ = data_item
    return images

# Step 2: Initialize NNCF Dataset
calibration_dataset = nncf.Dataset(dataset_loader, transform_fn)
# Step 3: Run the quantization pipeline
quantized_model = nncf.quantize(model, calibration_dataset)

# Шаг 4: Запускаем квантизационный пайплайн
quantized_fx_model = nncf.quantize(fx_model, calibration_dataset)

import torch
import nncf.torch  # Важно: этот модуль должен быть импортирован перед любым другим внешним пакетом, который зависит от torch

from nncf import NNCFConfig
from nncf.torch import create_compressed_model, register_default_init_args

# Создаём незаархивированную модель
from torchvision.models.resnet import resnet50
model = resnet50()

# Загружаем файл конфигурации для указания параметров сжатия
nncf_config = NNCFConfig.from_json("resnet50_imagenet_rb_sparsity.json")

# Предоставляем загрузчики данных для инициализации алгоритма сжатия, если это необходимо
import torchvision.datasets as datasets
representative_dataset = datasets.ImageFolder("/path", transform=transforms.Compose([transforms.ToTensor()]))
init_loader = torch.utils.data.DataLoader(representative_dataset)
nncf_config = register_default_init_args(nncf_config, init_loader)

# Применяем указанные алгоритмы сжатия к модели
compression_ctrl, compressed_model = create_compressed_model(model, nncf_config)

# Теперь используем compressed_model как обычный torch.nn.Module
# для точной настройки параметров сжатия вместе с весами модели

# ... остальной стандартный PyTorch-конвейер обучения

# Экспортируем в ONNX или .pth после точной настройки
compression_ctrl.export_model("compressed_model.onnx")
torch.save(compressed_model.state_dict(), "compressed_model.pth")

import tensorflow as tf

from nncf import NNCFConfig
from nncf.tensorflow import create_compressed_model, register_default_inits

# Создаём незаархивированную модель
from tensorflow.keras.applications import ResNet50
model = ResNet50()

# Загружаем файл конфигурации для указания сжатия
nncf_config = NNCFConfig.from_json("resnet50_imagenet_rb_sparsity.json")

# Предоставляем набор данных для инициализации алгоритма сжатия
representative_dataset = tf.data.Dataset.list_files("/path/*.jpeg")
nncf_config = register_default_init_args(nncf_config, representative_dataset, batch_size=1)

# Применяем указанные алгоритмы сжатия к модели
compression_ctrl, compressed_model = create_compressed_model(model, nncf_config)

# Теперь используем compressed_model как обычную модель Keras
# для тонкой настройки параметров сжатия вместе с весами модели

#... остальной стандартный TensorFlow-конвейер обучения

# Экспортируем в Frozen Graph, TensorFlow SavedModel или .h5 после тонкой настройки
compression_ctrl.export_model("compressed_model.pb", save_format="frozen_graph")
``` Список ноутбуков, демонстрирующих:

| Алгоритм сжатия | Бэкенд | Область |
|:-----------------------|:------------------------------------------|:----------:|
| Квантизацию BERT | Посттренировочную квантизацию | OpenVINO | NLP |
| Модель сегментации MONAI | Посттренировочную квантизацию | OpenVINO | Сегментация |
| Квантизация модели PyTorch | Посттренировочную квантизацию | PyTorch | Классификация изображений |
| Квантизация с контролем точности | Посттренировочную квантизацию с контролем точности | OpenVINO | Распознавание речи, обнаружение объектов |
| Обучение PyTorch с учётом сжатия | Сжатие во время обучения | PyTorch | Классификация изображений |
| Обучение TensorFlow с учётом сжатия | Сжатие во время обучения | Tensorflow | Классификация изображений |
| Совместное прореживание, квантизация и дистилляция для BERT | Совместное прореживание, квантизацию и дистилляцию | OpenVINO | NLP | OpenVINO: конверсия и инференс вместе со сжатием NNCF для моделей из различных областей:

| Демо-модель | Алгоритм сжатия | Бэкенд | Область |
|:-------------|:--------------------|:------|:--------|
| YOLOv8 | Постобучающее квантование | OpenVINO | Обнаружение объектов, определение ключевых точек, сегментация экземпляров |
| EfficientSAM | Постобучающее квантование | OpenVINO | Сегментация изображений |
| Segment Anything Model | Постобучающее квантование | OpenVINO | Сегментация изображений |
| OneFormer | Постобучающее квантование | OpenVINO | Сегментация изображений |
| InstructPix2Pix | Постобучающее квантование | OpenVINO | Редактирование изображений |
| CLIP | Постобучающее квантование | OpenVINO | Классификация изображений без обучения |
| BLIP | 

*Примечание: в запросе не хватает информации о модели BLIP.* **Примеры посттренировочного квантования**

Компактные скрипты, демонстрирующие квантование и соответствующее повышение скорости вывода:
| Название примера                                                                                                       | Алгоритм сжатия                   |  Backend   | Область                |
|:--------------------------------------------------------------------------------------------------------------------:|----------------------------------:|:----------:|:----------------------:|
| [OpenVINO MobileNetV2](./examples/post_training_quantization/openvino/mobilenet_v2/README.md)                            | Посттренировочное квантование    |  OpenVINO  | Классификация изображений |
| [OpenVINO YOLOv8](./examples/post_training_quantization/openvino/yolov8/README.md)                                        | Посттренировочное квантование    |  OpenVINO  | Обнаружение объектов    |
| [OpenVINO YOLOv8 QwAС](./examples/post_training_quantization/openvino/yolov8_quantize_with_accuracy_control/README.md)     | Посттренировочное квантование с контролем точности                 |  OpenVINO  | Обнаружение объектов    |
| [OpenVINO Anomaly Classification](./examples/post_training_quantization/openvino/anomaly_stfpm_quantize_with_accuracy_control/README.md)| Посттренировочное квантование с контролем точности                 |  OpenVINO  | Классификация аномалий |
| [PyTorch MobileNetV2](./examples/post_training_quantization/torch/mobilenet_v2/README.md)                                  | Посттренировочное квантование    |  PyTorch   | Классификация изображений |
| [PyTorch SSD](./examples/post_training_quantization/torch/ssd300_vgg16/README.md)                                          | Посттренировочное квантование    |  PyTorch   | Обнаружение объектов    |
| [TorchFX Resnet18](./examples/post_training_quantization/torch_fx/resnet18/README.md)                                     | Посттренировочное квантование    |  TorchFX   | Классификация изображений|
| [TensorFlow MobileNetV2](./examples/post_training_quantization/tensorflow/mobilenet_v2/README.md)                           | Посттренировочное квантование    | TensorFlow | Классификация изображений|
| [ONNX MobileNetV2](./examples/post_training_quantization/onnx/mobilenet_v2/README.md)                                         | Посттренировочное квантование    |    ONNX    | Классификация изображений|

**Примеры сжатия во время обучения**

Примеры полных конвейеров, включающих сжатие, обучение и вывод для задач классификации, обнаружения и сегментации:

| Название примера                                                                                               | Алгоритм сжатия              |  Backend   | Область                    |
|:------------------------------------------------------------------------------------------------------------:|-----------------------------:|:----------:|:---------------------------:|
| [PyTorch Image Classification](./examples/torch/classification/README.md)                                        | Сжатие во время обучения      |  PyTorch   | Классификация изображений   |
| [PyTorch Object Detection](./examples/torch/object_detection/README.md)                                          | Сжатие во время обучения      |  PyTorch   | Обнаружение объектов         |
| [PyTorch Semantic Segmentation](./examples/torch/semantic_segmentation/README.md)                               | Сжатие во время обучения      |  PyTorch   | Сегментация изображений      |
| [TensorFlow Image Classification](./examples/tensorflow/classification/README.md)                               | Сжатие во время обучения      | **NNCF: интеграция с репозиториями третьих сторон, установка, системные требования**

NNCF может быть легко интегрирован в пайплайны обучения и оценки репозиториев третьих сторон.

**Использован:**
* OpenVINO Training Extensions (https://github.com/openvinotoolkit/training_extensions). NNCF интегрирован в OpenVINO Training Extensions как бэкенд оптимизации модели. Вы можете обучать, оптимизировать и экспортировать новые модели на основе доступных шаблонов моделей, а также запускать экспортированные модели с помощью OpenVINO.
* HuggingFace Optimum Intel (https://huggingface.co/docs/optimum/intel/optimization_ov). NNCF используется в качестве бэкенда сжатия в известном репозитории transformers в HuggingFace Optimum Intel.

Для получения подробных инструкций по установке обратитесь к руководству по установке (Installation guide).

NNCF можно установить как обычный пакет PyPI через pip:

```bash
pip install nncf

conda install -c conda-forge nncf

@article{kozlov2020neural,
    title =   {Neural network compression framework for fast model inference},
    author =  {Kozlov, Alexander and Lazarevich, Ivan and Shamporov, Vasily and Lyalyushkin, Nikolay and Gorbachev, Yury},
    journal = {arXiv preprint arXiv:2002.08679},
    year =    {2020}
}