Документация | Русская документация

Английский | Китайский (упрощённый) | Русский

Tengine

ВведениеПроект Tengine был создан компанией OPEN AI LAB. Этот проект удовлетворяет потребность в быстром и эффективном развертывании моделей глубокой нейронной сети на встраиваемых устройствах. Для обеспечения кросс-платформенной установки во многих AIoT приложениях, этот проект основан на оригинальном проекте Tengine с использованием языка C для реконструкции и глубокой адаптации к особенностям ограниченных ресурсов встраиваемых устройств. Он также использует полностью разделённую архитектуру переднего и заднего плана, что позволяет быстро и легко переносить и разворачивать его на вычислительных единицах типа ЦПУ, ГПУ, НПУ и других гетерогенных системах. При этом он совместим с оригинальным API и форматом модели tmfile проекта Tengine, что снижает затраты на оценку и миграцию.Основной код Tengine Lite состоит из 4 модулей:

• устройство: модуль обратной стороны NN Operators, в настоящее время предоставляет код для центрального процессора (ЦП), а также постепенно открывает исходный код для графического процессора (GPU) и нейронного процессора (NPU);
• планировщик: основные компоненты фреймворка, включая NNIR, вычислительные графы, аппаратные ресурсы и модули планирования и выполнения сериализатора модели;
• оператор: модуль передней части NN Operators, который реализует регистрацию и инициализацию NN Operators;
• сериализатор: декодер модели, который декодирует двоичный формат файла tmfile в сериализованное представление параметров модели.

Архитектура

Как использовать

Кросс-платформенная сборка

• Быстрая компиляция: простая кросс-платформенная компиляция на основе CMake.

Примеры

• Примеры: предоставляют базовые примеры использования алгоритмов классификации и детекции, которые постоянно обновляются в соответствии с потребностями задач.

Модели Zoo

• Baidu Netdisk (пароль: 7ke5)
• Google Drive

Инструмент преобразования моделей- Предварительно скомпилированная версия: Предварительно скомпилированный инструмент преобразования моделей доступен для системы Linux;

• Интернет-инструмент преобразования моделей: Основан на WebAssembly (модели преобразуются локально браузерами, никакие частные данные не отправляются);

• Исходная компиляция: Указание на проект Tengine-Convert-Tools, инструмент преобразования может быть собран пользователем.### Оценка производительности

• Benchmark Базовый инструмент оценки скорости работы сети, любые предложения по улучшению приветствуются.

Набор плагинов NPU

• TIM-VX Пользовательское руководство для NPU VeriSilicon.

Автоматический набор плагинов Kernel

• AutoKernel.

Контейнеры

• SuperEdge Как использовать Tengine с SuperEdge.

План развития

• План развития

Отзывы

Проект Tengine Lite получил идеи и развился на основе этих проектов:

• Caffe
• TensorFlow
• MegEngine
• ONNX
• ncnn
• FeatherCNN
• MNN
• Paddle Lite
• ACL
• stb
• ConvertModel
• TIM-VX
• SuperEdge

Лицензия

• Apache 2.0

Часто задаваемые вопросы

• Часто задаваемые вопросы

Технический форум

• Github issues
• QQ групповой чат: 829565581
• Электронная почта: support@openailab.com
• Сообщество Tengine: http://www.tengine.org.cn