GraphPipe

Простое развёртывание моделей машинного обучения

Что это такое?

GraphPipe — это протокол и набор программного обеспечения, предназначенный для упрощения развёртывания моделей машинного обучения и отделения этого процесса от реализации модели в рамках конкретной структуры.

Существующие решения для обслуживания моделей не согласованы и/или неэффективны. Не существует единого протокола для взаимодействия с этими серверами моделей, поэтому часто необходимо создавать собственные клиенты для каждой рабочей нагрузки. GraphPipe решает эти проблемы, стандартизируя эффективный протокол связи и предоставляя простые серверы моделей для основных платформ машинного обучения.

Мы надеемся, что открытый исходный код GraphPipe сделает ландшафт обслуживания моделей более дружелюбным. Подробнее о том, почему мы его создали, можно узнать здесь.

Или просмотрите остальную часть документации.

Особенности

• Минималистичная спецификация транспорта машинного обучения на основе flatbuffers.
• Простые и эффективные эталонные серверы моделей для Tensorflow, Caffe2 и ONNX.
• Эффективные клиентские реализации на Go, Python и Java.

Что находится в этом репозитории?

Этот репозиторий содержит документацию, а также файлы определения flatubuffer, которые используются другими языковыми репозиториями. Если вы ищете клиентов, серверы GraphPipe и примеры кода, ознакомьтесь с другими репозиториями GraphPipe:

• https://github.com/oracle/graphpipe-go — клиентская библиотека GraphPipe на Go.
• https://github.com/oracle/graphpipe-go/tree/master/cmd/graphpipe-tf — реализация сервера модели GraphPipe TensorFlow на Go.
• https://github.com/oracle/graphpipe-go/tree/master/cmd/graphpipe-onnx — реализация сервера моделей GraphPipe ONNX/Caffe2 на Go.
• https://github.com/oracle/graphpipe-py — клиентская библиотека GraphPipe для Python.
• https://github.com/oracle/graphpipe-tf-py — реализация удалённого клиента операций для TensorFlow, а также несколько примеров реализаций серверов на Python.

Создание определений flatbuffer

Если у вас установлен flatc, вы можете просто выполнить команду make all. Но если вы не хотите его устанавливать, вы можете установить переменную среды USE_DOCKER=1, а затем выполнить команду make all (помните, что make требует экспортированных переменных, а не только тех, которые указаны в командной строке, где вы запускаете make).

Это создаст библиотеки go, c и python, которые затем можно скопировать в соответствующие проекты graphpipe-go, graphpipe-tf-py и graphpipe-py соответственно.

Вклад

Все проекты GraphPipe являются открытыми. Чтобы узнать, как внести свой вклад, см. CONTRIBUTING.md.

Вы также можете связаться с нами в нашем Slack Channel.