PaddleNLP — это набор инструментов для разработки больших языковых моделей (LLM) на основе фреймворка глубокого обучения PaddlePaddle, который поддерживает эффективное обучение крупных моделей, сжатие без потерь и высокопроизводительный вывод на различных аппаратных устройствах. Благодаря своей простоте и максимальной производительности PaddleNLP призван помочь разработчикам эффективно применять большие модели в промышленных приложениях.

Новости📢

• 27 июня 2024 года PaddleNLP v3.0 Beta: используйте большие модели и получите полный апгрейд. С помощью единого набора больших моделей мы получаем доступ ко всем процессам на отечественных вычислительных чипах. Мы полностью поддерживаем процессы применения больших моделей на промышленном уровне, такие как параллельная конфигурация PaddlePaddle 4D, эффективные стратегии тонкой настройки, эффективные алгоритмы выравнивания и высокопроизводительные рассуждения. Разработанный нами алгоритм RsLoRA+, механизм хранения полной контрольной точки Unified Checkpoint и обобщённая поддержка FastFNN и FusedQKV способствуют обучению и выводу больших моделей. Мы постоянно поддерживаем обновления основных моделей, чтобы предоставлять эффективные решения.
• 24 апреля 2024 года PaddleNLP v2.8: наш самостоятельно разработанный алгоритм RsLoRA+ со сверхвысокой сходимостью значительно улучшает скорость сходимости и эффективность обучения PEFT. Внедрив ускорение генерации с высокой производительностью в алгоритм RLHF PPO, мы преодолели узкое место скорости генерации при обучении PPO и добились значительного преимущества в производительности обучения PPO. Мы обычно поддерживаем несколько методов оптимизации производительности обучения больших моделей, таких как FastFFN и FusedQKV, что ускоряет и стабилизирует обучение больших моделей.

Функции

🔧 Интегрированное обучение и вывод на нескольких аппаратных платформах

Наш набор инструментов поддерживает обучение и вывод больших моделей на нескольких аппаратных платформах, включая графические процессоры NVIDIA, процессоры Kunlun XPUs, процессоры Ascend NPUs, графические процессоры Enflame GCUs и DCU Hygon. Интерфейс инструментария позволяет быстро переключаться между оборудованием, что значительно снижает затраты на исследования и разработки, связанные с переходом на другое оборудование.