Вулкан — это пакетная система, построенная на Kubernetes. Она предоставляет набор механизмов, которые обычно требуются для многих классов пакетных и эластичных рабочих нагрузок, включая машинное обучение/глубокое обучение, биоинформатику/геномику и другие приложения «больших данных». С этими типами приложений обычно работают обобщённые предметные фреймворки, такие как TensorFlow, Spark, Ray, PyTorch, MPI и т. д., с которыми Вулкан интегрируется.

Вулкан опирается на полуторадесятилетний опыт работы с широким спектром высокопроизводительных рабочих нагрузок в масштабе с использованием нескольких систем и платформ в сочетании с лучшими идеями и практиками сообщества открытого исходного кода.

До июня 2021 года Вулкан широко использовался во всём мире в различных отраслях, таких как интернет/облачные технологии/финансы/производство/медицина. Более 20 компаний или учреждений являются не только конечными пользователями, но и активными участниками. Сотни участников принимают активное участие в фиксации кода/проверке PR/обсуждении проблем/обновлении документации и предоставлении дизайна. Мы надеемся на ваше участие.

Примечание: планировщик построен на основе kube-batch; обратитесь к #241 и #288 для получения более подробной информации.

Вулкан является инкубируемым проектом Cloud Native Computing Foundation (CNCF). Пожалуйста, рассмотрите возможность присоединения к CNCF, если ваша организация хочет играть активную роль в поддержке роста и развития облачной экосистемы.

Общая архитектура

Выступления

• Введение: планирование пакетной обработки в Kubernetes @ KubeCon 2019 EU.
• Вулкан: практика выполнения высокопроизводительной работы в Kubernetes @ ArchSummit 2019.
• Вулкан: высокопроизводительное вычислительное решение на основе облачных технологий @ Huawei Connection 2019.
• Улучшение производительности рабочих нагрузок глубокого обучения с помощью Вулкана @ KubeCon 2019 NA.
• Пакетные возможности Kubernetes: введение @ KubeCon 2019 NA.
• Введение: планирование пакетной обработки в Kubernetes @ KubeCon 2019 EU.

Экосистема

• spark-operator.
• kubeflow/tf-operator.
• kubeflow/arena.
• Horovod/MPI.
• PaddlePaddle.
• Cromwell.
• KubeRay.

Краткое руководство

Предварительные требования

— Kubernetes 1.12+ с поддержкой CRD.

Вы можете попробовать Вулкан одним из следующих двух способов. Установка с помощью файлов YAML

Установите Volcano в существующий кластер Kubernetes. Этот способ доступен для архитектур x86_64 и arm64.

kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/installer/volcano-development.yaml

Наслаждайтесь! Volcano создаст следующие ресурсы в пространстве имён volcano-system.

NAME                                       READY   STATUS      RESTARTS   AGE
pod/volcano-admission-5bd5756f79-dnr4l     1/1     Running     0          96s
pod/volcano-admission-init-4hjpx           0/1     Completed   0          96s
pod/volcano-controllers-687948d9c8-nw4b4   1/1     Running     0          96s
pod/volcano-scheduler-94998fc64-4z8kh      1/1     Running     0          96s

NAME                                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
service/volcano-admission-service   ClusterIP   10.98.152.108   <none>        443/TCP   96s

NAME                                  READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/volcano-admission     1/1     1            1           96s
deployment.apps/volcano-controllers   1/1     1            1           96s
deployment.amps/volcano-scheduler     1/1     1            1           96s

NAME                                             DESIRED   CURRENT   READY   AGE
replicaset.apps/volcano-admission-5bd5756f79     1         1         1       96s
replicaset.apps/volcano-controllers-687948d9c8   1         1         1       96s
replicaset.apps/volcano-scheduler-94998fc64      1         1         1       96s

NAME                               COMPLETIONS   DURATION   AGE
job.batch/volcano-admission-init   1/1           48s        96s

Установка через Helm

Чтобы установить официальный релиз, посетите helm-charts для получения подробной информации.

helm repo add volcano-sh https://volcano-sh.github.io/helm-charts
helm install volcano volcano-sh/volcano -n volcano-system --create-namespace

Установка из исходного кода для разработчиков:

helm install volcano installer/helm/chart/volcano --namespace volcano-system --create-namespace

# list helm release
helm list -n volcano-system

Установка из кода

Если у вас нет кластера kubernetes, попробуйте установить одним щелчком мыши из базы кода:

./hack/local-up-volcano.sh

Этот способ временно доступен только для x86_64.

Установка системы мониторинга

Если вы хотите получить панель мониторинга prometheus и grafana после установки volcano, попробуйте выполнить следующие команды:

make TAG=latest generate-yaml
kubectl create -f _output/release/volcano-monitoring-latest.yaml

Совместимость с Kubernetes