Проект с синим шаром «S» на изображении ниже имеет открытый исходный код. Включая DataSphere Studio, Linkis, Scriptis, Qualitis, Schedulis, Exchangis, Visualis и Prophecis.
Click me to Github repo
Linkis создаёт слой промежуточного программного обеспечения для вычислений, чтобы отделить верхние приложения от базовых механизмов обработки данных, предоставляет стандартизированные интерфейсы (REST, JDBC, WebSocket и т. д.) для простого подключения к различным базовым механизмам (Spark, Presto, Flink и т. д.), при этом обеспечивает совместное использование контекста между механизмами, унифицированное управление заданиями и механизмами, а также оркестровку.
Click me to Github repo
DataSphere Studio позиционируется как портал разработки приложений для работы с данными, и замкнутый цикл охватывает весь процесс разработки приложений для обработки данных. Благодаря унифицированному пользовательскому интерфейсу, графическому опыту разработки в стиле рабочего процесса с перетаскиванием мышью, охватывается весь жизненный цикл разработки приложений для анализа данных: от импорта данных, очистки, анализа, интеллектуального анализа данных, проверки качества, визуализации, планирования до приложений вывода данных и т.д.
Click me to Github repo
Scriptis предназначен для интерактивного анализа данных с разработкой сценариев (SQL, Pyspark, HiveQL), отправкой задач (Spark, Hive), UDF, функциями, управлением ресурсами и интеллектуальной диагностикой.
Click me to Github repo
Qualitis — это универсальная платформа управления качеством данных, которая поддерживает проверку качества, уведомления и управление для различных источников данных. Она используется для решения различных проблем с качеством данных, вызванных обработкой данных.
Click me to Github repo
Schedulis — это высокопроизводительная система планирования рабочих процессов, поддерживающая высокую доступность и функции финансового уровня для нескольких арендаторов. Linkis — вычислительное промежуточное программное обеспечение, интегрированное в портал разработки приложений DataSphere Studio.
Click me to Github repo
Exchangis — это лёгкая, легко расширяемая платформа обмена данными, которая поддерживает передачу данных между структурированными и неструктурированными разнородными источниками данных. На уровне приложений она имеет такие бизнес-функции, как управление разрешениями и контроль доступа к данным, высокая доступность служб узлов и изоляция ресурсов для нескольких клиентов. На уровне данных она также имеет архитектурные характеристики, такие как разнообразная архитектура передачи, модульное подключение и низкая связанность компонентов.
Click me to Github repo
Visualis — это проект с открытым исходным кодом, основанный на Yixin Davinci, разработанный для визуализации данных. Основные преимущества WeDataSphere
Отображение статуса, историческая статистика и конфигурация мониторинга. Инструмент визуализации данных BI генерирует различные диаграммы с помощью операций перетаскивания и простого написания сценариев, доступна запланированная отправка по электронной почте.
Система поддержки машинного обучения поддерживает несколько режимов обучения модели, включая как самостоятельно разработанные алгоритмы машинного обучения, так и фреймворки машинного обучения с открытым исходным кодом, с возможностью управления мультитенантом для высокопроизводительных кластеров.
WeDataSphere: всё в одном
Три уровня инструментов платформы, инструментов данных и инструментов приложений плюс мощные возможности машинного обучения создают корпоративное решение для работы с большими данными.
Синхронизация между кластерами в трёх дата-центрах в двух городах
Эффективная и надёжная транспортировка больших данных между кластерами/IDC, сложные решения для резервного копирования данных и обеспечения устойчивости к сбоям.
Уровень безопасности — финансовый
Унифицированный контроль безопасности, полное внедрение контейнеров/микросервисов и изоляция мультитенанта для разных уровней.
Бесшовный опыт
Уникальное промежуточное программное обеспечение для данных (Linkis) связывает системы на разных уровнях, обеспечивая родство данных, возможность повторного использования кода и объединение пользовательских ресурсов.
Открытый исходный код
Основные компоненты уже имеют открытый исходный код, остальные появятся в ближайшее время.
Сообщество WeDataSphere
Если вам нужен немедленный ответ, пожалуйста, поднимите вопросы или отсканируйте QR-код ниже через WeChat и QQ, чтобы присоединиться к нашей группе.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )