Слияние кода завершено, страница обновится автоматически
5.0. Продукт: Know Streaming
Know Streaming — это набор облачных решений для управления платформой Kafka, разработанных на основе многолетнего опыта эксплуатации Kafka в различных интернет-компаниях. Платформа фокусируется на управлении и мониторинге Kafka, управлении ресурсами, обеспечении высокой доступности и других ключевых сценариях, предоставляя ряд специализированных функций. Это значительно упрощает использование платформы для обычных администраторов и операторов, делая их экспертами в области Kafka.
5.1. Функциональная архитектура
[Рисунок]
5.2. Опыт использования
Ниже приведён типичный опыт использования нашего продукта новым пользователем:
[Рисунок]
5.3. Обычное использование
Управление пользователями — это функциональный модуль, который предоставляет администраторам возможность управлять учётными записями пользователей и ролями пользователей. Можно добавлять новых пользователей и назначать им роли. Вот пример типичного сценария:
Пример: в команду был добавлен новый участник, которому необходимо предоставить доступ к системе с использованием учётной записи. Для этого потребуется выполнить следующие шаги:
[Рисунок]
Шаги подключения к кластеру:
[Рисунок]
Шаги создания топика:
[Рисунок]
Шаги расширения количества разделов топика:
[Рисунок]
Шаги массового изменения количества реплик топика:
[Рисунок]
Шаги массового перемещения топиков:
[Рисунок]
Шаги настройки правил проверки состояния кластера:
[Рисунок]
Шаги фильтрации показателей графиков:
[Рисунок]
Шаги редактирования конфигурации брокера:
Шаг 3: (необязательно) нажмите «Применить ко всем Broker», чтобы применить изменения конфигурации ко всем брокерам.
Шаг 4: нажмите «Подтвердить», чтобы успешно изменить конфигурацию брокера.
5.3.10: Сброс смещения потребителя
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Потребитель» > «Группа потребителей» > «Подробности группы потребителей».
Шаг 2: выберите тип сброса смещения: «сбросить до указанного времени» или «сбросить раздел».
Шаг 3: если вы выбрали «сбросить смещение до указанного времени», то можете выбрать «последнее смещение» или «указанное время».
Шаг 4: если вы выбрали «сброс раздела», то можете указать раздел и его смещение.
Шаг 5: нажмите «подтвердить», чтобы начать сброс смещения.
5.3.11: Добавление ACL
Шаг 1: нажмите «Управление несколькими кластерами» > «Кластерная карточка» > «Безопасность» > «Пользователи» > «Добавить ACL».
Шаг 2: введите параметры конфигурации ACL:
Шаг 3: нажмите «Определить», чтобы успешно добавить ACL.
Войдите в систему, введя имя пользователя и пароль, затем нажмите кнопку «Войти».
Выйдите из системы, щёлкнув правой кнопкой мыши на значке профиля в правом верхнем углу экрана или на имени пользователя, и выбрав опцию «Выйти» в появившемся меню.
После успешного входа в систему нажмите кнопку «Системное управление» в правом верхнем углу страницы, чтобы перейти в режим системного управления. Здесь вы можете выполнять различные задачи по настройке, управлению пользователями и просмотру журналов аудита.
Управление конфигурацией предоставляет администраторам возможность быстро настраивать файлы конфигурации, которые будут применяться в соответствующих модулях.
Шаг 1: Нажмите «Системное управление» > «Управление конфигурациями».
Шаг 2: список отображает информацию о модуле, ключе конфигурации, значении конфигурации, статусе включения, дате обновления и пользователе, который обновил конфигурацию. Список содержит опции для редактирования, удаления и настройки модулей, ключей конфигурации, значений конфигурации, описания и статуса включения.
Шаг 1: Нажмите «Системное управление» > «Управление конфигурациями» > «Новая конфигурация».
Шаг 2: Выберите модуль из выпадающего списка. Введите ключ конфигурации (без ограничений по содержанию, но не более 500 символов). Введите значение конфигурации с помощью редактора кода (без ограничений по содержанию). Используйте переключатель, чтобы включить или отключить эту конфигурацию.
Можно настроить модули, ключи конфигурации, значения конфигурации, описание и статус включения.
Управление пользователями предоставляет администраторам функции управления персоналом и ролями пользователей. Можно добавлять новых пользователей и назначать им роли.
Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом».
Шаг 2: Список управления персоналом отображает информацию о ролях пользователей, именах пользователей, назначенных ролях, датах обновления и опциях редактирования. Список поддерживает фильтрацию по именам пользователей, реальным именам и именам ролей.
Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом» > «Новый пользователь».
Шаг 2: Введите обязательные поля: имя пользователя, реальное имя и пароль. Также можно назначить этому пользователю существующие роли.
Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом» и выберите опцию «Редактировать» рядом с нужным пользователем.
Шаг 2: Имя пользователя нельзя редактировать. Можно изменить реальное имя, пароль и роли пользователя.
Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Роли».
Шаг 2: В списке ролей отображается информация о роли ID, названии, описании, количестве назначенных пользователей, последнем пользователе, обновившем роль, и дате последнего обновления. Список также содержит опции просмотра подробной информации о роли и назначения пользователей этой роли.
Шаг 3: Список поддерживает фильтрацию по названию роли.
Шаг 4: Опция «Просмотр подробной информации» позволяет увидеть связанные с ролью разрешения. Опция «Назначить пользователей» позволяет добавлять или удалять пользователей, связанных с этой ролью.
Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Роли» > «Новая роль».
Шаг 2: Введите название роли (не более 3–128 символов, включая только буквы, цифры и символы подчёркивания), описание роли и хотя бы одно разрешение. Нажмите «Подтвердить» для создания новой роли.
Шаг 1: Нажмите «Системное управление» > «Журналы аудита».
Шаг 2: Журналы аудита содержат записи обо всех действиях, выполненных в системе. Каждая запись включает информацию о модуле, объекте операции, действии, содержании операции, дате операции и исполнителе.
Шаг 3: Журналы можно фильтровать по модулю, объекту операции, содержанию операции, дате и исполнителю.
Шаг 1: Перейдите на вкладку «Управление несколькими кластерами».
Шаг 2: Страница управления несколькими кластерами содержит общую информацию о кластерах, список кластеров, параметры фильтрации и опцию подключения к кластеру.
Шаг 3: Параметры фильтрации включают общее количество кластеров, количество активных и неактивных кластеров, уровень здоровья (от 0 до 100), а также опции фильтрации по уровню здоровья, активным и неактивным кластерам, количеству сообщений, размеру сообщений, входящему и исходящему трафику, количеству брокеров и времени подключения.
Шаг 4: Каждый кластер представлен карточкой, которая содержит информацию об уровне здоровья и результатах проверки, количестве брокеров, количестве ZK, версии, состоянии балансировки трафика и сообщений, а также времени подключения.
Шаг 1: Нажмите «Управление несколькими кластерами» > «Подключить к кластеру».
Шаг 2: Заполните информацию о кластере, включая имя кластера (уникальное в системе), серверы начальной загрузки и другие необходимые данные. Адрес, после ввода данных будет проведено тестирование соединения. По результатам тестирования будет выведено сообщение об успешном соединении или о неудачном соединении (с указанием причины).
Zookeeper: после ввода адреса zookeeper будет проведено тестирование соединения, по результатам которого будет выведено сообщение об успешном соединении или о неудачном соединении (с указанием причины).
Metrics (необязательный): — JMX Port: введите порт JMX; — MaxConn: введите максимальное количество разрешённых соединений для сервера.
Security: если есть учётные данные JMX (логин и пароль), то введите их.
Version: выберите версию kafka, если не удаётся найти подходящую версию, можно выбрать ближайшую.
Конфигурация кластера (необязательная): создайте клиент kafka для получения информации о конфигурации.
Шаг 1: нажмите «Управление несколькими кластерами» > наведите курсор на карточку кластера > нажмите на значок удаления в правом верхнем углу > откройте окно удаления.
Шаг 2: в поле ввода имени кластера в окне удаления введите имя удаляемого кластера, нажмите «Удалить», кластер будет успешно удалён, платформа прекратит надзор за ним (ресурсы кластера не удаляются).
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > перейдите к управлению отдельным кластером.
Шаг 2: левая навигационная панель:
— Первый уровень навигации: Cluster; второй уровень навигации: Overview, Load Rebalance; — Первый уровень навигации: Broker; второй уровень навигации: Overview, Brokers, Controller; — Первый уровень навигации: Topic; второй уровень навигации: Overview, Topics; — Первый уровень навигации: Consumer; — Первый уровень навигации: Testing; второй уровень навигации: Produce, Consume; — Первый уровень навигации: Security; второй уровень навигации: ACLs, Users; — Первый уровень навигации: Job.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Overview».
Шаг 2: общая информация о кластере включает следующие пункты:
— состояние здоровья кластера, проверка пройдена; — информация о кластере: содержит название, версию, состояние балансировки нагрузки; — информация о брокере: общее количество брокеров, информация о контроллере, аналогичная конфигурация; — информация о теме: общее количество тем, нет лидера, <Min ISR, URP; — информация о группе потребителей: общее количество групп потребителей, наличие мёртвых ситуаций; — диаграмма показателей; — журнал изменений: название, время, содержание, тип.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок состояния здоровья рядом > ящик настроек состояния здоровья.
Шаг 2: ящик настроек состояния здоровья отображает элементы проверки и соответствующие веса, которые можно настроить.
Шаг 3: правила проверки можно настроить следующим образом:
— Кластер: количество контроллеров кластера не равно 1 (число не настраивается) — проверка не пройдена; — Брокер: размер очереди запросов больше или равен 10 (по умолчанию 10, настраиваемое число) — проверка не пройдена; — Брокер: процент простоя сетевого процессора меньше или равен 0,8% (по умолчанию 0,8%, настраиваемый процент) — проверка не пройдена; — Тема: количество тем без лидера больше или равно 1 (по умолчанию 1, настраиваемое количество) — проверка не пройдена; — Тема: тема находится в состоянии, когда в течение 10 (по умолчанию 10, настраиваемый период) периодов 8 (по умолчанию 8, настраиваемое количество периодов) раз находилась в несинхронизированном состоянии; — Группа потребителей: группа потребителей в течение 10 (по умолчанию 10, настраиваемый период) периодов выполняет 8 (по умолчанию 8, настраиваемое количество раз) перебалансировку — проверка не пройдена.
Шаг 4: после настройки нажмите «Подтвердить», настройка правил проверки состояния здоровья выполнена успешно.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > рядом с кнопкой «Посмотреть подробности» состояния здоровья > ящик подробной информации о состоянии здоровья.
Шаг 2: подробная информация о проверке включает в себя: «элемент проверки», «вес», «оценка», «время проверки», «пройдена ли проверка», если проверка не пройдена, будут отображаться объекты, не прошедшие проверку.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок редактирования рядом с названием кластера > ящик редактирования кластера.
Шаг 2: редактируемая информация включает название кластера, начальные серверы, Zookeeper, порт JMX, максимальное количество подключений (Maxconn), меры безопасности (Security), версия (Version), конфигурация кластера, описание кластера.
Шаг 3: нажмите «ОК», информация о кластере успешно отредактирована.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок фильтрации показателей > ящик фильтрации показателей.
Шаг 2: показатели фильтрации включают следующие категории: «Здоровье», «Кластер», «Брокер», «Потребитель», «Безопасность», «Задание».
Шаг 3: по умолчанию выбраны наиболее важные показатели для отображения. В соответствии с требованиями выберите/отмените выбор соответствующих показателей, нажмите «Подтвердить», фильтрация показателей выполнена успешно, отображаемая диаграмма изменится соответствующим образом.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > раскрывающийся список выбора времени > окно выбора времени.
Шаг 2: выберите время «Последние 15 минут», «Последний час», «Последние 6 часов», «Последние 12 часов», «Последние сутки», также можно настроить диапазон времени.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > область журнала изменений.
Шаг 2: область журнала изменений отображает историю изменений конфигурации, каждую запись можно развернуть или свернуть. Включает в себя «объект конфигурации», «время изменения», «содержание изменения», «тип конфигурации».
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Балансировка нагрузки».
Шаг 2: общая информация о балансировке нагрузки включает в себя следующие пункты: карточка состояния балансировки, карточка информации о диске, карточка информации BytesIn, карточка информации BytesOut, список состояния балансировки брокера.
Предоставляет функцию настройки спецификаций диска, BytesIn и BytesOut каждого узла в кластере.
Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Балансировка нагрузки» > значок карточки состояния > ящик настройки спецификации кластера.
Шаг 2: на левой панели отображаются выбранные узлы кластера, на правой панели отображаются уже выбранные узлы, выберите нужные узлы для настройки.
Шаг 3: настройте «количество ядер на одном компьютере», «диск на одном компьютере» и «сеть на одном компьютере», нажмите «ОК», настройка завершена. 5.4.5.3. Равномерное распределение по состояниям
5.4.5.4. Немедленная перебалансировка
5.4.5.5. Балансировка по расписанию
5.4.6. Брокер
5.4.6.1. Просмотр общей информации о брокере
5.4.6.2. Изменение конфигурации брокера
5.4.6.3. Просмотр журналов данных брокера
5.4.6.4. Просмотр списка контроллеров
5.4.7. Тема
5.4.7.1. Просмотр общей информации о теме
5.4.7.2. Просмотр подробной информации о проверке здоровья темы
5.4.7.3. Просмотр списка тем
5.4.7.4. Создание новой темы
Можно открыть дополнительные настройки, чтобы ввести соответствующие параметры конфигурации в соответствии с вашими потребностями.
4: Нажмите «ОК», чтобы завершить создание Topic
Рисунок не представлен.
5.4.7.5 Тема: Разделение на разделы
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Список тем» > «Действие» > «Разделение на разделы» > «Ящик разделения на разделы».
Содержимое ящика разделения на разделы включает график тенденций трафика, текущее количество разделов и поддерживаемую минимальную скорость записи сообщений после разделения на разделы.
Введите необходимое общее количество разделов, и система автоматически рассчитает поддерживаемую минимальную скорость записи сообщений после разделения на разделы.
Нажмите «ОК», разделение на разделы завершено.
Рисунок не представлен.
5.4.7.6 Удаление темы
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Список тем» > «Действие» > «Удалить» > «Окно удаления».
Введите «TopicName» для подтверждения.
Нажмите «Удалить», удаление темы завершено.
Рисунок не представлен.
5.4.7.7 Массовое расширение реплик и сжатие разделов
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Массовое действие» > «Массовое расширение и сжатие реплик» > «Ящик массового расширения и сжатия реплик».
Выберите разделы темы, которые необходимо расширить или сжать, можно выбрать несколько разделов. Выбранные разделы отображаются в списке разделов ниже.
В списке разделов отображаются следующие данные о разделе: средний трафик за последние три дня, пиковый трафик и время за последние три дня, количество разделов, текущее число реплик, новое число реплик.
При расширении выберите целевой узел, новые реплики будут созданы на выбранном целевом узле; при сжатии не требуется выбирать целевой узел, система автоматически удалит последнюю реплику (или несколько реплик).
Введите параметры задачи миграции, включая значение ограничения потока и время выполнения задачи.
Введите описание задачи.
Нажмите «ОК», задача массового расширения или сжатия реплик будет выполнена.
Рисунок не представлен.
5.4.7.8 Массовая миграция разделов
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Массовое действие» > «Массовая миграция» > «Ящик массовой миграции».
Выберите разделы темы для миграции, можно выбрать несколько разделов. Выбранные разделы отображаются в списке разделов ниже.
Выберите раздел и диапазон времени данных для миграции.
Выберите целевой узел (количество узлов должно быть не меньше максимального числа реплик).
Нажмите «Предварительный просмотр плана задач», откроется ящик предварительного просмотра плана задач, где можно отредактировать целевой идентификатор брокера для каждого раздела, идентификатор брокера должен быть равен числу реплик.
Введите параметры задачи миграции, включая значение ограничения потока и время выполнения задачи.
Введите описание задачи.
Нажмите «ОК», задача массовой миграции разделов будет выполнена.
Рисунок не представлен.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребитель».
Обзор потребителя содержит следующую информацию:
Введите «Группа потребителей» и «Название темы», чтобы отфильтровать список.
Щёлкните название группы потребителей в списке, чтобы просмотреть подробную информацию о группе потребителей.
Рисунок не представлен.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребители» > «Название группы потребителей» > «Детали группы потребителей».
Детали группы потребителей включают список и диаграмму.
Список отображает информацию о потребителях, включая раздел темы, идентификатор члена, текущий офсет, конечный офсет журнала, отставание, хост, идентификатор клиента.
Рисунок не представлен.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребители» > «Название группы потребителей» > «Детали группы потребителей» > кнопка сброса офсета > ящик сброса офсета.
Выберите тип сброса офсета, можно сбросить до указанного времени или сбросить раздел.
Сброс до указанного времени, можно выбрать последний офсет или указанное время.
Сброс раздела, можно выбрать раздел и его новый офсет.
Нажмите «Подтвердить», сброс офсета начнётся.
Рисунок не представлен.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тестирование» > «Производство».
Конфигурация производства:
Нажмите кнопку «Выполнить», тестирование производства начнётся, информация о тестировании производства будет отображаться справа.
Рисунок не представлен.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тестирование» > «Потребление».
Настройка потребления:
Нажмите кнопку «Выполнить», начнётся тестирование потребления, подробная информация о потреблении будет отображаться справа.
Рисунок не представлен.
Обратите внимание, что функции безопасности можно использовать только после включения аутентификации кластера.
Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Безопасность» > «ACL».
Информация об обзоре ACL включает следующее:
Шаг 1. Нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Безопасность» > «Пользователи» > «Добавить ACL».
Шаг 2. Введите параметры конфигурации ACL:
Назначение ACL: права на производство, потребление или пользовательские права.
Права на производство: можно выбрать применение ко всем пользователям Kafka или к определённому пользователю Kafka; можно выбрать применение ко всем темам или определённой теме.
Права на потребление: можно выбрать применение ко всем пользователям Kafka или определённому пользователю Kafka; можно выбрать применение ко всем темам, определённой теме или группе потребителей; можно выбрать применение ко всем группам потребителей или определённой группе потребителей.
Шаг 3. Нажмите «Подтвердить», чтобы успешно добавить ACL.
5.4.10.3. Просмотр информации о пользователях
Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Безопасность» > «ACL».
Шаг 2. В списке пользователей отображаются следующие данные: «Имя пользователя Kafka», «Метод аутентификации», «Пароль», «Действие» (изменить пароль), «Действие» (удалить).
Шаг 3. Введите «Kafka User» в поле фильтра, чтобы отфильтровать список и найти соответствующего пользователя Kafka.
5.4.10.4. Добавление пользователя Kafka
Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Безопасность» > «Пользователи» > «Добавить пользователя Kafka».
Шаг 2. Введите имя пользователя Kafka, метод аутентификации и пароль.
Шаг 3. Нажмите «Подтвердить» для успешного добавления пользователя Kafka.
5.4.11. Работа
5.4.11.1. Просмотр общей информации о работе
Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа».
Шаг 2. Общая информация о работе включает в себя следующее: * Работа: общее количество работ. * Выполнение: общее количество выполняемых работ. * Подготовка: общее количество подготовленных работ. * Успех: общее количество успешных работ. * Ошибка: общее количество неудачных работ. * Список работ.
5.4.11.2. Просмотр прогресса работы
Можно просмотреть прогресс задач в состоянии выполнения.
Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа» > «Список работ» > «Действие» («Просмотр прогресса») > «Просмотр прогресса» (ящик).
Шаг 2. Для каждой задачи отображается следующая информация: * Балансировка нагрузки: основная информация о задаче, план балансировки, подробная информация о выполнении задачи, поток узлов. * Расширение реплик: основная информация о задаче, подробная информация о выполнении задачи и поток узлов. * Перенос темы: основная информация о задаче, подробная информация о выполнении задачи и поток узлов.
5.4.11.3. Редактирование задачи
Задачи в состоянии подготовки могут быть отредактированы.
Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа» > «Список работ» > «Действие» («Редактировать»).
Измените параметры выполнения задачи.
* Баланс кластера: можно изменить параметры расчёта показателей, измерения баланса, чёрного списка тем, конфигурации выполнения и т. д.
* Перемещение темы: можно изменить раздел темы, который необходимо переместить, диапазон времени перемещения, целевой узел брокера, значение ограничения потока, время выполнения, описание и т. д.
* Увеличение реплики: можно изменить окончательное количество реплик, значение ограничения потока, время выполнения, описание и т.д.
Подтвердите, чтобы успешно отредактировать задачу.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарий ( 0 )