5.0. Продукт: Know Streaming

Know Streaming — это набор облачных решений для управления платформой Kafka, разработанных на основе многолетнего опыта эксплуатации Kafka в различных интернет-компаниях. Платформа фокусируется на управлении и мониторинге Kafka, управлении ресурсами, обеспечении высокой доступности и других ключевых сценариях, предоставляя ряд специализированных функций. Это значительно упрощает использование платформы для обычных администраторов и операторов, делая их экспертами в области Kafka.

5.1. Функциональная архитектура

[Рисунок]

5.2. Опыт использования

Ниже приведён типичный опыт использования нашего продукта новым пользователем:

[Рисунок]

5.3. Обычное использование

5.3.1. Управление пользователями

Управление пользователями — это функциональный модуль, который предоставляет администраторам возможность управлять учётными записями пользователей и ролями пользователей. Можно добавлять новых пользователей и назначать им роли. Вот пример типичного сценария:

Пример: в команду был добавлен новый участник, которому необходимо предоставить доступ к системе с использованием учётной записи. Для этого потребуется выполнить следующие шаги:

1. Нажмите «Система управления» > «Управление пользователями» > «Учётные записи пользователей» > «Добавить пользователя». Введите «Имя пользователя», «Настоящее имя» и «Пароль». В зависимости от требуемых прав выберите соответствующую роль для этого имени пользователя. Если есть подходящая роль, то добавление пользователя будет успешным. Если подходящей роли нет, то её нужно создать (шаг 2).
2. Нажмите «Система управления» > «Управление пользователями» > «Роли пользователей» > «Создать роль». Введите название роли и описание, назначьте права для этой роли и нажмите «Подтвердить». Роль будет создана успешно.
3. На основании новой роли повторите шаг 1, чтобы добавить пользователя заново.
4. Добавление учётной записи пользователя выполнено успешно, можно войти в систему и начать использовать продукт.

[Рисунок]

5.3.2. Подключение к кластеру

Шаги подключения к кластеру:

1. Перейдите в раздел «Управление несколькими кластерами» > «Подключение к кластеру».
2. Заполните информацию о кластере.
   • Cluster name: поддерживаются китайские и английские символы, подчёркивания (_) и дефисы (-), максимальная длина — 128 символов. Имя кластера не должно повторяться внутри системы.
   • Bootstrap Servers: введите адреса серверов начальной загрузки. После ввода адресов будет проведено тестирование соединения. По результатам тестирования будет отображено сообщение об успешном соединении или ошибке (с указанием причины ошибки).
   • Zookeeper: введите адрес сервера ZooKeeper. После ввода адреса будет проведено тестирование соединения. По результатам тестирования будет отображено сообщение об успешном соединении или ошибке (с указанием причины ошибки).
   • (Опционально) Metrics Port: введите порт JMX.
   • (Опционально) MaxConn: введите максимальное количество подключений для сервиса.
   • Security: если есть учётная запись и пароль JMX, введите их.
   • Version: выберите поддерживаемую версию Kafka. Если версия не совпадает, можно выбрать ближайшую версию.
   • (Опционально) Конфигурация кластера: введите информацию, которую клиент будет использовать для получения информации о Kafka.
   • Описание кластера: до 200 символов.

[Рисунок]

5.3.3. Создание топика

Шаги создания топика:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Топик» > «Темы» > «Создание топика».
2. Введите «Название топика» (не может повторяться), «Описание топика», «Количество разделов», «Количество реплик», «Время хранения данных» и «Стратегия очистки (удаление или сжатие)».
3. Разверните «Дополнительные настройки», чтобы открыть расширенные параметры конфигурации. В соответствии с требованиями введите соответствующие параметры конфигурации.
4. Нажмите «Подтвердить», создание топика завершено.

[Рисунок]

5.3.4. Расширение количества разделов топика

Шаги расширения количества разделов топика:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Топик» > «Темы» > «Список топиков» > «Действие» > «Расширение количества разделов» > «Расширить количество разделов».
2. Будет отображена информация о тенденции трафика, текущем количестве разделов и поддерживаемой минимальной скорости записи сообщений после расширения.
3. Введите желаемое общее количество разделов. Система автоматически рассчитает поддерживаемую минимальную скорость записи сообщений после расширения.
4. Подтвердите расширение, процесс расширения завершён.

[Рисунок]

5.3.5. Массовое изменение количества реплик топика

Шаги массового изменения количества реплик топика:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Топик» > «Темы» > «Массовые операции» > «Масштабное изменение количества реплик» > «Масштабное изменение реплик».
2. Выберите топики, которые необходимо изменить, можно выбрать несколько топиков. Выбранные топики будут отображаться в списке ниже.
3. Отображается информация о среднем трафике за последние три дня, пиковом трафике и времени пика за последние три дня, количестве разделов, текущем количестве реплик, новом количестве реплик.
4. При расширении реплик выберите целевой узел, новые реплики будут созданы на выбранном узле. При сокращении реплик целевой узел выбирать не нужно, система автоматически удалит последнюю реплику (или несколько реплик).
5. Введите параметры задачи ограничения потока и время выполнения задачи.
6. Введите описание задачи.
7. Нажмите «Подтвердить», задача масштабного изменения реплик будет создана.
8. Перейдите в «Журнал заданий» модуля «Задания», чтобы просмотреть созданные задачи. Если задача уже выполняется, вы можете отслеживать ход выполнения. Если выполнение ещё не началось, задачу можно отредактировать.

[Рисунок]

5.3.6. Массовое перемещение топиков

Шаги массового перемещения топиков:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Топик» > «Темы» > «Массовые операции» > «Масштабное перемещение» > «Масштабное перемещение».
2. Выберите топики для перемещения, можно выбрать несколько топиков. Выбранные топики будут отображаться в списке ниже.
3. Выберите целевые узлы (количество узлов должно быть не меньше максимального количества реплик) и диапазон времени перемещения данных.
4. Нажмите «Предварительный просмотр плана задания», чтобы развернуть «План задания» во вторичном выпадающем меню. Здесь можно внести изменения в ID целевых брокеров.
5. Введите параметры ограничения потока и время выполнения задачи.
6. Введите описание задачи.
7. Нажмите «Подтвердить», задача массового перемещения будет создана.
8. Перейдите в «Журнал заданий» модуля «Задания», чтобы просмотреть созданные задачи. Если задача уже выполняется, вы можете отслеживать ход выполнения. Если выполнение ещё не началось, задачу можно отредактировать.

[Рисунок]

5.3.7. Настройка правил проверки состояния кластера

Шаги настройки правил проверки состояния кластера:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Кластер» > «Обзор» > значок рядом со статусом здоровья кластера > «Выпадающее меню настроек статуса здоровья».
2. В выпадающем меню настроек состояния здоровья отображаются элементы проверки и их веса, которые можно настроить.
3. Правила проверки могут быть настроены следующим образом:
   • Кластер: количество контроллеров кластера должно быть равно 1 (число не настраивается). Если количество контроллеров не равно 1, проверка не пройдена.
   • Брокер: размер очереди запросов должен быть больше или равен 10 (по умолчанию 10, настраиваемое число). Если размер очереди меньше 10, проверка не пройдена.
   • Брокер: процент простоя сетевого процессора должен быть меньше или равен 0,8% (по умолчанию 0,8%, настраиваемый процент). Если процент простоя больше 0,8, проверка не пройдена.
   • Топик: количество топиков без лидера должно быть больше или равно 1 (по умолчанию 1, настраиваемое количество). Если количество топиков больше 1, проверка не пройдена.
   • Топик: топик находился в состоянии синхронизации менее 10 раз (по умолчанию 10) за 8 периодов (по умолчанию 8). Если топик не синхронизировался более 8 раз за 10 периодов, проверка не пройдена.
   • Группа потребителей: группа потребителей перебалансировалась менее 10 раз (по умолчанию 10) в течение 8 периодов (по умолчанию 8), проверка пройдена. В противном случае проверка не пройдена.
4. После завершения настройки нажмите «Подтвердить», настройка правил проверки завершена успешно.

[Рисунок]

5.3.8. Фильтрация показателей графиков

Шаги фильтрации показателей графиков:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточка кластера» > «Кластер» > «Обзор» > значок фильтра показателей > «Выпадающее меню фильтров показателей».
2. Выпадающее меню фильтра показателей отображает категории «Здоровье», «Кластер», «Брокер», «Потребитель», «Безопасность», «Задание».
3. По умолчанию отображаются наиболее важные показатели. В зависимости от потребностей можно выбрать/отменить выбор соответствующих показателей и нажать «Подтвердить». Показатели на графике изменятся соответствующим образом.

[Рисунок]

5.3.9. Редактирование конфигурации брокера

Шаги редактирования конфигурации брокера:

1. Перейдите в раздел «Управление несколькими кластерами» > «Карточки кластера» > «Брокеры» > «ID брокера» > вкладка «Конфигурация» > кнопка «Редактировать». 2: Ввод новых данных конфигурации

• Шаг 3: (необязательно) нажмите «Применить ко всем Broker», чтобы применить изменения конфигурации ко всем брокерам.

• Шаг 4: нажмите «Подтвердить», чтобы успешно изменить конфигурацию брокера.

5.3.10: Сброс смещения потребителя

• Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Потребитель» > «Группа потребителей» > «Подробности группы потребителей».

• Шаг 2: выберите тип сброса смещения: «сбросить до указанного времени» или «сбросить раздел».

• Шаг 3: если вы выбрали «сбросить смещение до указанного времени», то можете выбрать «последнее смещение» или «указанное время».

• Шаг 4: если вы выбрали «сброс раздела», то можете указать раздел и его смещение.

• Шаг 5: нажмите «подтвердить», чтобы начать сброс смещения.

5.3.11: Добавление ACL

• Шаг 1: нажмите «Управление несколькими кластерами» > «Кластерная карточка» > «Безопасность» > «Пользователи» > «Добавить ACL».

• Шаг 2: введите параметры конфигурации ACL:

  • Назначение ACL: права на производство, потребление или пользовательские права.
  • Права на производство: можно выбрать применение ко всем пользователям Kafka или к определённому пользователю Kafka; можно выбрать применение к определённой теме или ко всем темам.
  • Права на потребление: можно выбрать применение ко всем пользователям Kafka или к определённому пользователю Kafka; можно выбрать применение к определённой группе потребителей или ко всем группам потребителей.

• Шаг 3: нажмите «Определить», чтобы успешно добавить ACL.

5.4: Все функции

5.4.1: Вход/выход из системы

• Войдите в систему, введя имя пользователя и пароль, затем нажмите кнопку «Войти».

• Выйдите из системы, щёлкнув правой кнопкой мыши на значке профиля в правом верхнем углу экрана или на имени пользователя, и выбрав опцию «Выйти» в появившемся меню.

5.4.2: Системное управление

После успешного входа в систему нажмите кнопку «Системное управление» в правом верхнем углу страницы, чтобы перейти в режим системного управления. Здесь вы можете выполнять различные задачи по настройке, управлению пользователями и просмотру журналов аудита.

5.4.2.1: Управление конфигурацией

Управление конфигурацией предоставляет администраторам возможность быстро настраивать файлы конфигурации, которые будут применяться в соответствующих модулях.

5.4.2.2: Просмотр списка конфигураций

• Шаг 1: Нажмите «Системное управление» > «Управление конфигурациями».

• Шаг 2: список отображает информацию о модуле, ключе конфигурации, значении конфигурации, статусе включения, дате обновления и пользователе, который обновил конфигурацию. Список содержит опции для редактирования, удаления и настройки модулей, ключей конфигурации, значений конфигурации, описания и статуса включения.

5.4.2.3: Добавление новой конфигурации

• Шаг 1: Нажмите «Системное управление» > «Управление конфигурациями» > «Новая конфигурация».

• Шаг 2: Выберите модуль из выпадающего списка. Введите ключ конфигурации (без ограничений по содержанию, но не более 500 символов). Введите значение конфигурации с помощью редактора кода (без ограничений по содержанию). Используйте переключатель, чтобы включить или отключить эту конфигурацию.

5.4.2.4: Редактирование конфигурации

Можно настроить модули, ключи конфигурации, значения конфигурации, описание и статус включения.

5.4.2.5: Управление пользователями

Управление пользователями предоставляет администраторам функции управления персоналом и ролями пользователей. Можно добавлять новых пользователей и назначать им роли.

5.4.2.6: Список управления персоналом

• Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом».

• Шаг 2: Список управления персоналом отображает информацию о ролях пользователей, именах пользователей, назначенных ролях, датах обновления и опциях редактирования. Список поддерживает фильтрацию по именам пользователей, реальным именам и именам ролей.

5.4.2.7: Добавление нового пользователя

• Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом» > «Новый пользователь».

• Шаг 2: Введите обязательные поля: имя пользователя, реальное имя и пароль. Также можно назначить этому пользователю существующие роли.

5.4.2.8: Редактирование пользователя

• Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Список управления персоналом» и выберите опцию «Редактировать» рядом с нужным пользователем.

• Шаг 2: Имя пользователя нельзя редактировать. Можно изменить реальное имя, пароль и роли пользователя.

5.4.2.9: Список ролей

• Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Роли».

• Шаг 2: В списке ролей отображается информация о роли ID, названии, описании, количестве назначенных пользователей, последнем пользователе, обновившем роль, и дате последнего обновления. Список также содержит опции просмотра подробной информации о роли и назначения пользователей этой роли.

• Шаг 3: Список поддерживает фильтрацию по названию роли.

• Шаг 4: Опция «Просмотр подробной информации» позволяет увидеть связанные с ролью разрешения. Опция «Назначить пользователей» позволяет добавлять или удалять пользователей, связанных с этой ролью.

5.4.2.10: Добавление новой роли

• Шаг 1: Нажмите «Системное управление» > «Управление пользователями» > «Роли» > «Новая роль».

• Шаг 2: Введите название роли (не более 3–128 символов, включая только буквы, цифры и символы подчёркивания), описание роли и хотя бы одно разрешение. Нажмите «Подтвердить» для создания новой роли.

5.4.2.11: Журналы аудита

• Шаг 1: Нажмите «Системное управление» > «Журналы аудита».

• Шаг 2: Журналы аудита содержат записи обо всех действиях, выполненных в системе. Каждая запись включает информацию о модуле, объекте операции, действии, содержании операции, дате операции и исполнителе.

• Шаг 3: Журналы можно фильтровать по модулю, объекту операции, содержанию операции, дате и исполнителю.

5.4.3: Управление несколькими кластерами

5.4.3.1: Список нескольких кластеров

• Шаг 1: Перейдите на вкладку «Управление несколькими кластерами».

• Шаг 2: Страница управления несколькими кластерами содержит общую информацию о кластерах, список кластеров, параметры фильтрации и опцию подключения к кластеру.

• Шаг 3: Параметры фильтрации включают общее количество кластеров, количество активных и неактивных кластеров, уровень здоровья (от 0 до 100), а также опции фильтрации по уровню здоровья, активным и неактивным кластерам, количеству сообщений, размеру сообщений, входящему и исходящему трафику, количеству брокеров и времени подключения.

• Шаг 4: Каждый кластер представлен карточкой, которая содержит информацию об уровне здоровья и результатах проверки, количестве брокеров, количестве ZK, версии, состоянии балансировки трафика и сообщений, а также времени подключения.

5.4.3.2: Подключение к кластеру

• Шаг 1: Нажмите «Управление несколькими кластерами» > «Подключить к кластеру».

• Шаг 2: Заполните информацию о кластере, включая имя кластера (уникальное в системе), серверы начальной загрузки и другие необходимые данные. Адрес, после ввода данных будет проведено тестирование соединения. По результатам тестирования будет выведено сообщение об успешном соединении или о неудачном соединении (с указанием причины).

Zookeeper: после ввода адреса zookeeper будет проведено тестирование соединения, по результатам которого будет выведено сообщение об успешном соединении или о неудачном соединении (с указанием причины).

Metrics (необязательный): — JMX Port: введите порт JMX; — MaxConn: введите максимальное количество разрешённых соединений для сервера.

Security: если есть учётные данные JMX (логин и пароль), то введите их.

Version: выберите версию kafka, если не удаётся найти подходящую версию, можно выбрать ближайшую.

Конфигурация кластера (необязательная): создайте клиент kafka для получения информации о конфигурации.

5.4.3.3 Удаление кластера

Шаг 1: нажмите «Управление несколькими кластерами» > наведите курсор на карточку кластера > нажмите на значок удаления в правом верхнем углу > откройте окно удаления.

Шаг 2: в поле ввода имени кластера в окне удаления введите имя удаляемого кластера, нажмите «Удалить», кластер будет успешно удалён, платформа прекратит надзор за ним (ресурсы кластера не удаляются).

5.4.4 Управление кластером

5.4.4.1 Обзор кластера

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > перейдите к управлению отдельным кластером.

Шаг 2: левая навигационная панель:

— Первый уровень навигации: Cluster; второй уровень навигации: Overview, Load Rebalance; — Первый уровень навигации: Broker; второй уровень навигации: Overview, Brokers, Controller; — Первый уровень навигации: Topic; второй уровень навигации: Overview, Topics; — Первый уровень навигации: Consumer; — Первый уровень навигации: Testing; второй уровень навигации: Produce, Consume; — Первый уровень навигации: Security; второй уровень навигации: ACLs, Users; — Первый уровень навигации: Job.

5.4.4.2 Просмотр общей информации о кластере

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Overview».

Шаг 2: общая информация о кластере включает следующие пункты:

— состояние здоровья кластера, проверка пройдена; — информация о кластере: содержит название, версию, состояние балансировки нагрузки; — информация о брокере: общее количество брокеров, информация о контроллере, аналогичная конфигурация; — информация о теме: общее количество тем, нет лидера, <Min ISR, URP; — информация о группе потребителей: общее количество групп потребителей, наличие мёртвых ситуаций; — диаграмма показателей; — журнал изменений: название, время, содержание, тип.

5.4.4.3 Настройка правил проверки состояния здоровья кластера

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок состояния здоровья рядом > ящик настроек состояния здоровья.

Шаг 2: ящик настроек состояния здоровья отображает элементы проверки и соответствующие веса, которые можно настроить.

Шаг 3: правила проверки можно настроить следующим образом:

— Кластер: количество контроллеров кластера не равно 1 (число не настраивается) — проверка не пройдена; — Брокер: размер очереди запросов больше или равен 10 (по умолчанию 10, настраиваемое число) — проверка не пройдена; — Брокер: процент простоя сетевого процессора меньше или равен 0,8% (по умолчанию 0,8%, настраиваемый процент) — проверка не пройдена; — Тема: количество тем без лидера больше или равно 1 (по умолчанию 1, настраиваемое количество) — проверка не пройдена; — Тема: тема находится в состоянии, когда в течение 10 (по умолчанию 10, настраиваемый период) периодов 8 (по умолчанию 8, настраиваемое количество периодов) раз находилась в несинхронизированном состоянии; — Группа потребителей: группа потребителей в течение 10 (по умолчанию 10, настраиваемый период) периодов выполняет 8 (по умолчанию 8, настраиваемое количество раз) перебалансировку — проверка не пройдена.

Шаг 4: после настройки нажмите «Подтвердить», настройка правил проверки состояния здоровья выполнена успешно.

5.4.4.4 Просмотр подробной информации о проверке состояния здоровья кластера

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > рядом с кнопкой «Посмотреть подробности» состояния здоровья > ящик подробной информации о состоянии здоровья.

Шаг 2: подробная информация о проверке включает в себя: «элемент проверки», «вес», «оценка», «время проверки», «пройдена ли проверка», если проверка не пройдена, будут отображаться объекты, не прошедшие проверку.

5.4.4.5 Редактирование информации о кластере

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок редактирования рядом с названием кластера > ящик редактирования кластера.

Шаг 2: редактируемая информация включает название кластера, начальные серверы, Zookeeper, порт JMX, максимальное количество подключений (Maxconn), меры безопасности (Security), версия (Version), конфигурация кластера, описание кластера.

Шаг 3: нажмите «ОК», информация о кластере успешно отредактирована.

5.4.4.6 Фильтрация показателей диаграммы

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > значок фильтрации показателей > ящик фильтрации показателей.

Шаг 2: показатели фильтрации включают следующие категории: «Здоровье», «Кластер», «Брокер», «Потребитель», «Безопасность», «Задание».

Шаг 3: по умолчанию выбраны наиболее важные показатели для отображения. В соответствии с требованиями выберите/отмените выбор соответствующих показателей, нажмите «Подтвердить», фильтрация показателей выполнена успешно, отображаемая диаграмма изменится соответствующим образом.

5.4.4.7 Фильтрация времени диаграммы

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > раскрывающийся список выбора времени > окно выбора времени.

Шаг 2: выберите время «Последние 15 минут», «Последний час», «Последние 6 часов», «Последние 12 часов», «Последние сутки», также можно настроить диапазон времени.

5.4.4.8 Просмотр журнала изменений кластера

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Обзор» > область журнала изменений.

Шаг 2: область журнала изменений отображает историю изменений конфигурации, каждую запись можно развернуть или свернуть. Включает в себя «объект конфигурации», «время изменения», «содержание изменения», «тип конфигурации».

5.4.5 Балансировка нагрузки (Load Rebalance) (корпоративная версия)

5.4.5.1 Просмотр общей информации о балансировке нагрузки

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Балансировка нагрузки».

Шаг 2: общая информация о балансировке нагрузки включает в себя следующие пункты: карточка состояния балансировки, карточка информации о диске, карточка информации BytesIn, карточка информации BytesOut, список состояния балансировки брокера.

5.4.5.2 Настройка спецификации кластера

Предоставляет функцию настройки спецификаций диска, BytesIn и BytesOut каждого узла в кластере.

Шаг 1: нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Балансировка нагрузки» > значок карточки состояния > ящик настройки спецификации кластера.

Шаг 2: на левой панели отображаются выбранные узлы кластера, на правой панели отображаются уже выбранные узлы, выберите нужные узлы для настройки.

Шаг 3: настройте «количество ядер на одном компьютере», «диск на одном компьютере» и «сеть на одном компьютере», нажмите «ОК», настройка завершена. 5.4.5.3. Равномерное распределение по состояниям

1. Нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Cluster» > «Перебалансировка нагрузки» > «Список фильтров».
2. Можно выбрать «Диск», «BytesIn», «BytesOut» в качестве измерений, каждое из которых соответствует двум состояниям: «Сбалансировано» и «Не сбалансировано». Можно комбинировать для фильтрации.
3. Нажмите «Подтвердить», чтобы выполнить фильтрацию.

5.4.5.4. Немедленная перебалансировка

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Cluster» > «Load Rebalance» > «Немедленная балансировка» > «Окно немедленной балансировки».
2. Конфигурация стратегии балансировки:
   • Период расчёта показателя: по умолчанию около 10 минут, можно выбрать;
   • Измерение балансировки: по умолчанию «Диск», «BytesIn» и «BytesOut», можно выбрать;
   • Диапазон балансировки: настраивается в таблице (единица измерения: %, больше 0, меньше 100);
   • Чёрный список тем: выберите чёрный список тем. Выберите целевую тему через окно поиска (для текущей балансировки, пропустите выбранные темы).
3. Настройка параметров выполнения:
   • Приоритет пропускной способности: параллелизм равен 0 (без ограничений), стратегия заключается в том, чтобы сначала выполнять с наибольшим количеством копий;
   • Приоритет стабильности: параллелизм равен 1, стратегия заключается в том, чтобы выполнять с наименьшим количеством копий в первую очередь;
   • Настраиваемый: можно свободно устанавливать параллелизм и стратегию выполнения для копирования;
   • Значение ограничения потока: настраиваемое максимальное значение потока, от 0 до 99 999.
4. Нажмите кнопку «Предварительный просмотр плана», чтобы открыть окно предварительного просмотра плана выполнения. Вы можете увидеть обзор плана и подробную информацию о плане.
5. Нажмите на кнопку «Файл выполнения» окна предварительного просмотра плана, чтобы загрузить файл выполнения в формате JSON.
6. Нажмите кнопку «Выполнить немедленную балансировку» окна предварительного просмотра плана, чтобы начать выполнение задачи балансировки.

5.4.5.5. Балансировка по расписанию

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Cluster» > «Load Rebalance» > «Балансировка по расписанию» > «Окно балансировки по расписанию».
2. Конфигурация стратегии балансировки:
   • Период расчёта показателя: по умолчанию около 10 минут, можно выбрать;
   • Измерение балансировки: по умолчанию «Диск», «BytesIn» и «BytesOut», можно выбрать;
   • Диапазон балансировки: настраивается в таблице (единица измерения: %, больше 0, меньше 100);
   • Чёрный список тем: выберите чёрный список тем. Выберите целевую тему через окно поиска (для текущей балансировки, пропустите выбранные темы).
3. Настройка параметров выполнения:
   • Параллелизм задачи: количество копий, которые каждый узел перемещает одновременно;
   • Цикл задачи: настраиваемый период времени;
   • Приоритет стабильности: параллелизм равен 1, стратегия заключается в том, чтобы выполнять с наименьшим количеством копий в первую очередь;
   • Настраиваемый: можно свободно устанавливать параллелизм и стратегию выполнения для копирования;
   • Значение ограничения потока: настраиваемое максимальное значение потока, от 0 до 99 999.
4. Нажмите кнопку «Предварительный просмотр плана», чтобы открыть окно предварительного просмотра плана выполнения. Вы можете увидеть обзор плана и подробную информацию о плане.
5. Нажмите на кнопку «Файл выполнения» окна предварительного просмотра плана, чтобы загрузить файл выполнения в формате JSON.
6. Нажмите кнопку «Выполнить немедленную балансировку» окна предварительного просмотра плана, чтобы начать выполнение задачи балансировки.

5.4.6. Брокер

5.4.6.1. Просмотр общей информации о брокере

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Брокер» > «Обзор».
2. Общая информация о брокере включает следующее:
   • Состояние здоровья кластера, элементы проверки здоровья, прошедшие проверку;
   • Информация о брокере: включая имя, версию и состояние балансировки;
   • Информация о брокере: общее количество брокеров, информация о контроллере, аналогичная конфигурация;
   • Тема: общее количество тем, нет лидера, <Min ISR, URP;
   • Группа потребителей: общее количество групп потребителей, есть ли мёртвые ситуации;
   • Диаграмма показателей;
   • История изменений: имя, время, содержание, тип.

5.4.6.2. Изменение конфигурации брокера

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Брокеры» > «Идентификатор брокера» > вкладка «Конфигурация» > кнопка «Изменить».
2. Введите новое содержимое конфигурации.
3. (Необязательно) Нажмите «Применить ко всем брокерам», чтобы применить изменения конфигурации ко всем брокерам.
4. Нажмите «Подтвердить», изменение конфигурации выполнено успешно.

5.4.6.3. Просмотр журналов данных брокера

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Брокеры» > «Идентификатор брокера» > вкладка «Журналы данных» > кнопка «Редактировать».
2. В списке журналов данных отображается следующая информация: «Папка», «Тема», «Раздел», «Отставание смещения», «Размер».
3. Введите «Название темы» во вводном поле, чтобы отфильтровать результаты.

5.4.6.4. Просмотр списка контроллеров

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Брокер» > «Контроллер».
2. Список контроллеров отображает следующую информацию: «Время изменения», «Идентификатор брокера», «Хост брокера».
3. Введите «Хост брокера» во вводное поле для фильтрации результатов.
4. Щёлкните идентификатор брокера, чтобы открыть подробную информацию о брокере, изменить конфигурацию или просмотреть журналы данных.

5.4.7. Тема

5.4.7.1. Просмотр общей информации о теме

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Тема» > «Обзор».
2. Общая информация о теме включает следующее:
   • Состояние здоровья кластера, элементы проверки здоровья, прошедшие проверку;
   • Темы: общее количество тем;
   • Разделы: общее количество разделов;
   • Раздел без лидера: количество разделов без лидера;
   • <Min ISR: количество синхронизированных копий меньше Min ISR;
   • =Min ISR: количество синхронизированных копий равно Min ISR;
   • Диаграмма показателей темы.

5.4.7.2. Просмотр подробной информации о проверке здоровья темы

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Тема» > «Обзор» > рядом со «Состояние здоровья кластера»> «Подробности проверки состояния здоровья» > «Окно сведений о проверке состояния здоровья».
2. Окно сведений о проверке состояния здоровья отображает следующую информацию: элемент проверки, вес, оценка, время проверки, прошла ли проверка. Если проверка не пройдена, будет отображаться объект, который не прошёл проверку.

5.4.7.3. Просмотр списка тем

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Тема» > «Темы».
2. Список тем отображает следующую информацию: название темы, разделы, репликации, состояние здоровья, BytesIn, BytesOut, размер сообщения, время сохранения, описание, операции «Разделить раздел» и «Удалить».
3. Введите название темы во вводное поле, чтобы отфильтровать список. Щёлкните переключатель «Показать системные темы», чтобы отфильтровать системные темы.

5.4.7.4. Создание новой темы

1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Тема» > «Темы» > кнопка «Создать тему» > «Создать окно темы».
2. Введите название темы, описание темы, количество разделов, количество реплик, время хранения данных и политику очистки (удаление или сжатие). 3: Развернуть «Дополнительные настройки»

Можно открыть дополнительные настройки, чтобы ввести соответствующие параметры конфигурации в соответствии с вашими потребностями.

4: Нажмите «ОК», чтобы завершить создание Topic

Рисунок не представлен.

5.4.7.5 Тема: Разделение на разделы

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Список тем» > «Действие» > «Разделение на разделы» > «Ящик разделения на разделы».

2. Содержимое ящика разделения на разделы включает график тенденций трафика, текущее количество разделов и поддерживаемую минимальную скорость записи сообщений после разделения на разделы.

3. Введите необходимое общее количество разделов, и система автоматически рассчитает поддерживаемую минимальную скорость записи сообщений после разделения на разделы.

4. Нажмите «ОК», разделение на разделы завершено.

Рисунок не представлен.

5.4.7.6 Удаление темы

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Список тем» > «Действие» > «Удалить» > «Окно удаления».

2. Введите «TopicName» для подтверждения.

3. Нажмите «Удалить», удаление темы завершено.

Рисунок не представлен.

5.4.7.7 Массовое расширение реплик и сжатие разделов

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Массовое действие» > «Массовое расширение и сжатие реплик» > «Ящик массового расширения и сжатия реплик».

2. Выберите разделы темы, которые необходимо расширить или сжать, можно выбрать несколько разделов. Выбранные разделы отображаются в списке разделов ниже.

3. В списке разделов отображаются следующие данные о разделе: средний трафик за последние три дня, пиковый трафик и время за последние три дня, количество разделов, текущее число реплик, новое число реплик.

4. При расширении выберите целевой узел, новые реплики будут созданы на выбранном целевом узле; при сжатии не требуется выбирать целевой узел, система автоматически удалит последнюю реплику (или несколько реплик).

5. Введите параметры задачи миграции, включая значение ограничения потока и время выполнения задачи.

6. Введите описание задачи.

7. Нажмите «ОК», задача массового расширения или сжатия реплик будет выполнена.

Рисунок не представлен.

5.4.7.8 Массовая миграция разделов

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тема» > «Темы» > «Массовое действие» > «Массовая миграция» > «Ящик массовой миграции».

2. Выберите разделы темы для миграции, можно выбрать несколько разделов. Выбранные разделы отображаются в списке разделов ниже.

3. Выберите раздел и диапазон времени данных для миграции.

4. Выберите целевой узел (количество узлов должно быть не меньше максимального числа реплик).

5. Нажмите «Предварительный просмотр плана задач», откроется ящик предварительного просмотра плана задач, где можно отредактировать целевой идентификатор брокера для каждого раздела, идентификатор брокера должен быть равен числу реплик.

6. Введите параметры задачи миграции, включая значение ограничения потока и время выполнения задачи.

7. Введите описание задачи.

8. Нажмите «ОК», задача массовой миграции разделов будет выполнена.

Рисунок не представлен.

5.4.8 Потребитель

5.4.8.1 Обзор потребителей

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребитель».

2. Обзор потребителя содержит следующую информацию:

   • Коэффициент здоровья кластера, элементы проверки здоровья.
   • Группы потребителей: общее количество групп потребителей.
   • Активные группы потребителей: общее количество активных групп потребителей.
   • Пустые группы потребителей: общее количество пустых групп потребителей.
   • Группа перебалансировки: общее количество групп перебалансировки.
   • Мёртвые группы потребителей: общее количество мёртвых групп потребителей.
   • Список групп потребителей.

3. Введите «Группа потребителей» и «Название темы», чтобы отфильтровать список.

4. Щёлкните название группы потребителей в списке, чтобы просмотреть подробную информацию о группе потребителей.

Рисунок не представлен.

5.4.8.2 Просмотр списка потребителей

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребители» > «Название группы потребителей» > «Детали группы потребителей».

2. Детали группы потребителей включают список и диаграмму.

3. Список отображает информацию о потребителях, включая раздел темы, идентификатор члена, текущий офсет, конечный офсет журнала, отставание, хост, идентификатор клиента.

Рисунок не представлен.

5.4.8.3 Сброс офсета

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Потребители» > «Название группы потребителей» > «Детали группы потребителей» > кнопка сброса офсета > ящик сброса офсета.

2. Выберите тип сброса офсета, можно сбросить до указанного времени или сбросить раздел.

3. Сброс до указанного времени, можно выбрать последний офсет или указанное время.

4. Сброс раздела, можно выбрать раздел и его новый офсет.

5. Нажмите «Подтвердить», сброс офсета начнётся.

Рисунок не представлен.

5.4.9 Тестирование (корпоративная версия)

5.4.9.1 Производство тестирования

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тестирование» > «Производство».

2. Конфигурация производства:

   • Данные: выберите тему для записи данных, введите ключ (строковый формат) и значение (строковый формат), которые будут записаны. Ключ и значение могут быть сгенерированы случайным образом.
   • Поток: введите количество сообщений, отправляемых за один раз, по умолчанию — 1, которое можно изменить вручную. Выберите ручной режим производства, что означает выполнение производства каждый раз при нажатии кнопки «Выполнить»; выберите периодический режим производства, необходимо указать общее время работы и интервал времени работы.
   • Заголовок: введите ключ заголовка, значение.
   • Параметры: выберите принудительное разделение, что означает отправку сообщений только на выбранные разделы; выберите формат сжатия данных; выберите параметр Acks, none означает, что сообщение считается отправленным после отправки, leader означает, что лидер получает сообщение (независимо от того, синхронизированы ли последователи), all означает, что все последователи синхронизированы, сообщение считается отправленным.

3. Нажмите кнопку «Выполнить», тестирование производства начнётся, информация о тестировании производства будет отображаться справа.

Рисунок не представлен.

5.4.9.2 Тестирование потребления

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Тестирование» > «Потребление».

2. Настройка потребления:

   • Тема: выберите тему данных для потребления.
   • Начало: выберите, с какого места начать потребление, можно выбрать по времени или офсету.
   • До: выберите, до какого места потреблять, можно выбрать по времени, офсету или количеству сообщений.
   • Фильтр: выберите правило фильтра. Включая / исключая определённые [ключ, значение]; равно / больше / меньше определённого количества сообщений.

3. Нажмите кнопку «Выполнить», начнётся тестирование потребления, подробная информация о потреблении будет отображаться справа.

Рисунок не представлен.

5.4.10 Безопасность

Обратите внимание, что функции безопасности можно использовать только после включения аутентификации кластера.

5.4.10.1 Просмотр обзора ACL

1. Щёлкните «Управление несколькими кластерами» > «Карточка кластера» > «Безопасность» > «ACL».

2. Информация об обзоре ACL включает следующее:

   • Включено: доступно ли.
   • ACL: общее количество ACL.
   • Пользователи: общее количество пользователей.
   • Темы: общее количество тем.
   • Группы потребителей: общее количество групп потребителей.
   • Список ACL. 5.4.10.2. Добавление ACL

Шаг 1. Нажмите «Управление несколькими кластерами» > «Карточка кластера» > «Безопасность» > «Пользователи» > «Добавить ACL».

Шаг 2. Введите параметры конфигурации ACL:

• Назначение ACL: права на производство, потребление или пользовательские права.

• Права на производство: можно выбрать применение ко всем пользователям Kafka или к определённому пользователю Kafka; можно выбрать применение ко всем темам или определённой теме.

• Права на потребление: можно выбрать применение ко всем пользователям Kafka или определённому пользователю Kafka; можно выбрать применение ко всем темам, определённой теме или группе потребителей; можно выбрать применение ко всем группам потребителей или определённой группе потребителей.

Шаг 3. Нажмите «Подтвердить», чтобы успешно добавить ACL.

5.4.10.3. Просмотр информации о пользователях

Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Безопасность» > «ACL».

Шаг 2. В списке пользователей отображаются следующие данные: «Имя пользователя Kafka», «Метод аутентификации», «Пароль», «Действие» (изменить пароль), «Действие» (удалить).

Шаг 3. Введите «Kafka User» в поле фильтра, чтобы отфильтровать список и найти соответствующего пользователя Kafka.

5.4.10.4. Добавление пользователя Kafka

Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Безопасность» > «Пользователи» > «Добавить пользователя Kafka».

Шаг 2. Введите имя пользователя Kafka, метод аутентификации и пароль.

Шаг 3. Нажмите «Подтвердить» для успешного добавления пользователя Kafka.

5.4.11. Работа

5.4.11.1. Просмотр общей информации о работе

Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа».

Шаг 2. Общая информация о работе включает в себя следующее: * Работа: общее количество работ. * Выполнение: общее количество выполняемых работ. * Подготовка: общее количество подготовленных работ. * Успех: общее количество успешных работ. * Ошибка: общее количество неудачных работ. * Список работ.

5.4.11.2. Просмотр прогресса работы

Можно просмотреть прогресс задач в состоянии выполнения.

Шаг 1. Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа» > «Список работ» > «Действие» («Просмотр прогресса») > «Просмотр прогресса» (ящик).

Шаг 2. Для каждой задачи отображается следующая информация: * Балансировка нагрузки: основная информация о задаче, план балансировки, подробная информация о выполнении задачи, поток узлов. * Расширение реплик: основная информация о задаче, подробная информация о выполнении задачи и поток узлов. * Перенос темы: основная информация о задаче, подробная информация о выполнении задачи и поток узлов.

5.4.11.3. Редактирование задачи

Задачи в состоянии подготовки могут быть отредактированы.

Нажмите «Многокластерное управление» > «Кластерная карточка» > «Работа» > «Список работ» > «Действие» («Редактировать»).

Измените параметры выполнения задачи.

* Баланс кластера: можно изменить параметры расчёта показателей, измерения баланса, чёрного списка тем, конфигурации выполнения и т. д.
* Перемещение темы: можно изменить раздел темы, который необходимо переместить, диапазон времени перемещения, целевой узел брокера, значение ограничения потока, время выполнения, описание и т. д.
* Увеличение реплики: можно изменить окончательное количество реплик, значение ограничения потока, время выполнения, описание и т.д.

Подтвердите, чтобы успешно отредактировать задачу.