1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/didiopensource-KnowStreaming

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Это зеркальный репозиторий, синхронизируется ежедневно с исходного репозитория.
Клонировать/Скачать
单机部署手册.md 13 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
gitlife-traslator Отправлено 30.11.2024 06:13 49c2643

2.1、单机部署

风险提示

⚠️ Скрипт полностью автоматизирует установку, он удалит и переустановит MySQL, JDK, ES на развёрнутой машине. Обратите внимание на риск потери существующих сервисов.

2.1.1 Установка

  • В качестве примера используется версия v3.0.0-beta.1.
  • Для примера используется CentOS-7 с базовыми требованиями к системе 4C-8G.
  • После завершения установки доступ можно получить через браузер по адресу IP:PORT, порт по умолчанию — 8080, учётные данные по умолчанию: admin / admin2022_.
  • Начиная с версии v3.0.0-beta.2, пароль по умолчанию для учётных данных — admin / admin.
  • Данный текст описывает установку для одного компьютера. Если требуется распределённая установка, обратитесь к нам.

Программное обеспечение

Программное обеспечение Версия Порт по умолчанию
MySQL v5.7 или v8.0 3306
ElasticSearch v7.6+ 8060
JDK v8+ -
CentOS v6+ -
Ubuntu v16+ -

 

2.1.2 Скрипт установки

Онлайн-установка

# Загрузите скрипт установки в сервер и выполните его в текущем каталоге. Скрипт переустановит MySQL. Пароль после переустановки хранится в файле mysql.password в текущем каталоге.
wget https://s3-gzpu.didistatic.com/pub/knowstreaming/deploy_KnowStreaming-3.0.0-beta.1.sh

# Выполните скрипт.
sh deploy_KnowStreaming.sh

# Адрес доступа:
127.0.0.1:8080

Оффлайн-установка

# Скачайте установочный пакет на локальный компьютер и перенесите его на целевой сервер.
wget https://s3-gzpu.didistatic.com/pub/knowstreaming/KnowStreaming-3.0.0-beta.1-offline.tar.gz

# Распакуйте установочный пакет.
tar -zxf KnowStreaming-3.0.0-beta.1-offline.tar.gz

# Выполните установочный скрипт.
sh deploy_KnowStreaming-offline.sh

# Адрес доступа:
127.0.0.1:8080

 

2.1.3 Контейнерная установка

Helm

Зависимости среды

  • Kubernetes >= 1.14, Helm >= 2.17.0

  • Все зависимости устанавливаются по умолчанию. Можно использовать существующий ElasticSearch (3 узла кластера) + MySQL (один компьютер) + KnowStreaming-manager + KnowStreaming-ui, просто настроив параметры values.yaml.

Команда установки

# Изображения доступны для загрузки из Docker Hub.
# Быстрая установка (необходимо изменить NAMESPACE на существующее, запуск может занять несколько минут, пожалуйста, подождите).
helm install -n [NAMESPACE] [NAME] http://download.knowstreaming.com/charts/knowstreaming-manager-0.1.5.tgz

# Получите сервис KnowStreaming переднего плана. По умолчанию используется nodeport.
# (http://nodeIP:nodeport, учётные данные по умолчанию: admin/admin2022_)
# Начиная с версии v3.0.0-beta.2 (версия пакета helm chart 0.1.4), пароль по умолчанию для учётных данных — admin / admin.

# Добавьте репозиторий.
helm repo add knowstreaming http://download.knowstreaming.com/charts

# Загрузите последнюю версию.
helm pull knowstreaming/knowstreaming-manager

 

Docker Compose

Зависимости среды

Команда установки

# Начиная с версии v3.0.0-beta.2 (версию образа docker 0.2.0), пароль по умолчанию для учётных данных — admin / admin;
# https://hub.docker.com/u/knowstreaming здесь можно найти последнюю версию образа.
# MySQL и ES можно использовать собственные сервисы, настроив соответствующие конфигурации.

# Скопируйте docker-compose.yml в нужное место и запустите следующую команду для запуска.
docker-compose up -d

Проверка установки

docker-compose ps
# Если статус UP, установка прошла успешно.
        Name                       Command                       State                  Ports
----------------------------------------------------------------------------------------------------
elasticsearch-single    /usr/local/bin/docker-entr ...   Up                      9200/tcp, 9300/tcp
knowstreaming-init      /bin/bash /es_template_cre ...   Up
knowstreaming-manager   /bin/sh /ks-start.sh             Up                      80/tcp
knowstreaming-mysql     /entrypoint.sh mysqld            Up (health: starting)   3306/tcp, 33060/tcp
knowstreaming-ui        /docker-entrypoint.sh ngin ...   Up                      0.0.0.0:80->80/tcp

# Подождите около минуты. knowstreaming-init завершит работу, что означает завершение инициализации ES. Вы можете посетить страницу.
        Name                       Command                  State              Ports
-------------------------------------------------------------------------------------------
knowstreaming-init      /bin/bash /es_template_cre ...   Exit 0
knowstreaming-mysql     /entrypoint.sh mysqld            Up (healthy)   3306/tcp, 33060/tcp

Доступ

http://127.0.0.1:80/

docker-compose.yml

version: "2"
services:
  # *Не изменяйте имя службы knowstreaming-manager, оно используется в ui.
  knowstreaming-manager:
    image: knowstreaming/knowstreaming-manager:latest
    container_name: knowstreaming-manager
    privileged: true
    restart: always
    depends_on:
      - elasticsearch-single
      - knowstreaming-mysql
    expose:
      - 80
    command:
      - /bin/sh
      - /ks-start.sh
    environment:
      TZ: Asia/Shanghai
      # Адрес сервиса MySQL
      SERVER_MYSQL_ADDRESS: knowstreaming-mysql:3306
      # Имя базы данных MySQL
      SERVER_MYSQL_DB: know_streaming
      # Пользователь MySQL
 **2.1.4. Ручное развёртывание**

**Процесс развёртывания**
1. Установите зависимости: JDK-11, MySQL, ElasticSearch и другие.
2. Установите KnowStreaming.

 

#### 2.1.4.1. Установка MySQL

**Установка с помощью yum**
```bash
# Настройка источника yum
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
rpm -ivh mysql57-community-release-el7-9.noarch.rpm

# Установка
yum -y install mysql-server mysql-client

# Запуск службы
systemctl start mysqld

# Получение начального пароля и его изменение
old_pass=`grep 'temporary password' /var/log/mysqld.log | awk '{print $NF}' | tail -n 1`

mysql -NBe "alter user USER() identified by 'Didi_km_678';" --connect-expired-password -uroot -p$old_pass

Установка с помощью rpm

# Загрузка пакета установки
wget https://s3-gzpu.didistatic.com/knowsearch/mysql5.7.tar.gz

# Распаковка в указанный каталог
tar -zxf mysql5.7.tar.gz -C /tmp/

# Установка с помощью localinstall
yum -y localinstall /tmp/libaio-*.rpm /tmp/mysql-*.rpm

# Запуск службы
systemctl start mysqld


# Получение начального пароля и его изменение
old_pass=`grep 'temporary password' /var/log/mysqld.log | awk '{print $NF}' | tail -n 1`

mysql -NBe "alter user USER() identified by 'Didi_km_678';" --connect-expired-password -uroot -p$old_pass

 

2.1.4.2. Настройка среды JDK

# Загрузка пакета установки
wget https://s3-gzpu.didistatic.com/pub/jdk11.tar.gz

# Распаковка в указанный каталог
tar -zxf jdk11.tar.gz -C /usr/local/

# Переименование каталога
mv /usr/local/jdk-11.0.2 /usr/local/java11

# Добавление в переменную окружения
echo "export JAVA_HOME=/usr/local/java11" >> ~/.bashrc
echo "export CLASSPATH=/usr/java/java11/lib" >> ~/.bashrc
echo "export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin" >> ~/.bashrc

source ~/.bashrc

 

2.1.4.3. Создание экземпляра ElasticSearch

ElasticSearch используется для хранения показателей Kafka, собранных платформой. Приведённый пример установки — это одноузловой режим. Для кластерной установки обратитесь к официальной документации ElasticSearch.

# Загрузка пакета установки
wget https://s3-gzpu.didistatic.com/pub/elasticsearch.tar.gz

# Создание каталога данных ES
mkdir -p /data/es_data

# Создание пользователя ES
useradd arius

# Настройка максимального количества открытых файлов для пользователя
echo "arius soft nofile 655350" >> /etc/security/limits.conf
echo "arius hard nofile 655350" >> /etc/security/limits.conf
echo "vm.max_map_count = 655360" >> /etc/sysctl.conf
sysctl -p

# Распаковка пакета установки
tar -zxf elasticsearch.tar.gz -C /data/
``` **Изменение владельца каталога**

chown -R arius:arius /data/

**1. Изменение конфигурационного файла (используйте следующую конфигурацию)**

vim /data/elasticsearch/config/elasticsearch.yml
    cluster.name: km_es
    node.name: es-node1
    node.master: true
    node.data: true
    path.data: /data/es_data
    http.port: 8060
    discovery.seed_hosts: ["127.0.0.1:9300"]

**2. Изменение конфигурации памяти**

vim /data/elasticsearch/config/jvm.options
    -Xms2g
    -Xmx2g

**3. Запуск сервиса**

su - arius
export JAVA_HOME=/usr/local/java11
sh /data/elasticsearch/control.sh start

**4. Проверка статуса**

sh /data/elasticsearch/control.sh status

 

#### 2.1.4.4, KnowStreaming — установка экземпляра

**1. Загрузка установочного пакета**

wget https://s3-gzpu.didistatic.com/pub/knowstreaming/KnowStreaming-3.0.0-beta.1.tar.gz

**2. Распаковка установочного пакета в указанный каталог**

tar -zxf KnowStreaming-3.0.0-beta.1.tar.gz -C /data/

**3. Модификация скрипта запуска и добавление управления systemd**

cd /data/KnowStreaming/

**4. Создание соответствующих библиотек и импорт начальных данных**

mysql -uroot -pDidi_km_678 -e "create database know_streaming;"
mysql -uroot -pDidi_km_678  know_streaming < ./init/sql/ddl-ks-km.sql
mysql -uroot -pDidi_km_678  know_streaming < ./init/sql/ddl-logi-job.sql
mysql -uroot -pDidi_km_678  know_streaming < ./init/sql/ddl-logi-security.sql
mysql -uroot -pDidi_km_678  know_streaming < ./init/sql/dml-ks-km.sql
mysql -uroot -pDidi_km_678  know_streaming < ./init/sql/dml-logi.sql

**5. Создание начальных данных для elasticsearch**

sh ./bin/init_es_template.sh

**6. Модификация конфигурационного файла**

vim ./conf/application.yml

**7. Порт прослушивания**

server:
    port: 8080 # web 服务端口
    tomcat:
        accept-count: 1000
        max-connections: 10000

**8. Адрес ES**

es.client.address: 127.0.0.1:8060

**9. Конфигурация базы данных (всего три места, необходимо изменить правильный адрес MySQL и имя базы данных, а также имя пользователя и пароль)**

jdbc-url: jdbc:mariadb://127.0.0.1:3306/know_streaming?.....
username: root
password: Didi_km_678

**10. Запуск службы**

cd /data/KnowStreaming/bin/
sh startup.sh

Комментарий ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://gitlife.ru/oschina-mirror/didiopensource-KnowStreaming.git
git@gitlife.ru:oschina-mirror/didiopensource-KnowStreaming.git
oschina-mirror
didiopensource-KnowStreaming
didiopensource-KnowStreaming
master