RepoStats

Данные, связанные с открытым исходным кодом, такие как star, fork, commit, pull request и issue, являются объективным основанием для анализа и понимания репозиториев. Эти данные в определённой степени отражают популярность открытых проектов, их активность и влияние.

Цели RepoStats:

1. Сбор, хранение и анализ данных из открытых исходных кодов.
2. Визуализация связанных данных из открытого исходного кода.
3. Обеспечение интеграции и поддержки разделения и комбинирования данных на всех платформах.

Функциональные характеристики

1. Поддерживаемая платформа: текущая версия RepoStats поддерживает только данные Gitee.
2. Интерфейс управления: поддерживается настройка конфигурации OAuth и получение токена Grafana.
3. Интерфейс управления: поддерживаются функции добавления отдельных репозиториев, а также массовых добавлений личных и корпоративных учётных записей в общедоступных репозиториях.
4. Интерфейс управления: поддержка включения и отключения сбора данных Gitee (за исключением запуска сбора).
5. Интерфейс управления: поддерживаются отображение и поиск списков коммитов, проблем и запросов на вытягивание.
6. Метки Grafana: каждая панель имеет метки владельца репозитория, название репозитория и название платформы для поддержки фильтрации запросов.

https://www.repostats.cn

План развития

1. Использование Docker

Перед запуском Docker-образа рекомендуется проверить файл docker/vars.env и настроить необходимые параметры в соответствии с вашей ситуацией (например, локальный номер порта и т. д.). Запуск docker/start_docker_repostats.sh позволяет использовать Docker для установки всех зависимостей и запуска. Эта команда:

1. Скачивает образ repostats (можно просмотреть исходный код в файле docker/repostats.Dockerfile).
2. Создаёт образы Grafana и PostgreSQL через docker/pull_build.yml и запускает их службы, оценивая их состояние перед запуском других необходимых служб (для локальной сборки можно обратиться к файлу local_build.yml).
3. Создаёт виртуальную сеть network_repostats, которую будут использовать вышеупомянутые службы.
4. Открывает порт 9103 на хосте для доступа к инструменту RepoStats, порт 13000 — для доступа к Grafana и порт 15432 — для доступа к PostgreSQL.

2. Сборка с помощью Makefile

Сборка исполняемого файла для Linux:

make build-linux

Сжатие исполняемого файла Linux (требуется поддержка upx):

make compress-linux

3. Использование различных версий дистрибутива

Скачайте соответствующую версию для вашей платформы через Release и запустите её. Перед запуском убедитесь, что файл конфигурации repostats.ini содержит правильные настройки.

[repostats]
debug = false
admin_port = 9103


[postgres]
host = localhost
port = 15432
user = postgres
password = DePmoG_123
database = repostats
max_open_conn = 20
max_idle_conn = 5

[grafana]
host = localhost
port = 13000
user = admin
password = admin

Описание базы данных:

1. Создайте базу данных с именем repostats в PostgreSQL.
2. Выполните файлы sql/db.sql, sql/gitee.sql и sql/roles.sql последовательно, чтобы создать необходимые таблицы и представления.

Параметры запуска:

repostats [-c config_file]

Предварительные условия использования

После успешного запуска RepoStats войдите в систему управления с учётными данными администратора. По умолчанию имя пользователя и пароль для входа:

repostats
-2aDzm=0(ln_9^1

Прежде чем начать сбор данных Gitee и отправку соответствующих статистических результатов в Grafana, необходимо выполнить определённую настройку:

1. Настройте необходимые параметры Oauth на странице Gitee Configuration панели управления, чтобы обеспечить возможность получения данных Gitee.
2. На странице Grafana Configuration панели управления настройте необходимые параметры Grafana для обеспечения связи с Grafana.
3. После успешной настройки связи с Grafana на странице операций Grafana выполните Test & Save для источника данных, чтобы убедиться в его работоспособности (эта проблема пока не может быть решена, но будет рассмотрена в будущем).
4. На странице Code Repository List панели управления добавьте интересующие вас репозитории.

Примеры скриншотов

Все репозитории в общем представлении:

Представление конкретного репозитория:

Панель управления администратора:

Статистические показатели

Текущая версия RepoStats предоставляет 21 статистический показатель, который можно визуализировать. Эти показатели нельзя использовать для оценки качества проекта, они лишь предоставляют определённые данные о репозиториях с точки зрения статистики. Эти показатели разделены на три категории:

1. Сводная статистика

В категории сводная статистика представлены данные, не зависящие от времени, которые представляют общее количество репозиториев (Gitee Overview) или конкретное количество для указанного репозитория. Они включают:

• Статистика репозиториев: общее количество репозиториев, общее количество звёзд, общее количество форков и общее количество наблюдателей.

• Базовая информация: количество звёзд, количество форков и количество наблюдателей для текущего репозитория.

• Статистика коммитов: общее количество коммитов и автор коммитов. Общее количество (без дублирования), общее количество коммитов (без дублирования)

• Статистика по задачам:

  • обзор задач;
  • общее количество задач;
  • количество открытых задач;
  • количество закрытых задач;
  • количество отклонённых задач;
  • количество задач в процессе.

• Диаграмма состояния задач:

  • соотношение задач, находящихся в состоянии «закрыто», «отклонено» и «открыто».

• Статистические данные по запросам на вытягивание:

  • общее число запросов на вытягивание;
  • число участников;
  • количество открытых запросов на вытягивание;
  • количество объединённых запросов на вытягивание;
  • количество закрытых запросов на вытягивание.

• Диаграмма состояний запросов на вытягивание:

  • доля объединённых, открытых и закрытых запросов на вытягивание.

• Анализ времени обработки задач:

  • минимальное, среднее и максимальное время для всех задач от момента создания до завершения, в часах.

• Анализ времени объединения запросов на вытягивание:

  • минимальное, среднее и максимальное время объединения всех запросов на вытягивание, которые можно объединить, от момента создания запроса до момента объединения, в часах.

2. Динамические тенденции

В категории «динамические тенденции» представлены данные об изменении объёма данных за определённый период времени. Эти данные можно просмотреть с помощью панели Grafana в правом верхнем углу, где можно выбрать интересующий временной диапазон. В эту категорию входят:

• График тенденций звёзд:

  • изменение количества участников в репозитории за выбранный период.

• График тенденций коммитов:

  • динамика количества коммитов за выбранный период.

• График тенденций задач:

  • изменения в количестве новых задач за выбранный период.

• График тенденций запросов на вытягивание:

  • изменения количества новых запросов на вытягивание за выбранный период.

• Анализ времени объединения запросов на вытягивание:

  • минимальные, средние и максимальные временные затраты на объединение запросов на вытягивание в выбранном диапазоне, которые можно было объединить, в часах.

• Анализ времени обработки задач:

  • минимальные, средние и максимальные временные затраты на обработку новых задач в выбранном временном диапазоне от момента создания задачи до её завершения, в часах.

3. Список данных

Категория «список данных» включает информацию, не связанную со временем, и представляет собой сводные результаты для конкретного проекта (Gitee Overview) или определённого проекта. Сюда входят:

• Список репозиториев:

  • подробные сведения обо всех репозиториях.

• Список коммитов:

  • подробный список коммитов.

• Список задач:

  • детальный список задач.

• Список запросов на вытягивание:

  • детализированный список запросов на вытягивание.

• Рейтинг авторов коммитов:

  • рейтинг авторов коммитов по количеству.

• Рейтинг коммиттеров:

  • рейтинг коммиттеров по количеству.

Соглашение о лицензии участника

При первой отправке запроса на вытягивание необходимо указать в запросе «Я добровольно принимаю и подписываю Соглашение о лицензии участника RepoStats», а также предоставить ссылку на это соглашение.

Вдохновлено

1. CNCF DevStats.
2. cncf/devstatscode.

Выражаем благодарность

Мы искренне благодарим следующие открытые программные продукты, фреймворки и т. д. (включая, но не ограничиваясь):

1. Grafana.
2. gin-gonic/gin.
3. FomanticUI.
4. dchest/captcha.
5. Masterminds/sprig.
6. jmoiron/sqlx.
7. go-ini/ini.

Новости RepoStats

1. 01.06.2022 — опубликована дорожная карта инструмента визуализации данных RepoStats для кода репозиториев (https://www.oschina.net/news/198120/repostats-roadmap).
2. 11.05.2022 — официально выпущен RepoStats v1.1, инструмент визуализации данных для открытых исходных кодов (https://www.oschina.net/news/195251/repostats-1-1-released).
3. 27.04.2022 — установка и использование инструмента RepoStats для визуализации данных кода репозиториев (https://mp.weixin.qq.com/s/St3OItSpgcxl_wuuIGnuIA).
4. 26.04.2022 — выпущен RepoStats версии 1.0, инструмент для визуализации статистических данных открытых исходных кодов (https://www.oschina.net/news/193100/repostats-1-0-released).