Пункт меню Настройки
Данный пункт представляет собой инструментарий для настройки параметров каталога данных:
Сервисы
Каталог позволяет централизованно собирать метаданные из различных источников данных и систем.
Основные шаги сбора метаданных:
Создание сервиса подключения
1.Перейдите в раздел Настройки → Сервисы → Сервис (Выберите необходимый вам тип сервиса).
2.Нажмите на кнопку "Добавить сервис" и выберите тип источника.
3.Укажите уникальное имя сервиса и опционально описание.
4.Введите параметры подключения.
5.Сохраните сервис.
Добавление сбора данных
1.Перейдите на вкладку Сбор данных в созданном сервисе.
2.Нажмите на кнопку "Добавить сбор данных"
Задайте имя.
Укажите фильтры для включения или исключения нужных баз данных, схем и таблиц.
Настройте дополнительные параметры.
3.Выберите оркестратор и репозиторий, запланируйте расписание запуска сбора (например, по cron).
4.Сбор добавится в список сборов.
Для запуска сбора скопируйте id сбора под наименованием и перейдите в основной раздел POLUHUB - Репозитории
Запуск и мониторинг
Запуск сбора доступен в мониторинге заданного вами репозитория. Для запуска вернитесь в основное меню POLYHUB и перейдите в раздел "Репозитории".
- Перейдите в мониторинг репозитория по кнопке в панели действий "Мониторинг" и перейдите в раздел "Ресурсы данных".
- По Id созданного вами сбора найдите в списке актив и запустите его по кнопке запустить.
- Для активации заданного сбора перейдите в раздел "Обзор" и перейдите во вкладку "Расписания". По id созданного сбора найдите необходимое вам расписание и переключите переключатель на "Включен"
Ход сбора можно посмотреть во вкладке "Запуски".
Описание сбора данных visiology
Для добавления откройте сервисы "Дашборды" и выберите Visiology.
1.Перейдите в раздел Настройки → Сервисы → Дашборды (Выберите необходимый вам тип сервиса).
2.Нажмите на кнопку "Добавить сервис" и выберите тип источника.
3.Укажите уникальное имя сервиса и опционально описание.
4.Введите параметры подключения.
Для visiology v2 - Имя пользователя - логин - Пароль - пароль - Хост и порт - {{url}}
Для visiology v3 - Имя пользователя - всегда visiology_m2m - Пароль - client_secret, получение доступно по адресу {{url}}/v3/keycloak/admin/Visiology/console/#/Visiology/realm-settings - Хост и порт - url/v3/
В keycloak перейдите в пункт меню Клиенты и из списка клиентов найдите visiology_m2m
Скопируйте ключ и вставьте в подключение в каталоге
5.Сохраните сервис.
Сбор данных доступен по тому же принципу, что и при сборе данных из Базы данных.
Приложения
Поисковая индексация:
Приложение позволяет настроить индексацию данных для обеспечения быстрого и точного поиска по каталогу данных.
Переиндексацию следует выполнять при следующих проблемах:
- Несовпадение количества активов данных
- Отсутствие данных в результатах поиска
- Пустые результаты в разделе "Обзор"
- Отсутствие информации о происхождении
Запуск
- Перейдите в раздел: Настройки → Приложения → Поисковая индексация → Настройки
- Выберите сущности, которые хотите переиндексировать.
- Нажмите кнопку Запустить для запуска процесса.
Основные параметры настройки переиндексации
- Размер пакета - Максимальное число событий в одной партии при отправке
- Потоки записи - Максимальный размер полезной нагрузки (в байтах) в одной партии (по умолчанию 100 МБ)
- Потоки чтения - Количество потоков для отправки событий
- Размер очереди - Размер внутренней очереди для операций переиндексации
- Максимальное количество запросов - Максимальное количество одновременно отправляемых запросов
- Максимальное количество повторов - Максимальное число попыток повтора при ошибках
- Начальная задержка (мс) - Начальная задержка перед повторной попыткой (мс)
- Максимальная задержка (мс) - Максимальная задержка между попытками (мс)
Настройки запуска сохраняются и доступны при задании расписания. Журнал запусков доступен в разделе "Недавние запуски"
Хранение данных
Приложение "Хранение данных" автоматически управляет сроками хранения данных и метаданных, помогая удалять устаревшую и ненужную информацию. Это облегчает соблюдение правил хранения и поддерживает порядок в данных, освобождая место и снижая нагрузку на систему. Пользователю достаточно иметь нужные права доступа для управления этими правилами через раздел Приложений.
Основные параметры настройки очистки
- События изменений - очищает события, которые были сохранены в памяти приложения
- Лента активности - очищает ленту активности пользователей за заданный период
Аналитика данных
Приложение "Анализ данных" — это инструмент, который предоставляет пользователям удобный интерфейс для мониторинга ключевых показателей качества и использования данных в организации. Через приложение можно получать аналитические отчеты с метриками по описанию данных, их классификации, назначению владельцев и активности пользователей. Приложение помогает отслеживать прогресс по достижению целей, улучшать качество данных и повышать вовлеченность команд, используя встроенные KPI и автоматическую рассылку отчетов, при этом работа с ним не требует технических знаний. Пользователи с доступом к интерфейсу могут легко настраивать и просматривать эти отчеты для улучшения управления данными и поддержания высокой культуры работы с данными.
Контракт данных
Приложение Контракт данныхпредназначено для управления и проверки соответствия данных согласованным условиям между производителями и потребителями данных. Оно позволяет пользователям через интерфейс создавать и использовать "контракты данных", которые формализуют ожидания по структуре, качеству и безопасности данных, закрепляя требования в виде наборов правил и тестов. При помощи этого приложения можно автоматически проверять, соответствуют ли новые данные этим правилам, что обеспечивает контроль качества данных и помогает поддерживать доверие к данным в организации. Пользователи с доступом к интерфейсу могут видеть результаты валидации, управлять контрактами и своевременно реагировать на несоответствия без необходимости глубоких технических знаний.
Управление командой и пользователями
Для организации работы пользователей используется иерархическая структура команд, которая позволяет отобразить структуру компании. Поддерживаемая иерархия:
- Организация - это верхний уровень, представляющий всю компанию.
- Бизнес подразделение - уровень ниже организации, может содержать подразделения, департаменты и группы.
- Подразделение - уровень ниже бизнес-единицы, содержит отделы и группы.
- Департамент - может содержать другие департаменты и группы.
- Группа - самый нижний уровень, содержит конкретных пользователей.
Корректное построение иерархии облегчает управление правами и владением ресурсами на разных уровнях.
Контроль доступа
Управление доступом: роли и политики
Для управления доступом используется комбинированная модель контроля доступа.
- Роли определяют набор прав и разрешений.
- Политики связывают роли с пользователями или группами и определяют условия доступа (например, по атрибутам).
Основные блоки настроек прав:
1._Правила Правило — базовый элемент политики, содержащий: - Наименование правила - уникальное название правила. - Описание — пояснение назначения. - Ресурсы — перечень активов (например, таблицы, все активы и т.п.), к которым применяется правило. - Операции — действия, разрешённые или запрещённые для ресурсов (например, редактирование владельца, просмотр). - Условие — логические выражения, использующие функции для проверки ситуации, например: - noOwner() — ресурс без владельца; - isOwner() — пользователь является владельцем ресурса; - matchAllTags(...) — ресурс содержит все указанные теги; - matchAnyTag(...) — ресурс содержит хотя бы один из указанных тегов; - matchTeam() — пользователь входит в команду-владельца ресурса; - hasDomain() — пользователь имеет права на домен ресурса. - Эффект — действие правила: разрешить или запретить операцию.
2._Политики Политика объединяет несколько правил. При запросе пользователя политика проверяет все применимые правила для данного сеанса. В случае конфликтов (один разрешает, другой запрещает) правило запрета имеет приоритет над разрешением. Политики назначаются командам, а не отдельным пользователям; все пользователи в команде наследуют эти политики. Политики наследуются по иерархии команд — политика организации действует на все уровни, политика подразделения — только на подразделения и ниже, и т.д. Так строится согласованное иерархическое управление доступом, где верхний уровень задаёт общие правила, а нижние могут их уточнять.
3._Роли Роли группируют политики. Каждая роль объединяет ряд политик, определяющих права доступа. Роли назначаются командам или отдельным пользователям, которые получают соответствующие права.
Пользовательские свойства
Для всех типов активов данных поддерживается создание пользовательских атрибутов. Это позволит пользователям расширить набор метаданных под свои нужны. Доступен следующий набор пользовательских атрибутов:
Создание
1._Перейдите в Настройки → Пользовательские свойства (Настройки → пользовательские свойства).
2._Выберите тип актива данных, для которого хотите создать пользовательский атрибут.
3._Нажмите Добавить.
4._Заполните необходимые поля:
- Наименование: название свойства (пробелы, точки и подчеркивания не поддерживаются)
- Тип: выберите тип пользовательского атрибута из списка поддерживаемых.
Поддерживаемые типы:- Дата (форматы:
yyyy-MM-dd,dd MMM yyyy,MM/dd/yyyy,dd/MM/yyyy,dd-MM-yyyy,yyyyDDD,d MMMM yyyy) - Дата и время (форматы:
MMM dd HH:mm:ss yyyy,yyyy-MM-dd HH:mm:ss,MM/dd/yyyy HH:mm:ss,dd/MM/yyyy HH:mm:ss,dd-MM-yyyy HH:mm:ss,yyyy-MM-dd HH:mm:ss.SSS,yyyy-MM-dd HH:mm:ss.SSSSSS,dd MMMM yyyy HH:mm:ss) - Длительность
- Ссылка на сущность
- Ссылки на сущности
- Перечисление
- Целое
- Markdown
- Число
- SQL-запрос
- Строка
- Таблица
- Время (форматы:
HH:mm:ss) - Временной интервал
- Метка времени
- Дата (форматы:
- Описание: опишите назначение свойства
5._Нажмите Создать.
После создания пользовательского атрибута для определённого типа актива, вы сможете задавать значения этого атрибута в соответствующей вкладке «Пользовательские атрибуты» в заданном при создании типа актива. Удаление пользовательского атрибута
Окрашивание таблиц в происхождении
Для окрашивания таблиц и их связей в происхождении следует задать соответсвующие настройки в Пользовательских свойствах: "База данных", "Таблицы"
- Создайте атрибут в Настройки-Пользовательские свойства-База данных
- Наименование - "параметры"
- Тип - "строка"
- Описание - собсвенное описание
В соответсвующей базе данных введите значение (json схему)
Схема для добавления в пользовательское свойство Базы данных
{
"table": {
"ui": {
"lineage": {
"border": {
"default": {
"color": {
"rewrite": {
"field": "цветГраницы",
"format": "hex"
}
}
},
"selected": {
"color": {
"rewrite": {
"field": "цветГраницыАктивный",
"format": "hex"
}
}
}
},
"background": {
"default": {
"color": {
"rewrite": {
"field": "цветФона",
"format": "hex"
}
}
},
"selected": {
"color": {
"rewrite": {
"field": "цветФонаАктивный",
"format": "hex"
}
}
}
},
"edge": {
"default": {
"color": {
"rewrite": {
"field": "цветСвязи",
"format": "hex"
}
}
},
"selected": {
"color": {
"rewrite": {
"field": "цветСвязиАктивный",
"format": "hex"
}
}
}
}
}
}
}
}
- Создайте атрибут в Настройки-Пользовательские свойства-Схема базы данных
- Наименование - "параметры"
- Тип - "строка"
- Описание - собсвенное описание
В соответсвующей Схеме базы данных введите значение (json схему)
Схема для добавления в пользовательское свойство Схемы базы данных
{
"$schema": "https://json-schema.org/draft/2020-12/schema",
"type": "object",
"properties": {
"table": {
"type": "object",
"properties": {
"ui": {
"type": "object",
"properties": {
"lineage": {
"type": "object",
"properties": {
"border": {
"type": "object",
"properties": {
"default": {
"type": "object",
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
},
"selected": {
"type": "object",
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
}
}
},
"background": {
"type": "object",
"properties": {
"default": {
"type": "object",
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
},
"selected": {
"type": "object",
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
}
}
},
"edge": {
"type": "object",
"properties": {
"default": {
"type": "object",
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
},
"selected": {
"type": "object",
"unevaluatedProperties": false,
"properties": {
"color": {
"type": "object",
"properties": {
"rewrite": {
"type": "object",
"properties": {
"field": {
"type": "string"
},
"format": {
"type": "string",
"const": "hex"
}
},
"required": [
"field"
]
}
},
"required": [
"rewrite"
]
}
},
"required": [
"color"
]
}
}
}
}
}
},
"required": [
"lineage"
]
}
},
"required": [
"ui"
]
}
},
"required": [
"table"
]
}
- Создайте атрибуты в Настройки-Пользовательские свойства- Таблица, все свойства имеют тип строка
- цветГраницы
- цветГраницыАктивный
- цветФона
- цветФонаАктивный
- цветСвязи
- цветСвязиАктивный
В соответсвующей таблице, где уже заданы свойста для Базы данных и Схем базы данных в представленных полях должен быть доступен выбор цвета. При наличии заданных цветови во вкладке происхождения по указанным параметрам таблица окраситься в выбранный цвет.
После указания всех необходимых параметров в происхождении отобразаятся цвета, заданные в соответсвующей таблице
Боты
ББоты — это системные либо пользовательские учетные записи, которые выполняют автоматизацию различных операций с метаданными, данными и рабочими процессами платформы. Они способны обрабатывать задачи, такие как запуск конвейеров по сбору и обновлению метаданных, управление политиками, валидация данных и многое другое.
Аутентификация ботов в платформе происходит через JWT-токены, которые можно создавать, обновлять и отзывать через интерфейс.
Ключевые системные боты по умолчанию
| Название бота | Назначение |
|---|---|
| Бот метаданных | Запуск сборов данных для синхронизации внешних источников с каталогом |
| Бот авто-классификации | Автоматическое определение и маркировка конфиденциальных данных |
| Бот автозапуска | Управление автоматическими метаданными, действиями и политиками |
| Бот контрактов данных | Валидация договоров на данные, проверка схем и согласованности |
| Бот аналитики | Генерация аналитики по качеству данных, использованию и владельцам |
| Бот хранилища данных | Управление политиками хранения и удалением устаревших данных |
| Бот управления | Автоматизация процессов управления политиками, утверждения и уведомлений |
| Бот происх | Сбор и построение графов происхождения и зависимости данных |
| Бот MCP | Обработка предложений по изменениям метаданных (теги, владельцы) |
| Бот профайлер | Сбор статистики профилирования для мониторинга качества данных |
| Бот SCIM | Синхронизация пользователей и групп через протокол SCIM для управления идентичностями |
| Бот поисковик | Обновление поискового индекса для точного обнаружения метаданных |
| Бот групп тестов | Выполнение тестов качества данных и отслеживание результатов |
| Бот использования | Сбор метрик использования для анализа популярности данных |
Управление ботами из интерфейса
- Можно создавать свои собственные боты с нужными правами и токенами.
- Настройка ботов доступна на странице «Настройки → Боты», где можно:
- создавать новых ботов, заполняя необходимые поля,
- обновлять токены, с возможностью отзыва и генерации новых,
- просматривать и редактировать параметры существующих.