Круговорот данных в системах
Оригинальный пост (https://t.me/whrdata/72), нояб. 2020
3 года прошло с публикации оригинального поста, а я до сих пор встречаю в выступлениях HR на конференциях путаницу в терминах «озеро данных», «хранилище данных».
Да и, в целом, с течением времени, появляются новые термины и интерпретации, так что обновить будет не лишним. В обновлении инфо мне помогла моя коллега, Татьяна, эксперт по всему, что касается работы с данными в промышленных масштабах и автор канала Data Governance для чайников. (https://t.me/datagovernance4all)
Итак,
Сейчас принято говорить про слои данных. Каждый под определенные бизнес-потребности.
Источники данных, или Операционный Слой.
Тут ввод и обработка данных в целях поддержания непрерывной деятельности компании, например, данные по кадровым операциям из CoreHR системы, по процессу подбора из ATS, по обучению из LMS и т.п.
Озеро данных, или
Слой сырых данных.
Слой предназначен для сбора и хранения больших объемов данных из различных систем, с минимальной предобработкой перед загрузкой в хранилища.
Хранилище данных, или
Слой детальных данных (DDS), который является ядром хранилища. Сюда могут попадать не все данные из озера, а «подниматься» только необходимые для решения аналитических и стратегических задач. Все данные рассортированы по дата-доменам, нормализованы (https://t.me/whrdata/303), т.е. разобраны и разложены по сущностям (https://t.me/whrdata/141) с указанием связей между ними, например, «физлицо», «должности», «назначения», «документы» и т.п.
Данные в хранилище можно легко и быстро найти, они доступны для дальнейшего использования.
Витрины данных, или
Аналитический слой (EM- Enterprise Marts). Тут собираются основные данные, потребляемые бизнес-пользователям. Как правило разделяют слой EM по бизнес-доменам: 1 витрина — 1 бизнес-домен.
Дашборды, это
пользовательские витрины. Собираются под конкретную задачу. Тут снова данные собраны по отдельным направлениям, как в источнике 🙈, только они прошли через 3 круга ада слоя, и теперь чистые, нормализованные, единые для всей компании. Главное тут не начать их обрабатывать заново 🙈
