Платформа управления данными — сердце нашего хранилища, которое несёт данные от множества различных источников к потребителям и включает в себя разнообразные технологии: от MapReduce до Flink, от Spark до распределённых аналитических баз данных. Нам нужно стремиться к совершенному коду, проектировать и оптимизировать тяжёлые расчёты, прорабатывать сложные алгоритмы и готовить инструментарий для сотен пользователей, включая инженеров данных, ETL-разработчиков, системных аналитиков.

Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы в Яндекс Go пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов. Так родился подход highly Normalized hybrid Model, наш подход к организации детального слоя.