Хранилище данных можно воспринимать как слой абстракции между сущностями в IT-системах и бизнес-сущностями. Чтобы процесс поступления данных в хранилище был безболезненным, необходимы соглашения о том, как компания хранит данных в системах источниках. Наш опыт говорит о том, что правильно сформулированные требования могут значительно сократить время на создание хранилища данных.

Классические системы хранения данных выстраиваются так, что обрабатывают данные раз в сутки. Для конечных пользователей это означает, что они видят результаты работы на следующее утро. Мы наблюдаем, что всё больше компаний стараются наблюдать ситуацию с меньшей задержкой. Некоторым из них достаточно задержки в 1 час, в то время как другие хотят иметь возможность мониторить ситуацию в реальном времени. Данные требования крайне важно продумать в самом начале.

Внутри себя хранилище данных представляет сложную структуру. Обычно, внутри существует как минимум 3 выделенных слоя. "Сырой" слой отвечает за потребление данных из систем источников, которыми могут быть реляционные базы данных, потоки данных или таблицы в электронных документах. "Детальный" слой необходим для Data инженеров, чтобы сделать их работу удобной. На слое витрин создаются бизнес-сущности для конечных пользователей.

Многие наши клиенты имеют очень сложные системы управления доступом к данным. 2 самых распространённых случая чувствительных данных включают в себя персональные данные и данные финансовые. Правильно спроектированное хранилище данных имеет простой и эффектинвый подход к внедрению разнообразных политик доступа.