High SQL — ежегодная конференция для всех, кто разрабатывает хранилища данных и работает с ними. Спикеры ЮMoney и приглашённый эксперт Дмитрий Аношин расскажут, как строят и развивают базы данных.
О чём были доклады
Качество данных: от осознания до реализации
Михаил Пищаев, старший разработчик ЮMoney ⓘ
Обзор фреймворка DBT и примеры его использования
Дмитрий Аношин, автор Telegram-канала «Инжиниринг Данных» ⓘ
00:00 — О спикере и докладе 02:17 — Причины 04:13 — Эволюция проверок качества данных 07:12 — Как мы создавали систему качества данных 11:58 — Кто владелец данных? 17:32 — Путь к созданию системы 22:32 — Результаты проверок в дата-каталоге Amundsen 24:37 — Итоги
Обзор фреймворка DBT и примеры его использования — Дмитрий Аношин, автор Telegram-канала «Инжиниринг Данных»
Рассмотрели фреймворк DBT со всех сторон: причины его популярности, возможности и альтернативы. Обсудили гипотетический пример миграции с SSIS на DBT — с плюсами и минусами.
00:00 — О спикере 02:45 — Из чего состоит аналитическое решение? 05:44 — Какие атрибуты хорошо иметь? 10:34 — dbt (Data Base Tool). Это что такое и почему это так популярно? 16:25 — А что делает SSIS? 35:30 — dbt фичи
00:00 — О спикере и докладе 02:29 — Как выбрать Primary Key? 06:34 — Сложность сравнения GUID 09:57 — Всегда ли нужен Primary Key? 17:58 — Что лучше СТЕ или временная таблица? 21:50 — Загрузка больших данных с использованием временных таблиц 24:23 — Можно ли отслеживать изменения без триггеров? 28:07 — Что делать со старыми данными? 31:37 — Итог