High SQL — ежегодная конференция для всех, кто разрабатывает хранилища данных и работает с ними. Спикеры ЮMoney и приглашённый эксперт Дмитрий Аношин расскажут, как строят и развивают базы данных.
О чём были доклады
Качество данных: от осознания до реализации — Михаил Пищаев, старший разработчик ЮMoney
Рассказали, как в ЮMoney построили систему контроля качества и с какими ошибками столкнулись на пути. А ещё рассмотрели итоговую архитектуру.
00:00 — О спикере и докладе
02:17 — Причины
04:13 — Эволюция проверок качества данных
07:12 — Как мы создавали систему качества данных
11:58 — Кто владелец данных?
17:32 — Путь к созданию системы
22:32 — Результаты проверок в дата-каталоге Amundsen
24:37 — Итоги
02:17 — Причины
04:13 — Эволюция проверок качества данных
07:12 — Как мы создавали систему качества данных
11:58 — Кто владелец данных?
17:32 — Путь к созданию системы
22:32 — Результаты проверок в дата-каталоге Amundsen
24:37 — Итоги
Обзор фреймворка DBT и примеры его использования — Дмитрий Аношин, автор Telegram-канала «Инжиниринг Данных»
Рассмотрели фреймворк DBT со всех сторон: причины его популярности, возможности и альтернативы. Обсудили гипотетический пример миграции с SSIS на DBT — с плюсами и минусами.
00:00 — О спикере
02:45 — Из чего состоит аналитическое решение?
05:44 — Какие атрибуты хорошо иметь?
10:34 — dbt (Data Base Tool). Это что такое и почему это так популярно?
16:25 — А что делает SSIS?
35:30 — dbt фичи
02:45 — Из чего состоит аналитическое решение?
05:44 — Какие атрибуты хорошо иметь?
10:34 — dbt (Data Base Tool). Это что такое и почему это так популярно?
16:25 — А что делает SSIS?
35:30 — dbt фичи
101 Performance Tuning: невредные советы — Илья Косарев, разработчик ЮMoney
На опыте ЮMoney проверили самые популярные советы по оптимизации хранилищ на основе реляционных баз данных.
00:00 — О спикере и докладе
02:29 — Как выбрать Primary Key?
06:34 — Сложность сравнения GUID
09:57 — Всегда ли нужен Primary Key?
17:58 — Что лучше СТЕ или временная таблица?
21:50 — Загрузка больших данных с использованием временных таблиц
24:23 — Можно ли отслеживать изменения без триггеров?
28:07 — Что делать со старыми данными?
31:37 — Итог
02:29 — Как выбрать Primary Key?
06:34 — Сложность сравнения GUID
09:57 — Всегда ли нужен Primary Key?
17:58 — Что лучше СТЕ или временная таблица?
21:50 — Загрузка больших данных с использованием временных таблиц
24:23 — Можно ли отслеживать изменения без триггеров?
28:07 — Что делать со старыми данными?
31:37 — Итог