High SQL — ежегодный митап для всех, кто разрабатывает хранилища данных и работает с ними. Эксперты ЮMoney и приглашённый спикер рассказали, как работать с большими объёмами данных.
О чём были доклады
Декомпозиция монолита в DWH
Петр Масляев, программист-эксперт ЮMoney ⓘ
Телеметрия в реальном времени и в экстремальных условиях
Азат Якупов, архитектор данных и машинного обучения ⓘ
SQL Agent Jobs As Code
Антон Белокрылов, ведущий разработчик ЮMoney ⓘ
Декомпозиция монолита в DWH — Петр Масляев, программист-эксперт ЮMoney
На опыте ЮMoney рассказали, когда стоит делить огромную базу на множество мелких компонент и как это правильно делать.
00:00 — О спикере 02:26 — О чём пойдёт речь 02:49 — Стек технологий 03:37 — Как появился и развивался монолит 05:16 — Преимущества монолита 05:55 — Проблемы эксплуатации монолита и как их решить 09:49 — Когда данных стало очень много 15:58 — Проблемы заказчиков 22:32 — Новые проблемы: как создать 50+ новых компонентов 24:50 — Итоги и выводы
Телеметрия в реальном времени и в экстремальных условиях — Азат Якупов, архитектор данных и машинного обучения
Обсудили архитектуру отправки данных Batch-способом и переход на Clickhouse. А ещё узнали про миграцию данных из MySQL и их жизненный цикл в рамках Data Governance.
00:00 — О спикере 01:20 — Как можно разложить слои данных 04:20 — Пример слияния цифровой платформы и искусственного интеллекта 08:07 — Шаблон для архитектуры данных 10:57 — Дизайн № 1: современное решение по BI-системам 11:47 — Дизайн № 2: обработка данных в реальном времени 13:26 — Общий шаблон для архитектуры ИИ/ML 14:43 — Дизайн № 3: создание цифрового сервиса, основанного на ИИ 15:01 — Строим цифровую платформу 38:30 — Возвращаемся к ClickHouse 46:30 — Рекомендации книг по теме доклада
SQL Agent Jobs As Code — Антон Белокрылов, ведущий разработчик ЮMoney
Рассказали про подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server — как это упрощает подготовку релизов и открывает неочевидные возможности.
00:00 — О спикере 01:08 — О чём будет доклад 02:20 — SQL Server Agent 10:07 — Использования JSON 13:58 — Проверка с помощью скриптов 16:15 — Как быть с сотнями строчек SQL-кода 21:03 — Облегчаем понимание происходящего 23:35 — К кому обратиться, если возникли проблемы 28:37 — Выводы