High SQL — ежегодный митап для всех, кто разрабатывает хранилища данных и работает с ними. Эксперты ЮMoney и приглашённый спикер рассказали, как работать с большими объёмами данных.
О чём были доклады
Декомпозиция монолита в DWH — Петр Масляев, программист-эксперт ЮMoney
На опыте ЮMoney рассказали, когда стоит делить огромную базу на множество мелких компонент и как это правильно делать.
00:00 — О спикере
02:26 — О чём пойдёт речь
02:49 — Стек технологий
03:37 — Как появился и развивался монолит
05:16 — Преимущества монолита
05:55 — Проблемы эксплуатации монолита и как их решить
09:49 — Когда данных стало очень много
15:58 — Проблемы заказчиков
22:32 — Новые проблемы: как создать 50+ новых компонентов
24:50 — Итоги и выводы
02:26 — О чём пойдёт речь
02:49 — Стек технологий
03:37 — Как появился и развивался монолит
05:16 — Преимущества монолита
05:55 — Проблемы эксплуатации монолита и как их решить
09:49 — Когда данных стало очень много
15:58 — Проблемы заказчиков
22:32 — Новые проблемы: как создать 50+ новых компонентов
24:50 — Итоги и выводы
Телеметрия в реальном времени и в экстремальных условиях — Азат Якупов, архитектор данных и машинного обучения
Обсудили архитектуру отправки данных Batch-способом и переход на Clickhouse. А ещё узнали про миграцию данных из MySQL и их жизненный цикл в рамках Data Governance.
00:00 — О спикере
01:20 — Как можно разложить слои данных
04:20 — Пример слияния цифровой платформы и искусственного интеллекта
08:07 — Шаблон для архитектуры данных
10:57 — Дизайн № 1: современное решение по BI-системам
11:47 — Дизайн № 2: обработка данных в реальном времени
13:26 — Общий шаблон для архитектуры ИИ/ML
14:43 — Дизайн № 3: создание цифрового сервиса, основанного на ИИ
15:01 — Строим цифровую платформу
38:30 — Возвращаемся к ClickHouse
46:30 — Рекомендации книг по теме доклада
01:20 — Как можно разложить слои данных
04:20 — Пример слияния цифровой платформы и искусственного интеллекта
08:07 — Шаблон для архитектуры данных
10:57 — Дизайн № 1: современное решение по BI-системам
11:47 — Дизайн № 2: обработка данных в реальном времени
13:26 — Общий шаблон для архитектуры ИИ/ML
14:43 — Дизайн № 3: создание цифрового сервиса, основанного на ИИ
15:01 — Строим цифровую платформу
38:30 — Возвращаемся к ClickHouse
46:30 — Рекомендации книг по теме доклада
SQL Agent Jobs As Code — Антон Белокрылов, ведущий разработчик ЮMoney
Рассказали про подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server — как это упрощает подготовку релизов и открывает неочевидные возможности.
00:00 — О спикере
01:08 — О чём будет доклад
02:20 — SQL Server Agent
10:07 — Использования JSON
13:58 — Проверка с помощью скриптов
16:15 — Как быть с сотнями строчек SQL-кода
21:03 — Облегчаем понимание происходящего
23:35 — К кому обратиться, если возникли проблемы
28:37 — Выводы
01:08 — О чём будет доклад
02:20 — SQL Server Agent
10:07 — Использования JSON
13:58 — Проверка с помощью скриптов
16:15 — Как быть с сотнями строчек SQL-кода
21:03 — Облегчаем понимание происходящего
23:35 — К кому обратиться, если возникли проблемы
28:37 — Выводы