Мигрируем в PostgreSQL, тестируем OLAP-кубы и разбираемся с валидацией T-SQL-кода: три доклада с митапа ЮMoney
В#nbsp;конце апреля мы#nbsp;провели очередной онлайн-митап High SQL, который посвятили работе с#nbsp;данными в#nbsp;DWH на#nbsp;Microsoft SQL Server. Было три докладчика: два эксперта из#nbsp;ЮMoney и#nbsp;один#nbsp;— из#nbsp;компании Monopoly.Online. Полтора часа полезной информации для разработчиков, тестировщиков и#nbsp;дата-инженеров прошли незаметно#nbsp;— обязательно повторим в#nbsp;следующем году.
В#nbsp;своём докладе делюсь опытом, который мы#nbsp;получили за#nbsp;три года миграции наших приложений из#nbsp;MS SQL в#nbsp;PostgreSQL. После того, как мы#nbsp;прошли этот путь на#nbsp;примере трёх больших приложений, все новые мы#nbsp;пишем только на#nbsp;PostgreSQL. Мы#nbsp;смогли выработать стратегию разработки и#nbsp;поддержки, которая по#nbsp;удобству, в#nbsp;случае с#nbsp;PostgreSQL, ничуть не#nbsp;отличается от#nbsp;MS SQL.
01:28#nbsp;— Стоимость владения и#nbsp;масштабирования коммерческих проприетарных решений: когда софт в#nbsp;разы дороже железа 06:17#nbsp;— Инструменты для работы с#nbsp;PostgreSQL: Azure Data Studio и#nbsp;DBeaver Community 09:14#nbsp;— Инструменты мониторинга: PGWatch is#nbsp;a#nbsp;next-generation PostgreSQL monitoring tool 13:39#nbsp;— Разница в#nbsp;типах данных между PostgreSQL и#nbsp;MS SQL 22:26#nbsp;— Разница в#nbsp;синтаксисе запросов 27:57#nbsp;— Инструменты для миграции схемы и#nbsp;запросов: AWS Babelfish и#nbsp;AWS SCT (Schema Conversion Tool) 34:23#nbsp;— Миграция средствами#nbsp;EF Core 41:37#nbsp;— Инструменты для репликации данных 45:44#nbsp;— Оптимизация запросов и#nbsp;результаты нагрузочного тестирования 47:22#nbsp;— Топ-3 совета по#nbsp;миграции на#nbsp;PostgreSQL
Валидация T-SQL-кода#nbsp;— Артём Коршунов, программист, департамент аналитических решений ЮMoney
Когда в#nbsp;команде много разработчиков и#nbsp;они пишут много кода, встроенных валидаций для проверки этого кода может быть недостаточно. Из-за этого во#nbsp;время ревью могут возникать проблемы, например при описании таблицы, с#nbsp;порядком сортировки строк или при переключении раскладки клавиатуры, когда русские буквы используются вместо английских и#nbsp;наоборот. В#nbsp;моём докладе подробно разберём эти проблемы и#nbsp;выберем парсер транзакции T-SQL-кода, чтобы автоматизировать валидацию и#nbsp;инструменты.
01:36#nbsp;— Инструменты BI 08:58#nbsp;— Что не#nbsp;проверить встроенным валидатором и#nbsp;какие проблемы встречаются при ревью кода 15:26#nbsp;— Как мы#nbsp;исправляли эти проблемы и#nbsp;выбирали парсер T-SQL: ANTLR vs#nbsp;DacFx 18:01#nbsp;— Разрабатываем анализатор 26:08#nbsp;— Что такое объектная модель 29:13#nbsp;— Итоги и#nbsp;возможные пути развития 30:50#nbsp;— Вывод: использовать DacFx или нет
Автотесты для OLAP-кубов#nbsp;— Елена Сухих, старший разработчик департамента аналитических решений ЮMoney
Представьте себе солнечный день. За#nbsp;большим столом собрались топ-менеджеры, чтобы провести стратегическое планирование по#nbsp;результатам прошлых периодов. Чтобы показать прогресс, докладчик на#nbsp;большом экране открывает куб, а#nbsp;данных нет… Примерно так началась история тестирования OLAP-кубов в#nbsp;ЮMoney. И#nbsp;хорошо, что началась, ведь вот к#nbsp;чему мы#nbsp;пришли:
Стало на#nbsp;47% меньше ошибок при выкладке релизов.
На#nbsp;38% уменьшилось количество обращений к#nbsp;админам по#nbsp;проблемам с#nbsp;OLAP-кубами.
01:11#nbsp;— Немного обо мне и#nbsp;моём опыте 02:41#nbsp;— Проверяем, насколько редко команды тестируют OLAP-кубы: общение со#nbsp;зрителями в#nbsp;чате 04:00#nbsp;— Как ЮMoney пришли к#nbsp;необходимости тестировать OLAP-кубы и#nbsp;что может пойти не#nbsp;так 05:51#nbsp;— С#nbsp;чем мы#nbsp;подошли к#nbsp;началу тестирования OLAP-кубов и#nbsp;что уже было реализовано 08:56#nbsp;— Что нам нужно было реализовать к#nbsp;началу тестирования OLAP-кубов 09:42#nbsp;— Проблемы и#nbsp;решения 16:38#nbsp;— Автотесты на#nbsp;бизнес-логику силами разработчика 17:21#nbsp;— Автотесты на#nbsp;бизнес-логику силами QA 18:39#nbsp;— Как выглядит текущая схема тестирования OLAP-кубов 20:08#nbsp;— Результаты внедрения тестирования OLAP-кубов 21:22#nbsp;— Выводы