Постер курса

OTUS

Data Warehouse Analyst

  • Продвинутый уровень
  • Наставник: Есть
  • Сертификат: Есть
  • Формат: Online
  • Рассрочка: Нет
  • Язык: Русский
  • Осталось мест: Неограничено
Записаться

Data Warehouse Analyst

Что даст вам этот курс


Аналитические приложения сегодня строятся на стыке инженерных практик (Software/Data Engineering), понимании специфики продуктов и бизнеса (Data/Business Analysis), быстрой и качественной поставки сервисов (DevOps).

Курс ставит своей целью научить слушателей собирать полноценные end-to-end аналитические решения с использованием самых актуальных и востребованных инструментов.

Материал будет изучаться как вглубь (например, принципы функционирования аналитических СУБД), так и вширь (сравнение инструментов, анализ сильных и слабых сторон решений).

Что нового я смогу узнать?


Для ролей Data Scientist, Data Analyst, Product Analyst:

– Принципы работы аналитических СУБД и построение ELT-pipelines
– Использование лучших практик моделирования хранилищ данных и витрин
– Применение правильных архитектурных паттернов при построении решений

Для ролей Data Engineer, Backend Developer, DBA, System Administrator:

– Практики построения end-to-end аналитических решений
– Прикладные навыки визуализации, дашбординга, BI
– Фокус на создании ценности для бизнеса

В рамках курса будут рассмотрены:


– Навыки построения ELT-pipelines: Airflow, Nifi, Stitch
– Принципы работы аналитических СУБД: Redshift, Greenplum, Clickhouse
– Лучшие практики моделирования данных: dbt, Data Vault
– Визуализация и BI: Metabase, Superset, DataLens
– Продвинутая аналитика: KPI, Funnels, Marketing Attribution, Cohort, RFM
– DevOps-практики: Continuous Integration, Github Actions

Ссылка на подробную программу курса


Выпускной проект


Выпускной проект будет состоять из следующих этапов:– Сформулировать цель аналитического приложения, business value– Представить архитектуру ресурсов и компонентов системы– Классифицировать источники данных, регулярность загрузки, форматы данных и структуру– Смоделировать Хранилища Данных– Развернуть BI-инструмент– Визуализировать данные в наглядном и понятном виде на дашбордах– Сделать несколько интересных выводов– * Опубликовать результаты работы на Хабр/…, выложить код на GithubТемы на выбор (+ есть возможность заявить собственную):– Social media / Telegram channels / Twitter analysis– Open Data: Covid, Taxi trips, Kaggle, ...– Web analysis: crawling, parsing, analysing websites– Marketing analytics: performance + attribution

Процесс обучения


Все обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в слаке курса, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары идут дважды в неделю по 2 академических часа (то есть астрономических 1,5 часа). Все вебинары сохраняются и в записи в вашем личном кабинете.

Домашнее задание выдается в среднем раз в 2 недели, а его выполнение занимает 3-5 часов. Мы горячо призываем заниматься такой самостоятельной работой, так как это поможет вам качественно освоить все изучаемые технологии на практике с поддержкой и обратной связью наших преподавателей.

Возникающие вопросы по материалам лекций, домашним заданиям и по выпускному проекту вы сможете задавать преподавателю в слаке или во время вебинаров.

Курс длится 3 месяца, а финальный отводится для выполнения проектной работы, досдачи домашних заданий и вопросов преподавателям.

Выполнение проектной работы помогает усвоению практических навыков, а тема проекта отдельно выносится в сертификат. Во время работы над проектом студенты получают консультации и обратную связь от преподавателей в слаке группы и на проектных занятиях.
Программа обучения
ELT: Структура и типы источников данных
  • Тема 1. Источники данных: классификация и особенности
  • Тема 2. Инструменты для выгрузки данных
  • Тема 3. Инструменты для выгрузки данных
DWH Basics
  • Тема 4. Принципы построения DWH
  • Тема 5. Аналитические движки (СУБД) для работы с данными
  • Тема 6. Разбор ДЗ – Выгрузка данных веб-счетчика
  • Тема 7. Знакомство с Data Build Tool
  • Тема 8. DBT: Analytics Engineering
DWH Intermediate
  • Тема 9. Оркестрация скриптов и задач – 1
  • Тема 10. Оркестрация скриптов и задач – 2
  • Тема 11. Data Quality
  • Тема 12. Вопросы оптимизации производительности
  • Тема 13. Разбор ДЗ – Конфигурирование и запуск проекта dbt
  • Тема 14. Data Vault – 1
  • Тема 15. Разбор ДЗ – Подготовка и установка на расписание DAG выгрузки данных из источников
  • Тема 16. Data Vault – 2
  • Тема 17. Data Vault – 3
Business Intelligence
  • Тема 18. BI: Обзор
  • Тема 19. BI: Deployment
  • Тема 20. BI: Modeling & Delivering
  • Тема 21. Разбор ДЗ – Организация детального слоя DWH по методологии Data Vault
  • Тема 22. Analytics: Базовые аналитические витрины
  • Тема 23. BI: Углубленные вопросы
  • Тема 24. Разбор ДЗ – Конфигурация и развертывание BI-решения
  • Тема 25. Analytics: Продвинутые аналитические витрины
DWH Advanced topics
  • Тема 26. DWH: Advanced topics
  • Тема 27. DBT: Extending with modules
  • Тема 28. DWH: Monitoring + Workload management
  • Тема 29. Разбор ДЗ – Визуализация и дашбординг для аналитических витрин
  • Тема 30. DWH: External + Semi-structured data
  • Тема 31. DWH: Reverse-ETL
  • Тема 32. DWH: Machine Learning capabilities
Recap
  • Тема 33. Разбор кейса: end-to-end solution
  • Тема 34. Разбор ДЗ – Advanced DWH: Configuring CI, dbt modules, External tables
  • Тема 35. Дальнейшее развитие навыков
Проектная работа
  • Тема 36. Выбор темы и организация проектной работы
  • Тема 37. Защита проектных работ
Что нужно знать?
  • SQL: аналитические функции, CTE; Знакомство с принципами работы СУБД; Базовые навыки программирования на Python, виртуальные окружения; Базовые знания Docker
Знания и навыки, которые приобретете
  • Получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты)
  • Образцы кода
  • Собственный проект, который можно будет показывать при трудоустройстве
  • Сертификат о прохождении обучения
  • Заберете с собой:
  • Основные и дополнительные материалы, и видеозаписи занятий
Партнеры

Преподаватели

  • Артемий Козырь

    Analytics Engineer, Wheely

    7+ лет опыта в области Хранилищ Данных, ELT pipelines, Анализа данных и визуализации.Опыт работы над сервисами в компаниях Wheely, Sber, Moscow Exchange, PwC.Сферы интересов: Data Modeling, Advanced analytics, Marketing Attribution, Data Quality, DevOps.Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.Blogging: Technology Enthusiast and Habr2+ года веду занятия в ОТУС: Data Engineer, Hadoop Ecosystem, DWH Analyst Преподаватель

  • Максим Мигутин

    Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета Преподаватель

  • Никита Баканчев

    Senior Data Engineer, iGaming

    Более 7 лет опыта разработки и проектирования хранилищ данных в российских и одном европейском топ-банках. Работал на позициях как разработчика и аналитика, так и тимлида команды DWH, архитектора DWH. Академический опыт: 6 лет преподавания годичного курса “Базы данных” в МИРЭА для бакалавров. Также готовил студентов для получения как степени бакалавра, так и магистра. На данный момент Senior Data Engineer в эстонском iGaming стартапе.Интересы: все что связано с обработкой данных, в особенности, Modern Data Stack

  • Алексей Железной

    Data Engineer, Wildberries

    Выпускник Воронежского Государственного университета с отличием. Сейчас - студент магистратуры ВШЭ "Системная и программная инженерия". Профессиональный опыт - 2 года работы в качестве Data Analyst и Data Engineer. Сейчас работает с 5 популярными базами данных, разрабатывает на Python и стремительно развивает свои навыки. Готов делиться опытом.