Нетология

Дата-инженер с нуля до middle

  • Начальный уровень
  • Наставник: Нет
  • Сертификат: Нет
  • Формат: Online
  • Рассрочка: Нет
  • Язык: Русский
  • Осталось мест: Неограничено
Записаться

Дата-инженер с нуля до middle

: «Слишком часто люди обращаются к Data Scientist и игнорируют тот факт, что для для успешной работы с данными необходима эффективная платформа. Главный навык инженеров данных – создавать условия для хранения и организации полезных данных». Рон Бодкин, генеральный директор Think Big Analytic

Для кого этот курс?
  • Yandex.Cloud
    Облачная платформа, где каждый может создавать и совершенствовать свои цифровые сервисы, используя инфраструктуру и уникальные технологии Яндекса. Студенты Нетологии получат возможность бесплатно использовать мощности платформы Yandex.Cloud в течение всего периода обучения
Программа обучения
SQL и получение данных
  • Основы баз данных
  • Работа с базами данных
  • Основы SQL
  • Продвинутый SQL
  • Углубление в SQL
  • Работа с PostgreSQL
  • Работа с MongoDB
SQL PRO
  • Командная строка. DCL и TCL
  • Хранимые процедуры и триггеры событий
  • Зависимости. Нормализация. Денормализация
  • Основы проектирования: архитектурные модели, модели данных
  • Масштабирование функций
  • Дополнительные модули и расширения PostgreSQL
  • Интеграция: API, Redis
Data Warehouse
  • Введение в хранилища данных
  • Проектирование хранилища данных
  • Знакомство с Pentaho
  • Pentaho как инструмент ETL
  • ETL-pro
  • Общие рекомендации по разработки ETL
  • Смежные темы
  • DWH в облаке
Business Intelligence решения и многомерная модель данных
  • BI как сердце аналитики
  • Многомерные модели
  • Real-time отчётность
  • Современные подходы
Python
  • Основы Python
  • Введение в анализ данных на Python
  • Библиотека NumPy: вычислительные задачи
  • Предобработка данных
  • Библиотека Pandas: обзор возможностей и базовые операции
Data Lake & Hadoop
  • Основы Hadoop
  • HDFS
  • MapReduce
  • MapReduce 2
  • Yarn
  • Pig & Hive
  • HBase & Cassandra
  • Кластер. Управление и администрирование
Продвинутые методы работы с данными
  • Apache Spark
  • Работа со Spark
  • Spark SQL
  • Продвинутый Spark
  • Airflow
  • Работа с Airflow
  • Продвинутый Airflow
  • Data Build Tool как инструмент ETL
Работа с потоковыми данными
  • Устройство Clickhouse и загрузка данных в корпоративное хранилище
  • Устройство Kafka и работа с кластером
  • Конфигурация Kafka Streams
  • Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
  • Spark Streaming: характеристики и особенности использования
  • Создание простого приложения на Spark Structure Streaming + Kafka
Работа с данными в облаке
  • Google Cloud Platform — хранение данных
  • Spark в GCP
  • Managed ETL в GCP
  • Обработка real-time данных в GCP
  • Поиск инсайтов в данных при помощи ML
  • Другие облачные провайдеры
Введение в DS & ML
  • Введение в машинное обучение
  • Задача классификации
  • Задача кластеризации
  • Ансамблевые методы решения задачи классификации
  • Feature engineering
MLOps
  • Зачем нужен DevOps
  • Docker и микросервисная архитектура
  • K8S
  • Оркестраторы
  • CI/CD
  • Мониторинг
  • Инструменты DevOps для обучения ML-моделей
  • Deploy ML-моделей
Английский язык для начинающих инженеров
  • Лексика, без которой не обойтись IT-специалисту
  • Как вести переписку на английском
  • Чтение документации и анализ требований
  • Программирование
  • Стрессовые ситуации
  • Работа и роли в команде
  • Как поддержать любую беседу на английском
  • Собрания, презентации
Карьерное планирование
  • Создание резюме: как поменять сферу, используя опыт предыдущих компаний
  • Отработка навыков написания резюме
  • Карьерное консультирование
Дипломный проект
Знания и навыки, которые приобретете
  • Системным и сетевым администраторам : Сможете масштабировать инфраструктуру, выбирать из множества разных специфических инструментов, внедрять в продакшн решения коллег
  • Backend и Fullstack-разработчикам : Сможете вырасти в деньгах и получить интересные задачи. Станете незаменимым сотрудником, погрузитесь в ключевой продукт и его метрики
  • Новичкам, желающим войти в сферу Data Science : Сможете влиться в новую сферу и приобрести базу, с которой можно постоянно развиваться — в любых компаниях и продуктах

Преподаватели

  • Александр Крылов

  • Вадим Заигрин

    Ведущий эксперт по технологиям, Сбербанк

    Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.Образование: МИЭМ, специальность: прикладная математика.Otus Certified Educator Руководитель программы

  • Алексей Кузьмин

    Директор разработки и руководитель Data Science и работы с данными, «ДомКлик»

  • Константин Башевой

    Аналитик-разработчик, Яндекс

  • Николай Хащанов

    Fullstack Developer, Aurora Group

  • Дмитрий Турченков

    IT Cluster Lead, Сбер Преподаёт «Продвинутые методы работы с данными», «Работа с потоковыми данными»

  • Андрей Серебрянский

    Big Data Engineer, Vivid Money Преподаёт «Работу с потоковыми данными»

  • Сергей Виноградов

    Архитектор, SberCloud MLSpace Преподаёт «Работу с данными в облаке»

  • Павел Саяпин

    Team Lead, «Профи» Преподаёт Data Warehouse

  • Максим Золотарёв

    Senior Data Engineer, Tabby Преподаёт «Продвинутые методы работы с данными»

  • Дарья Буланова

    Senior Data Engineer, Dodo Brands Преподаёт «Продвинутые методы работы с данными»

  • Андрей Макеев

    Бизнес-архитектор, «Комус» Преподаёт «Выбор и подключение Business Intelligence-решений»

  • Ольга Титова

    Старший аналитик, GlowByte Consulting Преподаёт «Выбор и подключение Business Intelligence-решений»

  • Алёна Парамонова

    Старший бизнес-аналитик, GlowByte Consulting Преподаёт «Выбор и подключение Business Intelligence-решений»