OTUS

Spark Developer

  • Начальный уровень
  • Наставник: Нет
  • Сертификат: Нет
  • Формат: Online
  • Рассрочка: Нет
  • Язык: Русский
  • Осталось мест: не ограничено
Записаться

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.
Для кого этот курс?
  • Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
  • Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным использованием Spark, а вторые с применением Spark в машинном обучении.
Программа обучения
  • Тема 1: Что такое Spark
  • Тема 2: Первые шаги в Scala
  • Тема 3: Дальнейшие шаги в Scala
  • Тема 4: Практика работы со Scala
  • Тема 1: Hadoop, HDFS
  • Тема 2: Spark в Hadoop, YARN
  • Тема 3: Spark в Kubernetes
  • Тема 4: Обзор Hive
  • Тема 5: HiveQL
  • Тема 1: DataFrame
  • Тема 2: Dataset, SparkSQL
  • Тема 3: RDD
  • Тема 4: UDF и UDAF
  • Тема 5: Apache Arrow в PySpark
  • Тема 6: Pandas API
  • Тема 1: Файлы и их форматы
  • Тема 2: Базы данных, Hive
  • Тема 3: Собственный источник данных
  • Тема 4: Structured Streaming
  • Тема 5: Консультация по домашним заданиям
  • Тема 1: Spark ML
  • Тема 2: Работа с графами
  • Тема 3: Тестирование приложений Spark
  • Тема 1: Оркестрация процессов обработки данных
  • Тема 2: Мониторинг Spark приложений
  • Тема 3: Методы оптимизации приложений Spark
  • Тема 1: Выбор темы и организация проектной работы
  • Тема 2: Консультация по проектам и домашним заданиям
  • Тема 3: Защита проектных работ

Преподаватели

  • Вадим Заигрин

    Ведущий консультант

  • Алексей Бедринцев

    Разработчик

  • Валентин Шилин

    Старший программист/аналитик данных

  • Андрей Чучалов

    Старший разработчик службы больших данных