Открытое образование

Обработка больших данных

Начальный уровень
Наставник: Нет
Сертификат: Есть
Формат: Online
Рассрочка: Нет
Язык: Русский
Осталось мест: не ограничено

1 месяц

Записаться

Вы будете перенаправлены на сайт партнера.

Открытое образование

Обработка больших данных

Организатор курса: НИУ ВШЭ

На этом онлайн-курсе мы изучим основные технологии и приемы, позволяющие эффективно хранить и обрабатывать массивы информации.

Программа обучения

1. Базовые подходы к хранению и извлечению информации

На этой неделе мы познакомимся с SQL и NoSQL базами данных и извлечением информации из Интернета. Ведь большие данные откуда-то нужно брать.
2. Bash для инженера данных

На этой неделе мы научимся работать с командной строкой в bash. Это очень полезное умение, которое пригодится на протяжении всего курса.
3. Начало работы с большим объемом данных: Hadoop, MapReduce

В этом модуле разберемся, как устроены два важных компонента экосистемы Hadoop: файловая система HDFS и API для вычислений MapReduce. Посмотрим, почему они устроены именно так и почему горизонтальная масштабируемость – это хорошо.
4.Знакомство со Spark

На этой неделе разберем фреймворк для распределенных вычислений Spark. С ним сильно проще работать из Python и он умеет много всего.
5. Продвинутое использование Spark

На этой неделе на примере задачи классификации текстов посмотрим, что еще умеет Spark и как это помогает решать задачи машинного обучения.

Знания и навыки, которые приобретете

Information Engineering
System Administration
Python Programming
Big Data
Data Mining

Тэги