Вводный модуль, посвященный повторению основных методов работы с данными в Python и работе с текстами. В модуле также рассмотрены методы парсинга данных и методы работы с регулярными выражениями — необходимые навыки в NLP.

Тема 1: Введение в NLP

Тема 2: Recap python/ data analysis/ визуализации

Тема 3: Работа со строками + регулярные выражения

Тема 4: Парсинг данных

Вводный модуль по Deep Learning. Данный модуль дает общее представление о нейронных сетях, фокусируясь на методах и архитектурах, востребованных в NLP.

Тема 1: Введение в нейросети

Тема 2: Градиентный спуск и backpropagation

Тема 3: PyTorch. Часть 1

Тема 4: PyTorch. Часть 2

Тема 5: Рекуррентные сети. Часть 1

Тема 6: Рекуррентные сети. Часть 2

Модуль посвящен традиционным подходам в обработке естественного языка. В нем рассматриваются ключевые этапы предобработки текстовых данных, различные способы представления слов в векторном пространстве, а также классические рекуррентные нейросетевые архитектуры, включая RNN и seq2seq, используемые для задач машинного перевода и генерации текста.

Тема 1: Предобработка данных и векторные представления слов

Тема 2: Понятие языковой модели, RNN для работы с текстом

Тема 3: Машинный перевод и seq2seq

Модуль посвящен современным трансформерным моделям и их применению в NLP. В нем изучаются архитектура Transformer, механизмы transfer learning, модель BERT и работа с предобученными языковыми моделями. Рассматриваются задачи именованного распознавания сущностей (NER), генеративные языковые модели, а также подходы к промптингу и использование LLM в диалоговых системах.

Тема 1: Архитектура Transformer

Тема 2: Transfer learning; BERT model

Тема 3: Работа с предобученными языковыми моделями. Задача NER

Тема 4: Генеративные языковые модели и энкодер-декодер архитектуры

Тема 5: Towards ChatGPT

Тема 6: Теория промптинга LLM

Тема 7: Q&A

В модуле рассмотрены дополнительные вопросы из области NLP, выходящие за рамки основной программы: распределенные вычисления, вопросы оценки языковых моделей, тематическое моделирование. На практике будет рассмотрено, как создавать телеграмм-ботов и встраивать в них обученные модели.

Тема 1: Оценка LLM

Тема 2: Создание телеграм-бота

Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Предзащита №1

Тема 3: Предзащита №2

Тема 4: Защита проектных работ