Основными задачами программы является изучение классических методов оптимизации, широко применяемых в различных прикладных областях, таких как машинное обучение, автоматизированное проектирование, автоматизированное управление производством, и др., а также освоение практических навыков программирования на языке Python, что повышает общий инженерно-технический уровень слушателя и способствует закреплению теоретического материала.

Тема 1. Базовые понятия функционального анализа

• Множество и функция
• Поле и пространство
• Экстремумы. Критические и стационарные точки. Задача оптимизации
• Ряд Тейлора
• Квадратичные формы
• Окончание поиска и численное дифференцирование

Тема 2. Одномерная оптимизация

• Двухточечное и трехточечное деление
• Лабораторная работа №1
• Метод золотого сечения, Фибоначчи
• Лабораторная работа №2
• Метод Ньютона. Метод секущих
• Лабораторная работа №3
• Методы на основе аппроксимации параболами. Метод Брента-Деккера
• Лабораторная работа №4

Тема 3. Многомерная оптимизация

• Многомерная оптимизация. Градиентные методы
• Лабораторная работа №5
• Метод наискорейшего спуска. Овражные задачи
• Лабораторная работа №6
• Метод Ньютона. Демпфированный метод Ньютона
• Лабораторная работа №7
• Методы Нестерова-Немировского и Левенберга-Марквардта
• Методы Барзилая-Борвейна
• Лабораторная работа №8
• Условия Вульфа
• Методы сопряженных градиентов
• Лабораторная работа №9
• Квазиньютоновские методы
• Лабораторная работа №10
• Метод БФГШ с ограниченной памятью
• Метод доверительных областей
• Лабораторная работа №11
• Метод ускоренного градиента Нестерова
• Лабораторная работа №12
• Метод Хука-Дживса