Машинное обучение 2 семестр

Литература | 1 семестр

Метод опорных векторов (SVM)🔗

1. Постановка задачи линейного SVM для линейно разделимой выборки
2. Линейный SVM в случае линейно неразделимой выборки.
3. Задача оптимизации с ограничнеиями. Двойственная задача Лагранжа. Условия Каруша-Куна-Такера
4. Функция Лагранжа для линейного SVM. Опорный вектор. Типы опорных векторов.
5. Kernel trick. Полиномиальное ядро. Радиально-базисное ядро (RBF).
6. SVM для задачи регрессии.

Нейронные сети

• Перцептрон, многослойный перецептрон.
• Функции активации, методы оптимизации.
• Метод обратного распространения ошибки.
• Отладка нейронной сети, проверка градиента.
• Теория сложности и машинное обучение. Probably Approximately Correct learning.*

Сверточные нейронные сети. Рекуррентные нейронные сети

• Понятие свёрточного слоя, слоя подвыборки (pooling).
• Понятие рекуррентного слоя, сети Элмана и Джордана (Elman, Jordan). Затухание градиента.
• Рекуррентные сети как ассоциативная память. Сети Хопфилда (Hopfield).
• Long-Short Term Memory
• Выделение признаков из последовательности. Connectionist Temporal Classification

Автоэнкодер

• Общее понятие
• Связь метода главных компонент и автоэнкодера
• Undercomplete и overcomplete (sparse) autoencoder лекция
• Denoising autoencoder
• Deep autoencoder
• Послойное обучение автоэнкодера. Предобучение с помощью автоэнкодера
• Encoder-decoder framework

• Лекция 1
• Лекция 2

Генеративные модели

• PixelRNN, PixelCNN
• Variational autoencoder (VAE)
• Variational lower bound. Evidence lower bound optimization.
• Reparametrization trick
• Generative adversarial network (GAN)

• Лекция 1

NLP seq-2-seq🔗

• Typical NLP tasks.
• Language model
• Encoder-decoder framework
• Генерация последовательностей. Жадные алгоритмы, beam search, sampling.
• LSTM
• GRU
• Image captioning

• Лекция 1

Модели внимания

• Внимание в seq-2-seq моделях
• Self-attention. Multiheaded attention
• Внимание в задачах обработки изображений.
• Spatial transformer network (STN)

• Лекция 1
• Лекция 2
• STN guide

Обучение с подкреплением

• Постановка задачи. Марковский процесс принятия решений
• Discounted reward sum. Bellman equation
• Q-learning.
• Experience replay. Deep Q-learning (DQN)
• Policy gradient. REINFORCE algorithm
• Способы уменьшения дисперсии градиента в REINFORCE
• Actor Critic
• Reccurent attention model. Другие применения.

• Лекция 1

Рекомендательные системы

• Постановка задачи рекомендательной системы
• Критерии качества, особенности проверки в реальных условиях
• Проблемы воспроизводимости исследований, холодного старта, манипуляции рекомендациями
• A/B тестирование
• Контентная и коллаборативная фильтрация, гибридная фильтрация
• Алгоритмы, основанные на памяти: user-based и item-based фильтрация, применяемые метрики классификаторы
• Декомпозиция матриц в коллаборативной фильтрации
• Использование активной обратной связи (голосования)
• Item2Vec*

Домашние задания

Общее требование -- необходимо понимать все, что происходит в ноутбуках, включая код, который там написан не вами.

1. Бустинг
   • Взять задачу отсюда
   • Сделать гридсерч по нескольким алгоритмам и нескольким их параметрам.
   • Выбрать параметры с лучшим валидационным скором.
2. Модули нейронной сети
   • NN modules
   • Нужно пройти все тесты basic части
3. Интенсив по сверточным сетям
   • Тем, кто не проходил интенсив, можно сделать эту лабу
   • В ноутбуке написано, что нельзя использовать pretrained сеть. Но вам можно, при условии, что 25% точности вы умеете набирать без нее, иначе баллы пополам. Чтобы набрать 25% точности можно пройти этот ноутбук.
   • Гайд по предобученным моделям в pytorch: раз, два, три
4. Автоэнкодеры
5. NLP
   • seq-2-one
   • encoder-decoder
6. GAN basic
7. Обучение с подкреплением
   • Пройти ноутбук
   • Применить к какой-нибудь другой control среде или atari игре.
   • Показать, как играет наилучшая стратегия. Сделать без jupyter. Можно использовать алгоритмы PG, AC, DQN.