Задача A. ШЦЭ 2020. Машинное обучение экзамен

Максимальный балл:10  

Условие

Устный экзамен.

1. Введение (intro)
* Основные термины и задачи машинного обучения. * Признаки, их виды и свойства. * Функция потерь. Оптимизация. * Ошибки первого и второго рода. Метрики качества: accuracy, precision, recall, F1-score. * Случайный поиск. Перебор по сетке. * Проблемы работы с данными высокой размерности.
2. Градиентный спуск (gradient descent)
* Производная, частные производные, градиент. Методы оценки градиента. * Градиентный спуск, проблема выбора шага. * Стохастический градиентный спуск. * Использование момента. Метод Нестерова. * Метод отжига. * Adagrad, Adadelta, RMSProp, Adam.
3. Линейная регрессия (linear regression)
* Постановка задачи линейной регрессии. Вероятностная интерпретация. * Метод наименьших квадратов. Алгебраическое и оптимизационное решения. * Ковариация, корреляция. * Критерий R2. * Анализ остатков. Гомоскедастичность. Квартет Анскомба. * Решение для неквадратных и плохо обусловненных матриц. * Регуляризация LASSO. * Регуляризация Ridge, Elastic*. * Обобщённые аддитивные модели (generalized additive models)*.
4. Логистическая регрессия (logistic regression)
* Сигмоид. * Метод наибольшего правдоподобия. * Логистическая регрессия для меток  − 1, 1. * Обобщённые линейные модели (generalized linear models)*.
5. Глобальная оптизация. Генетический алгоритм (genetic algorithm)
* Многопараметрическая оптимизация. * Доминация и оптимальность по Парето. * Функция качества (fitness). Аппроксимация качества. * Общая идея генетического алгоритма. * Представление генома. * Методы селекции: пропорционально качеству, универсальная выборка (stochastic universal sampling), с наследием (reward-based), турнир. Стратегия элитизма. * Методы кроссовера. Двух и много-точечный, равномерный (по подмножествам), для перестановок. * Мутация. Влияние на скорость обучения. * Управление популяцией. Сегрегация, старение, распараллеливание. * Генетическое программирование*.
6. Деревья решений (decision trees)
* Понятие энтропии, определение информации по Шеннону. * Понятие дерева решений. * Метрики: примеси Джини (Gini impurity), добавленная информация (information gain). * Алгоритмы ID3, CART. * Борьба с оверфиттингом: bagging, выборки признаков (random subspace method). * Ансамбли, случайный лес (Random Forest). * Деревья регрессии. Метрика вариации. * Непрерывные признаки. Использование главных компонент вместо признаков. * Сокращение дерева (pruning). * Другие алгоритмы вывода правил: 1-rule, RIPPER, bayesian rule lists*. * Комбинация с линейной регрессией (RuleFit)*.
7. Композиция классификаторов. Бустинг (boosting)
* Понятие бустинга. Бустинг для бинарной классификации, регрессии. * Градиентный бустинг. * AdaBoost. Алгоритм Виолы-Джонса. * Извлечение признаков. Признаки Хаара (Haar). * Бустинг деревьев решений. XGBoost. * CatBoost * LPBoost, BrownBoost, ComBoost*.
8. Метрики и метрическая кластеризация (metrics)
* Понятие и свойства метрики. Ослабление требования к неравенству треугольника. * Метрики L1, L2, Хемминга, Левенштейна, косинусное расстояние. * Потеря точности нормы в высоких размерностях. * Нормализация координат. Предварительная трансформация пространства признаков. * Метрика Махаланобиса. * Понятие центроида и представителя класса. * Центроидные алгоритмы: k-means, k-medoid. Алгоритм Ллойда.
9. Метод ближайших соседей (k-NN)
* Базовый алгоритм классификации методом 1-NN и k-NN. Преимущества и недостатки. * Кросс-валидация методом "без одного" (leave one out). * Определение границ, показатель пограничности (border ratio). * Сжатие по данным. Понятия выброса, прототипа, усвоенной точки. Алгоритм Харта (Hart). * Регрессия методом k-NN. * Взвешенные соседи. * Связь с градиентным спуском. Стохастическая формулировка, softmax. * Метод соседних компонент (neighbour component analysis)*. * Связь с выпуклой оптимизацией. Метод большого запаса (Large margin NN)*. * Оптимизация классификатора, k-d деревья, Hierarchical Navigable Small World*. * Хеши чувствительные к локальности, хеши сохраняющие локальность*.
10. Кластеризация (clustering)
* Задача обучения без учителя, применения при эксплораторном анализе. * Иерархическая кластеризация: методы снизу вверх и сверху вниз. * Алгоритмы, основанные на связности: функция схожести, компоненты связности и остовные деревья, критерии связности. * Алгоритм BIRCH*. * Алгоритмы, основанные на плотности: DBSCAN, OPTICS. * Алгоритмы, основанные на распределении: сумма гауссиан. * Нечёткая кластеризация, алгоритм c-means. * Поиск моды (Mean-Shift)*. * Внутренние оценки качества: leave-one-out, силуэт, индекс Дэвиса-Болдина (Davies-Bouldin), индекс Данна (Dunn). * Внешние оценки качества.
11. Снижение размерности (dimensionality reduction)
Постановка задачи, причины и цели снижения размерности. Выбор и извлечение признаков. Подходы к выбору признаков: filtering, wrapping, embedding. Расстояние между распределениями. Расстояние Кульбака-Лейблера. Взаимная информация. Алгоритмы выбора признаков: на основе корреляции (CFS), взаимной информации, Relief. Метод главных компонент (PCA). Многомерное шкалирование (multidimensional scaling). Isomap. Стохастическое вложение соседей с t-распределением (t-SNE). Нелинейные обобщения метода главных компонент. Kernel PCA.* Неотрицательное матричное разложение (NMF).* Анализ независимых компонент (ICA).*


0.085s 0.013s 13