Задача 11A. Устный экзамен ≡

Максимальный балл:

10

Условие

Билет выбирается независимо и случайно из следующего списка:

Градиентный спуск.

• Функция потерь. Оптимизация.
• Производная, частные производные, градиент. Методы оценки градиента.
• Градиентный спуск, проблема выбора шага.
• Стохастический градиентный спуск.
• Использование момента. Метод Нестерова.
• Adagrad, Adadelta, RMSProp, Adam.

Линейная регрессия.

• Постановка задачи линейной регрессии.
• Метод наименьших квадратов. Алгебраическое и оптимизационное решения.
• Ковариация, корреляция.
• Коэффициент детерминации (R²).
• Гомоскедастичность. Квартет Анскомба.
• Регуляризация LASSO, Ridge, Elastic.

Генетический алгоритм.

• Многопараметрическая оптимизация. Доминантность и оптимальность по Парето.
• Функция качества (fitness).
• Общая идея генетического алгоритма.
• Представление особи.
• Методы селекции: пропорционально качеству, stochastic universal sampling, с наследием, турнирная, элитизм.
• Методы кроссовера: 1,2,k-точечный, равномерный, для перестановок.
• Мутация. Влияние на скорость обучения.
• Управление популяцией. Сегрегация, старение, распараллеливание.

Обобщённые линейные модели.

• Сигмоида и логит.
• Метод наибольшего правдоподобия.
• Логистическая регрессия. Вариант для меток -1, 1.
• Функции связи. Регрессия Пуассона.

Кластеризация.

• Постановка задачи кластеризации.
• Метод k-средних (K-means). Выбор начального состояния.
• Алгоритмы, основанные на плотности, основная идея. DBSCAN, OPTICS.

Метод k ближайших соседей.

• Базовая идея. Классификатор k-NN. Преимущества и недостатки.
• Кроссвалидация методом "без одного" (leave-one-out).
• Показатель пограничности (Border ratio).
• Понятия выброса, прототипа, усвоенной точки. Алгоритм Харта.
• Регрессия методом k-NN.
• Взвешенные соседи.
• Эффективные методы поиска ближайших соседей (краткое описание).

Байесовский классификатор.

• Условная вероятность. Теорема Байеса.
• Наивный классификатор.
• Оценка функции плотности.
• Мультиномиальный классификатор, сглаживание оценок. Классификация спама.
• Гауссовый байесовский классификатор.

Экзамен проводится очно. В случае невозможности очного присутствия необходимо заранее договориться с преподавателем о дистанционной сдаче.

После взятия билета студент готовится в ответу. При подготовке можно использовать произвольные материалы и доступ в Интернет.

В докладе необходимо максимально кратко упомянуть все важные элементы доставшейся темы/вопроса. После доклада преподаватель задаёт несколько уточняющих вопросов. Время на ответ 10 минут + 5 минут на вопросы.

---