Задача 01A. Object detection. Fine tuning ≡

Максимальный балл:	10		Ограничение времени:	1 сек
			Ограничение памяти:	512 Мб

Условие

Требуется решить задачу детекции с использованием ultralytics YOLO CLI.

Требования к датасету

• Датасет должен содержать не менее 5k изображений.
• Перед использованием датасет должен быть согласован с преподавателем.
• Каждый датасет может быть использован не более чем двумя студентами в группе.

Требования к модели

• Модель должна иметь архитектуру YOLOv8, YOLOv9 или RT-DETR

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Обучение модели, до  + 4
• Изучение возможностей CLI, до  + 4
• Продемонстрировать использование модели на Python (детекция на нескольких примерах с отображением результатов), до  + 2

Отправка решения

В качестве решения требуется отправить ссылку на архив или репозиторий, содержащий информацию об использованном датасете, обученные веса и файл с исходным кодом на Python, демонстрирующий использование модели.

---

Задача 01B. Object detection ≡

Максимальный балл:	10		Ограничение времени:	1 сек
			Ограничение памяти:	512 Мб

Условие

Требуется решить задачу детекции с использованием алгоритма YOLO.

Требования к датасету

• Датасет должен содержать не менее 5k изображений.
• Перед использованием датасет должен быть согласован с преподавателем.
• Каждый датасет может быть использован не более чем двумя студентами в группе.

Требования к модели

• Модель должна иметь свёрточную архитектуру.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Работа с датасетом, до  + 2
• Реализация лоссов, до  + 6
• Обучение модели и тестирование, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 02A. Reinforcement learning. ATARI ≡

Максимальный балл:	10		Ограничение времени:	1 сек
			Ограничение памяти:	512 Мб

Условие

Требуется обучить модель играть в одну из доступных ATARI игр.

Требования к среде

• Среда должна эмулировать одну из ATARI игр.
• Наблюдением среды должно выступать RGB изображение экрана.

Требования к реализации

• Требуется реализовать double q learning лосс.
• Модель должна иметь свёрточную архитектуру или архитектуру трансформер.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Реализация лосса и обвязки, до  + 2
• Реализация модели, до  + 2
• Обучение модели, до  + 3
• Тестирование модели, до  + 3

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 02B. Reinforcement learning. MAZES ≡

Максимальный балл:	10		Ограничение времени:	1 сек
			Ограничение памяти:	512 Мб

Условие

Требуется обучить модель, решающую лабиринт фиксированного размера, вида и позициями входа и выхода с использованием методов машинного обучения с подкреплением.

Требования к среде

• Наблюдение представляет собой целочисленную матрицу со значениями от 0 до 4 включительно
  • 0 — стена,
  • 1 — коридор,
  • 2 — посещённая клетка,
  • 3 — последняя посещённая клетка,
  • 4 — текущая клетка.
  
• Генератор лабиринта можно скачать здесь.

  
  from maze_generator import generate_mazes
  mazes = generate_mazes(n=10000, maze_size=10)
                          

• Лабиринт должен иметь размер 21 на 21 (параметр maze_size=10 у генератора).
• Вход всегда имеет индекс (1, 0), выход — (19, 20).
• Должны быть доступны 4 действия
  • 0 — шаг вниз,
  • 1 — шаг вправо,
  • 2 — шаг вверх,
  • 3 — шаг влево.
• Выполнение шага в стену не заканчивает игру, но оставляет игрока на месте.
• Игра заканчивается при достижении выхода или максимального количества итераций.
• Реализация среды должна удовлетворять одному из следующих условий
  • Поддерживать выполнение на графе Tensorflow (например, использоваться при итерации по tf.data.Dataset без использования tf.py_function),
  • Являться слоем keras.layers.Layer,
  • Являться модулем torch.nn.Module с возможностью компиляции с torch.compile.

Требования к обучению

• Модель должна иметь свёрточную архитектуру или архитектуру трансформер.
• Требуется реализовать самостоятельно один из методов оптимизации политики: введение (REINFORCE), Vanilla Policy Gradient (REINFORCE but a bit better), Trust Region Policy, Proximal Policy.
• Требуется обучить три уровня развития модели
  • Модель блуждает по лабиринту (посещает новые клетки, без штрафа за длину пути);
  • Модель стремится к выходу, пытаясь найти кратчайший путь (штраф за длину пути);
  • Модель идёт строго по кратчайшему пути (среде известен кратчайший путь, штраф за посещение клеток не принадлежащих этому пути).

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Реализация среды, до  + 3
• Реализация модели и обучение, до  + 6
• Демонстрация взаимодействия обученной модели со средой (с картинками), до  + 1

Задача допускает дополнительные баллы за выполнение следующих пунктов.

• Отображение промежуточных выходов модели (attention scores для трансформера), пример, до  + 1
• Умение находить (кратчайший) путь в странных лабиринтах (но не обязательно именно таких), до  + 1

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

---

Задача 03A. Reinforcement learning. Bipedal Walker ≡

Максимальный балл:	10		Ограничение времени:	1 сек
			Ограничение памяти:	512 Мб

Условие

Требуется обучить модель играть в Bipedal Walker.

Требования к среде

• Среда должна принимать непрерывное пространство действий.
• Требуется использовать обычную версию среды (hardcore=False).

Требования к реализации

• Требуется реализовать Deep Deterministic Policy Gradient лосс.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Реализация лосса и обвязки, до  + 4
• Реализация модели, до  + 1
• Обучение модели, до  + 3
• Тестирование модели, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---