Задача 01A. Transfer learning. Text classification ≡

Максимальный балл:

10

Условие

Требуется решить задачу классификации текста с использованием техники transfer learning. Студент сам выбирает модель и датасет.

Требования к датасету

• Датасет должен содержать не менее 10k примеров.
• Перед использованием датасет должен быть согласован с преподавателем.
• Каждый датасет может быть использован не более чем двумя студентами в группе.

Требования к модели

• Модель должна иметь архитектуру трансформер.
• Модель должна быть обучена для задачи feature extraction.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Feature extraction, до  + 3
• Обучение модели, до  + 2
• Тестирование модели, до  + 3
• Бонус, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 01B. Transfer learning. Image classification ≡

Максимальный балл:

10

Условие

Требуется решить задачу классификации изображений с использованием техники transfer learning. Студент сам выбирает модель и датасет.

Требования к датасету

• Датасет должен содержать не менее 10k примеров.
• Перед использованием датасет должен быть согласован с преподавателем.
• Каждый датасет может быть использован не более чем двумя студентами в группе.

Требования к модели

• Модель должна быть обучена для задачи feature extraction.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Feature extraction, до  + 3
• Обучение модели, до  + 2
• Тестирование модели, до  + 3
• Бонус, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 02A. Feature extraction. DINO ≡

Максимальный балл:

10

Условие

Требуется выполнить обучение модели для задачи feature extraction с использованием алгоритма DINO (1, 2). Требуется реализовать обучение только для CLS токена.

Требования к датасету

• Необходимо использовать датасет openimages.
• Датасет должен содержать не менее 50k изображений из любого сплита openimages.

Требования к модели

• Модель должна иметь архитектуру transformer.

Требования к реализации

• Модель и обучение должны быть реализованы с использованием библиотеки tensorflow.
• Задачу разрешено выполнять в командах до 3-х человек. Каждый участник получает полные баллы за задачу.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Данные и аугментация, до  + 2.
• Имплементация лоссов, до  + 2.
• Имплементация трансформера, до  + 2.
• Обучение модели, до  + 2.
• Тестирование модели, до  + 1
• Бонус, до  + 1

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 03A. Image captioning ≡

Максимальный балл:

10

Условие

Требуется решить задачу генерации заголовков для изображений.

Требования к датасету

• Необходимо использовать датасет COCO.
• Во время обучения должно быть использовано не менее 25% тренировочных изображений за 2017 год.

Требования к моделям

• Модели для извлечения признаков изображений и генерации текста должны иметь архитектуру transformer.
• Для извлечения признаков рекомендуется использовать, например, DINOv2.
• Для генерации текста рекомендуется использовать, например, GPT-2.
• Предполагается использовать любую из архитектур, описанных в 1 и 2.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Работа с датасетом и feature extraction, до  + 2
• Реализация и обучение модели, до  + 3
• Тестирование модели, до  + 3
• Бонус, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 04A. Работа с датасетом ≡

Максимальный балл:

10

Условие

Требуется реализовать различные способы загрузки датасета для обучения:

• Аналог tf.keras.utils.image_dataset_from_directory. Реализация должна поддерживать следующие аргументы: directory, batch_size, image_size, shuffle, seed, validation_split, subset; и возвращать объект класса tf.data.Dataset. Элементом датасета является пара батч изображений и их классов. Альтернативно на pytorch реализовать аналогичную функцию, возвращающую torch.utils.data.DataLoader.
• Функцию

  
  def load_dataset(path: str, batch_size: int, image_size: tuple[int, int], shuffle: bool, split: str) -> tuple[tf.data.Dataset, dict[int, str]]:
      '''Given a `path` to a csv index file loads one of the dataset splits. Paths in the index are assumed to be relative to the csv file. The file contains three columns: "filepaths", "labels" and "data set", path to the image, image label and dataset split respectively.
  
      Arguments:
          path: path to the csv index file
          batch_size: size of batches in the dataset
          image_size: size to resize the images to
          shuffle: whether to shuffle the index. If False original index order is preserved
          split: split to use. One of "train", "valid" or "test"
  
      Returns:
          The loaded dataset
          A dictionary mapping class indices to class names'''
          ...
  

  Альтернативно на pytorch реализовать аналогичную функцию, возвращающую torch.utils.data.DataLoader.
• Классы, реализующие интерфейс tf.keras.utils.PyDataset. Классы должны повторять функционал функций, из предыдущих двух пунктов, включая возможность указать split. Альтернативно на pytorch реализовать интерфейс torch.utils.data.Dataset, при этом __getitem__ должен возвращать один батч, вместо одного элемента датасета. Также, должна быть возможность итерироваться по этому объекту.

Для каждой реализации необходимо продемонстрировать работу, проведя одну эпоху обучения любой модели на загруженном датасете.

Требования к датасету

• Необходимо использовать следующий датасет.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• До  + 2 за реализацию каждого метода
• Продемонстрировать возможность использования аугментации с реализованными способами, до  + 2

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

---

Задача 05A. Feature extraction. DINO Patch-Level ≡

Максимальный балл:

10

Условие

Требуется выполнить обучение модели для задачи feature extraction с использованием алгоритма DINO (1, 2). Требуется реализовать обучение только patch-level objective (iBot).

Требования к датасету

• Необходимо использовать датасет openimages.
• Датасет должен содержать не менее 50k изображений из любого сплита openimages.

Требования к модели

• Модель должна иметь архитектуру transformer.

Требования к реализации

• Модель и обучение должны быть реализованы с использованием библиотеки tensorflow.
• Задачу разрешено выполнять в командах до 3-х человек. Каждый участник получает полные баллы за задачу.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Данные и аугментация, до  + 2.
• Имплементация лоссов, до  + 2.
• Имплементация трансформера, до  + 2.
• Обучение модели, до  + 2.
• Тестирование модели, до  + 1
• Бонус, до  + 1

Отправка решения

В качестве решения принимается файл с исходным кодом, например jupyter notebook. В систему требуется отправить ссылку на файл, размещённый в открытом доступе (Google Colab, Github, Google Drive и др.), указав среду разработки "Answer text". После отправки решение необходимо сдать преподавателю лично.

Базовый ноутбук можно скачать здесь.

---

Задача 05B. Stable diffusion. LoRA ≡

Максимальный балл:

10

Условие

Требуется выполнить дообучение модели stable diffusion с использованием метода LoRA.

Требования к датасету

• Датасет должен содержать изображения с подписями, объединённые некоторой тематикой или стилем, который тяжело воспроизводится с использованием stable diffusion.
• Запрещено использовать датасет pokemon-blip-captions.
• Датасет можно найти, например, здесь.

Требования к модели

• Предпочтительно использовать sdxl или sdxl-turbo.
• Если не получается с sdxl, разрешено использовать предыдущие версии модели (2, 1.5)

Требования к реализации

• Обучение рекомендуется выполнить согласно инструкции.
• Полученную LoRA должно быть можно использовать со stable-diffusion-webui.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Обучение модели, до  + 5.
• Тестирование модели до  + 5.
  • Сгенерировать некоторое множество изображений с использованием LoRA (в том числе во время сдачи).
  • Продемонстрировать, что изображения с использованием LoRA генерируются согласно тематики лучше, чем без.

Отправка решения

В качестве решения требуется отправить ссылку на файл (PDF, MS Word, plain text) или репозиторий, содержащий информацию об использованном датасете, trigger words, а также ссылку на обученные веса для использованием со stable-diffusion-webui.

---

Задача 05C. Stable diffusion. Textual Inversion ≡

Максимальный балл:

10

Условие

Требуется выполнить дообучение модели stable diffusion с использованием метода Textual Inversion.

Требования к датасету

• Датасет должен содержать изображения, объединённые некоторой тематикой или стилем, который тяжело воспроизводится с использованием stable diffusion.
• Запрещено использовать датасет cat-toy-example.
• Датасет можно найти, например, здесь.

Требования к модели

• Предпочтительно использовать sdxl или sdxl-turbo.
• Если не получается с sdxl, разрешено использовать предыдущие версии модели (2, 1.5)

Требования к реализации

• Обучение рекомендуется выполнить согласно инструкции или другой инструкции.
• Полученные embedding должно быть можно использовать со stable-diffusion-webui.

Распределение баллов

Максимальное количество баллов за задачу — 10.

• Обучение, до  + 4.
• Тестирование, до  + 4.
  • Сгенерировать некоторое множество изображений с использованием обученных embedding (в том числе во время сдачи).
  • Продемонстрировать, что изображения с использованием embeddings генерируются согласно тематики лучше, чем без.
• Обучить ещё один embedding, продемонстрировать взаимодействие с предыдущими, до  + 2.

Отправка решения

В качестве решения требуется отправить ссылку на файл (PDF, MS Word, plain text) или репозиторий, содержащий информацию об использованном датасете, trigger words, а также ссылку на обученные веса для использованием со stable-diffusion-webui.

---