Задача 05B. Stable diffusion. LoRA
Условие
Требуется выполнить дообучение модели stable diffusion с использованием метода LoRA.
Требования к датасету
- Датасет должен содержать изображения с подписями, объединённые некоторой тематикой или стилем, который тяжело воспроизводится с использованием stable diffusion.
- Запрещено использовать датасет pokemon-blip-captions.
- Датасет можно найти, например, здесь.
Требования к модели
- Предпочтительно использовать sdxl или sdxl-turbo.
- Если не получается с sdxl, разрешено использовать предыдущие версии модели (2, 1.5)
Требования к реализации
Распределение баллов
Максимальное количество баллов за задачу — 10.
- Обучение модели, до + 5.
- Тестирование модели до + 5.
- Сгенерировать некоторое множество изображений с использованием LoRA (в том числе во время сдачи).
- Продемонстрировать, что изображения с использованием LoRA генерируются согласно тематики лучше, чем без.
Отправка решения
В качестве решения требуется отправить ссылку на файл (PDF, MS Word, plain text) или репозиторий, содержащий информацию об использованном датасете, trigger words, а также ссылку на обученные веса для использованием со stable-diffusion-webui.
