Задача B. BLEU ≡
| Входной файл: | Стандартный вход | Ограничение времени: | 1 сек | |
| Выходной файл: | Стандартный выход | Ограничение памяти: | 512 Мб | |
| Максимальный балл: | 8 |
Условие
Метрика BLEU (Bi-Lingual Evaluation Understudy) чаще всего используется для оценки качества машинного перевода. Эта метрика предназначена для сравнения исходного предложения s1 и предложения s2, полученного в результате перевода.
Основная идея метрики BLEU заключается в подсчёте количества совпадающих фраз.
На первой стадии для предложений s1 и s2 выписываются множества всех встречающихся слов и подсчитывается количество совпадающих слов в первом и втором предложении. Эту величину обозначим 1 gram. Далее величина 1 gram делится на количество слов в предложении s2.
Так для s1 = "This is the wolf." и s2 = "The the the the the.", значение 1 gram = 1 / 5 = 0.2.
На второй стадии выписываются все пары соседних слов предложений s1 и s2, и вычисляется количество совпадающих пар, эту величину обозначим 2 gram. Величина 2 gram также делится на количество пар соседних слов в предложении s2.
Аналогичным образом вычислим 3 gram и 4 gram.
Помимо указанных выше величин при расчёте метрики BLEU используется штраф за то, что сгенерированный перевод слишком короткий Brevity Penalty (BP). BP = |s2| / |s1|. Где |s| — длина строки s.
BLEU = BP ⋅ 4√1 gram ⋅ 2 gram ⋅ 3 gram ⋅ 4 gram
На изображении приведён пример. SYSTEM A — это перевод первой системы машинного перевода, SYSTEM B — второй системы, REFERENCE — эталонный перевод.
Формат входных данных
Первая строка входного файла содержит строку s1.
Вторая строка входного файла содержит строку s2.
Входные строки состоят из латинских букв, пробелов и знаков препинания. Заглавные и строчные буквы не различаются при сравнении слов. Словом считается любая последовательность подряд идущих букв, ограниченная с обеих сторон концом строки, пробелом или знаком препинания.
Формат выходных данных
Выходной файл должен содержать единственное число — значение метрики BLEU для предложений s1 и s2 с точностью не менее 5 десятичных знаков после запятой.
Ограничения
1 ≤ |s1|, |s2| ≤ 1000
Примеры тестов
| № | Стандартный вход | Стандартный выход |
|---|---|---|
| 1 |
|
|
| 2 |
|
|
| 3 |
|
|