Минцифра запустила рейтинг ИИ по украинскому языку

Государственная инициатива направлена на объективное тестирование качества языковых моделей непосредственно на украинском языке. Центр компетенций WINWIN AI при Минцифре совместно с научным сообществом запустил платформу Ukrainian LLM Leaderboard, которая позволяет измерять эффективность больших языковых моделей без использования машинного перевода.

Почему понадобился украинский лидерборд

Существующие мировые рейтинги исторически сосредоточены на тестировании моделей в основном на английском языке. Для проверки работоспособности на украинском использовался подход с машинным переводом, что приводило к скрытию специфических ошибок и кальок. Новая платформа решает эту проблему, предоставляя государству надежную основу для выбора технологических решений в госприложениях, а бизнесу — возможность объективно оценить целесообразность внедрения ИИ.

Методология оценки и направления тестирования

Методику разработали эксперты сообщества lang-uk Юрий Панов и Дмитрий Чаплинский, которые на протяжении более 10 лет занимаются обучением нейросетей украинскому языку. Эта же система уже применялась при разработке отечественной модели Lapa LLM.

Платформа оценивает языковые модели по нескольким ключевым параметрам. Система использует украинские и адаптированные под локальный контекст международные датасеты:

Машинный перевод — проверка работы на уровне отдельных предложений и целых абзацев (стандарты FLORES-200, LongFLORES, WMT-22).

Понимание текста — тестирование способности отвечать на контекстные вопросы (Belebele, SQuAD).

Логика и знания — проверка рассуждений через учебные задачи (ZNO-Eval), логические головоломки (Winogrande, ARC Easy/Challenge, TriviaQA, MMLU).

Соблюдение инструкций — оценка точности выполнения сложных команд (IFEval).

Лучшие модели на лидерборде

Согласно актуальным данным, лидирующие позиции занимают специализированные и оптимизированные модели. Среди них выделяются:

Модель google/gemma-4-26B-A4B-it с использованием алгоритмов reasoning показывает высокие результаты в точности соблюдения инструкций и решении логических задач.

MamayLM из серии Gemma-3 (12B и 27B от института INSAIT) демонстрирует отличные показатели в машинном переводе и логических тестах.

Украиноязычная модель lapa-v0.1.2-instruct от сообщества разработчиков показывает одни из лучших результатов в переводе согласно стандартам FLORES и WMT.

Все результаты тестирования, исходные коды и датасеты опубликованы в открытом доступе на платформе Hugging Face.

Планы развития платформы

Разработчики намерены расширить функциональность лидерборда. В ближайшем будущем добавят модули для тестирования работы с изображениями, оценки этичности ответов моделей и анализа финансовой стоимости использования ИИ на украинском языке.

Особенное внимание будет уделено потребностям государственного сектора — разработчики планируют добавить оценку обработки нормативно-правовых текстов, административных процедур и безопасности при работе с персональными данными.