Минцифры вместе с Украинским католическим университетом и инициативой lang-uk запустили Ukrainian LLM Leaderboard — открытую платформу для оценки больших языковых моделей по качеству работы на украинском языке.
Как пишет Delo.ua, об этом сообщила пресс-служба Минцифры.
«После появления больших языковых моделей было непонятно, как хорошо они работают для украинского языка: каковы их сильные и слабые стороны, для каких задач какие модели лучше подходят, где до сих пор есть пробелы в качестве работы с украинским. Целью создания украинского лидерборда было дать ответ на эти вопросы, собрав имеющиеся бенчмарки от сообщества украинского NLP и создав новые языки», — объяснил руководитель разработки языковой модели для украинского языка Lapa Юрий Панив.
Что проверяют
Модели тестируются на задачах, которые могут возникать при реальном использовании:
- перевод и перевод текстов;
- поиск информации в документах;
- логические задачи;
- тесты по школьной программе на уровне ВНО;
- математические вычисления;
- выполнение сложных инструкций.
Результаты, коды и данные тестирования уже обнародовали на платформе Hugging Face. Пользователи могут сравнивать модели и ознакомиться с методикой оценки.
Что будет дальше
Команда планирует расширить рейтинг. В частности, хотят добавить оценку работы с изображениями, этичности и стоимости использования ИИ на украинском языке.
Отдельно планируется проверять работу моделей с государственными задачами: административными процедурами, нормативными текстами и персональными данными.
Напомним, Государственная архивная служба Украины передала около 10 терабайтов информации для обучения национальной большой языковой модели (LLM) «Сяйво». Такой объем данных соответствует массиву текстов в 70 000 книг.