Мемберы нашего сообщества Санжар Мурзахметов @stringersolo , Бексултан Сагындык @bsagyndyk и Кирилл Якунин @JenarosHat выпустили серию бенчмарков на проверку language understanding, ризонинга и прочих особенностей казахского языка.
1) Ребята перевели несколько популярных датасетов на казахский:
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.
2) Были созданы кастомные казахстанские multiple-choice (MC) бенчмарки
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы.
Команда работает над созданием открытого лидерборда по этим бенчмаркам и платформы, где можно будет тестировать и сравнивать модели, разработанные для казахского языка.
Подробнее о проекте можно почитать в их LinkedIn посте