Про це повідомили у Мінцифри.
Що вплинуло на вибір
Цією великою мовною моделлю стане Gemma 3 від Google. За словами міністерства, при виборі орієнтувалися на те, наскільки якісно модель вже опрацьовує тексти українською мовою та її контрольованість під час навчання.
«Це допоможе мінімізувати лінгвістичні та етичні ризики в нашій LLM», — зазначив Данило Цьвок, Chief AI Officer Мінцифри та CEO WINWIN AI Center of Excellence.
Ключовими перевагами у виборі моделі стали:
- Оптимальний баланс продуктивності та ресурсів — Gemma забезпечує високу якість при оптимальних інфраструктурних вимогах. Це одна з найкращих серед відкритих моделей з погляду співвідношення розміру та якості.
- Багатомовна підтримка — модель уже має українську мову у своєму діапазоні та легко адаптується через донавчання.
- Мультимодальність — модель може сприймати й аналізувати не лише текст, а й зображення.
- Розширений токенайзер — обсяг токенів забезпечує точне та ефективне опрацювання текстів та донавчання. Модель має довге контекстне вікно — це 128 000 токенів.
- Наявність кількох розмірностей дозволяє гнучко обирати розмір моделі під конкретну сферу застосування.
- Успішні приклади та досвід використання Gemma для створення українськомовних LLM, зокрема Lapa LLM та MamayLM.
Що далі
Gemma 3 адаптують до української мови, зокрема планується:
- вдосконалити український токенайзер — це покращить роботу моделі з українською мовою, зменшить помилки при створенні україномовних текстів та оптимізує обчислювальні витрати при використанні моделі;
- донавчити модель на унікальних україномовних текстах, які зараз збирають експерти;
- створити бенчмарки (тести) для більш точного налаштування моделі для подальшого використання.
Нагадаємо, що минулої п’ятниці Мінцифри й «Київстар» оголосили, що шукають назву для національної української LLM. До 5 грудня українці можуть запропонувати свої варіанти, а за кращі ідеї отримати призи.