Google представила цілу серію нових моделей Gemma з відкритими вагами, оптимізованих для агентного ШІ та програмування. Вони випущені під вільнішою ліцензією Apache 2.0, що має на меті залучити корпоративний сектор, пише The Register.
Четверте покоління моделей Gemma, розроблене командою Google DeepMind, отримало низку покращень, зокрема «просунуте логічне мислення» для кращої роботи з математикою та виконання інструкцій, підтримку понад 140 мов, нативні виклики функцій, а також можливість обробки відео та аудіо.
Як і у випадку з попередніми версіями Gemma, Google випускає моделі в кількох розмірах, щоб охопити широкий спектр застосувань: від одноплатних комп’ютерів і смартфонів до ноутбуків та корпоративних дата-центрів.
Флагманом лінійки є велика мовна модель (LLM) на 31 млрд параметрів, яка, за словами Google, була налаштована для забезпечення максимальної якості результатів. Вона достатньо компактна, щоб компаніям не довелося витрачати сотні тисяч доларів на GPU-сервери для її запуску чи донавчання.
Модель може працювати без квантування (у 16-бітній точності) на одному прискорювачі H100 із 80 ГБ пам’яті. Водночас при 4-бітній точності модель стає достатньо компактною, щоб поміститися на відеокарті з 24 ГБ пам’яті, як-от Nvidia RTX 4090 або AMD RX 7900 XTX, за умови використання таких фреймворків, як Llama.cpp або Ollama.
Для сценаріїв, що потребують нижчої затримки (тобто швидших відповідей), лінійка Gemma 4 також включає модель на 26 млрд параметрів, побудовану на архітектурі суміші експертів (Mixture of Experts, MoE).
Під час виведення для обробки та генерації кожного токена використовується лише частина зі 128 «експертів» моделі, що загалом становить 3,8 мільярда активних параметрів. Доки модель вміщується у вашу відеопам’ять, вона здатна генерувати токени значно швидше, ніж «щільна» модель аналогічного розміру.
Така висока швидкість досягається ціною дещо нижчої якості відповідей, оскільки для формування результату задіяна лише фракція загальної кількості параметрів. Проте це може бути виправданим компромісом при запуску на пристроях із повільнішою пам’яттю, як-от ноутбуки або споживчі відеокарти.
Обидві моделі мають контекстне вікно розміром 256 000 токенів. Це робить їх придатними для створення локальних асистентів із написання коду — саме на цьому варіанті використання Google зробила особливий акцент у своєму анонсі.
Читайте также: «Легкі гроші» ціною в довічне: в Ірпені затримали агента, який реєстрував термінали Starlink для рашистів
Попри свій розмір, обидві моделі мають контекстне вікно у 128 000 токенів і є мультимодальними. Це означає, що, окрім тексту, вони можуть приймати як вхідні дані візуальну та аудіоінформацію (лише у версіях E2B/E4B).
Як і у випадку з будь-якими бенчмарками від виробників, до цих заяв варто ставитися з певною часткою скепсису. Проте, порівнюючи з Gemma 3, Google заявляє про суттєве зростання продуктивності в цілій низці тестів ШІ.
Проте чи не найважливішою зміною в Gemma 4 став перехід на більш вільну ліцензію Apache 2.0. Це дає корпоративним клієнтам значно більше гнучкості у тому, як і де вони можуть використовувати або розгортати ці моделі.
Раніше ліцензія Google для сімейства Gemma забороняла використання моделей у певних сценаріях, а компанія залишала за собою право припинити доступ користувача, якщо той не грав за її правилами.
Перехід на Apache 2.0 означає, що тепер підприємства можуть впроваджувати ці моделі, не побоюючись, що Google раптово «виб’є ґрунт у них з-під ніг».
Gemma 4 вже доступна в сервісах Google AI Studio та AI Edge Gallery, а також у популярних репозиторіях моделей, таких як Hugging Face, Kaggle та Ollama.
На момент релізу Google заявляє про повну підтримку («day-one support») понад десятка фреймворків для інференсу, серед яких, зокрема, vLLM, SGLang, Llama.cpp та MLX.
Читайте также: Microsoft випустила три базові ШІ-моделі для генерації тексту, голосу та зображення: компанія заявляє, що їхня перевага — нижча ціна