Про випуск нової нейромережі повідомляється в офіційному блозі проєкту. Модель заповнює нішу між легкою версією E4B та складнішою 26B Mixture of Experts (MoE). Зазначається, що 12-мільярдна версія практично досягає показників старшої моделі у стандартних бенчмарках, але при цьому потребує вдвічі менше ресурсів пам’яті.
Читайте также: «Це закінчується братськими могилами». Чому математика на НМТ — це питання національної безпеки, а не «комфорту»
Основна технічна інновація Gemma 4 12B полягає у відмові від окремих мультимодальних енкодерів. Традиційні системи використовують їх для розпізнавання та перекладу зображень і звуку перед передачею до мовної моделі, що неминуче збільшує затримку та споживання обчислювальної потужності. Натомість нова архітектура інтегрує ці дані напряму. Необроблений аудіосигнал проєктується безпосередньо у простір текстових токенів, а для обробки зображень залишили лише легкий модуль вбудовування, передавши основну роботу базовій мовній моделі.
«Завдяки спільноті розробників кількість завантажень моделей сімейства Gemma 4 вже перевищила 150 мільйонів. Їх використовують для створення найрізноманітніших продуктів від носимих роботизованих рук для фізичної допомоги до систем корпоративної безпеки на базі штучного інтелекту», — зазначають у Google.
Читайте также: Розробники ШІ-моделі для української мови MamayLM представили версію v2.0. Наразі їй не дуже даються відповіді українською
Серед інших характеристик новинки — інтеграція технології Multi-Token Prediction (MTP) для додаткового зниження затримки під час генерації тексту.
Читайте также: Борис Пинкус Биография Личная Жизнь: путь и достижения известного предпринимателя