На відміну від універсальних чат-ботів, FunctionGemma спроєктована для однієї критично важливої функції — перетворення команд користувача природною мовою у структурований код, який додатки та пристрої можуть реально виконувати, і все це без підключення до хмари, пише VentureBeat.
Поки галузь продовжує прагнути масштабу в трильйон параметрів у хмарі, FunctionGemma робить ставку на моделі малої мови (SLM), що працюють локально на телефонах, браузерах та IoT-пристроях.
Командам розробників FunctionGemma надає новий базовий елемент архітектури — конфіденційний «маршрутизатор», який виконує складні логічні операції локально та з майже нульовою затримкою.
FunctionGemma вже доступна для завантаження на Hugging Face та Kaggle. Також можна завантажити додаток Google AI Edge Gallery з Google Play Store.
Згідно з внутрішньою оцінкою Google Mobile Actions, звичайна мала модель має проблеми з надійністю, демонструючи базову точність лише у 58% для завдань виклику функцій. Проте після тонкого налаштування під цю конкретну мету точність FunctionGemma підскочила до 85%. Тепер ця крихітна модель працює так само ефективно, як і значно більші та важчі нейромережі.
Це дозволяє моделі обробляти не лише прості перемикачі «увімкнути/вимкнути»; вона здатна аналізувати складні аргументи, як-от визначення конкретних координат сітки для керування ігровою механікою або деталізовану логіку.
Модель має 270 млн параметрів та навчена на 6 трлн токенів набору даних Mobile Actions, який допоможе розробникам навчати власних агентів. Також має сумісність з бібліотеками Hugging Face Transformers, Keras, Unsloth та NVIDIA NeMo.
На думку компанії, модель має такі ключові переваги:
- приватність: персональні дані (наприклад, записи в календарі або контакти) ніколи не залишають пристрій;
- затримка: дії відбуваються миттєво, без очікування відповіді від сервера. Малий розмір моделі забезпечує високу швидкість обробки даних, особливо за наявності доступу до акселераторів, таких як GPU та NPU;
- вартість: розробники не сплачують комісію за кожен токен через API за прості взаємодії.