Про розробку повідомили в офіційному блозі Google DeepMind. Основна мета інструменту — забезпечити взаємодію з нейромережею безпосередньо в робочому середовищі користувача, уникаючи перемикання між вікнами застосунків.
Читайте также: Борис Тизенгаузен Национальность: подробный обзор биографии и карьеры
«Ми прагнемо створити інтуїтивний штучний інтелект, який взаємодіє з користувачами у всіх інструментах, якими вони користуються, не перериваючи їхнього робочого процесу», — пояснюють розробники.
Система базується на здатності Gemini фіксувати візуальний та семантичний контекст навколо вказівника. Це дозволяє виконувати дії за допомогою коротких команд або жестів:
Створення резюме PDF-файлів безпосередньо в поштовому клієнті.
Конвертація числових таблиць у діаграми наведенням курсора.
Редагування блоків коду та зображень через голосові команди на кшталт «виправ це».
Автоматичне розпізнавання об’єктів (локацій на картах, товарів у магазинах) та їхнє перетворення на інтерактивні елементи.
Функціонал вже починають впроваджувати у браузері Chrome. Також розробники анонсували Magic Pointer — апаратну або програмну функцію для нової лінійки ноутбуків Googlebook, що активує Gemini в один дотик. Експериментальні можливості курсора доступні в Google AI Studio та на дослідницькій платформі Disco від Google Labs.
Нагадаємо, що 12 травня на The Android Show Google анонсувала Googlebook — нову категорію ноутбуків, побудованих з нуля навколо Gemini Intelligence. Це не черговий Chromebook із ШІ-фічами зверху — Google каже, що це перший ноутбук, спроєктований із нуля саме під Gemini, щоб надавати персональну і проактивну допомогу.