Про це пише Interesting Engineering, зазначаючи, що додаток підключається до зовнішніх LLM та VLM.
Додаток був розроблений дослідниками з Університету штату Пенсильванія на базі смартфонів і використовує штучний інтелект не тільки для ідентифікації об’єктів, а й для полегшення їх знаходження у просторі слабо зрячими користувачами за допомогою звукових та тактильних підказок.
Команда представила технологію на конференції ACM SIGACCESS ASSETS 25 у Денвері, де вона отримала одну з нагород.
NaviSense має на меті вирішити давні проблеми з подібним програмним забезпеченням, адже багато сучасних інструментів для слабозорих людей покладаються на бібліотеки об’єктів, які необхідно попередньо завантажити.
Професор Віджайкрішнан Нараянан, який брав участь у розробці додатка, заявив, що це обмежує гнучкість таких технологічних рішень.
«Раніше моделі об’єктів потрібно було попередньо завантажити в пам’ять сервісу, щоб їх можна було розпізнати. Це дуже неефективно та дає користувачам набагато менше гнучкості під час використання цих інструментів», — сказав Нараянан.
Він сказав, що команда додатку звернулася до штучного інтелекту, щоб подолати це вузьке місце.
Додаток підключається до зовнішнього сервера, на якому працюють великі мовні моделі, що дозволяє NaviSense інтерпретувати голосові підказки, сканувати навколишнє середовище та ідентифікувати цілі, не покладаючись на статичні бази даних.
«Використовуючи VLM та LLM, NaviSense може розпізнавати об’єкти у своєму середовищі в режимі реального часу на основі голосових команд, без необхідності попереднього завантаження моделей об’єктів. Це важлива віха для цієї технології», — запевнив Нараянан.
NaviSense прослуховує усний запит користувача, шукає об’єкти в просторі та фільтрує нерелевантні. Коли системі потрібні уточнення, вона ставить додаткові запитання.
Окрім того, система відстежує рухи руки користувача, контролюючи рух телефону, а потім дає вказівки напрямку, які допомагають йому дістатися до об’єкта.
Команда протестувала NaviSense з 12 учасниками в контрольованому середовищі.
Зараз команда вчених удосконалює енергоспоживання та підвищує ефективність моделі.
«Ця технологія досить близька до комерційного випуску, і ми працюємо над тим, щоб зробити її ще доступнішою», — сказав Нараянан.
Раніше ми писали про те, що український стартап CheckEye, що розробляє продукт на основі штучного інтелекту для перевірки зору, залучив $700 000 інвестицій за три роки.
Тим часом, команда дослідників зі США та Британії зібрала штучний нейрон, який поводиться майже як жива клітина мозку: копіює її імпульси й підлаштовується під нові сигнали. Це може стати основою для роботів, що краще відчувають і розуміють довколишній світ.
Добавить комментарий