GUIrilla фактично навчає моделі «розуміти» інтерфейси: знаходити кнопки, заповнювати форми, переміщатися між елементами і виконувати дії без участі користувача. Такий підхід може стати основою для нового покоління desktop-агентів.
Читайте также: Анна Кошмал Муж: подробности личной жизни и карьеры актрисы
Чому Mac довго залишався «сліпою зоною» для AI
Як розповіла DOU Research Manager у MacPaw Марія Гірна, ключова проблема — відсутність якісних відкритих даних для навчання. Більшість існуючих датасетів, за її словами, майже не охоплюють macOS. Гірна зазначає, що у найбільшому відкритому наборі даних для desktop AI — OS-ATLAS — частка macOS становить лише 0,06%.
«Великі компанії, можливо, мають власні закриті дані, зібрані вручну, але для академічної спільноти та незалежних дослідників ці ресурси недоступні. Збирати все вручну дорого і практично нереально масштабувати», — пояснює дослідниця.
Саме цю проблему і взялася вирішити команда. GUIrilla автоматизує процес: самостійно встановлює застосунки, взаємодіє з ними, робить скріншоти та збирає структурні дані інтерфейсу.
Йдеться не лише про «картинку» екрана. За словами Гірної, система формує текстовий опис інтерфейсу — які елементи присутні, що вони роблять і як пов’язані між собою. Це фактично ті самі дані, які використовуються в accessibility-функціях Apple, але тепер вони застосовуються для навчання AI.
27 000 сценаріїв і понад 1000 застосунків
У результаті команда MacPaw Research зібрала датасет GUIrilla-Task — це понад 27 тисяч сценаріїв взаємодії з інтерфейсами у більш ніж 1100 macOS-застосунках.
Читайте также: Материнська компанія «Київстар» накопичила в Україні понад $450 млн дивідендів, які не може вивести через обмеження НБУ
Паралельно компанія відкрила бібліотеку macapptree, яка дозволяє розробникам отримувати структурну інформацію про будь-який Mac-застосунок буквально кількома рядками коду.
«Такої кількості macOS-інтерфейсів у відкритому доступі раніше не публікували», — додає Гірна.
Ставка на складний AI як конкурентну перевагу
У MacPaw не приховують, що GUIrilla — це частина ширшої стратегії. Як зазначає Director of AI and Research Сергій Кривоблоцький, розвиток власних досліджень і створення складного технологічного IP — ключ до конкуренції на глобальному AI-ринку.
Фактично компанія інвестує у фундамент — дані та інструменти, без яких неможливо створювати повноцінних AI-агентів для роботи з десктопом.
Читайте также: Бывшая Жена Виталия Портникова: Биография, Личная Жизнь и Карьера