Щоб з’ясувати, чи здатний штучний інтелект виконувати проєкти так само ефективно, як людина, група дослідників дала робочі завдання таким ШІ-моделям, як-от Manus, Grok 4, Sonnet 4.5, GPT-5, ChatGPT agent і Gemini 2.5 Pro, пише ZDNET.
Читайте также: Професор українського походження допоміг створити OLED-дисплей, який розтягується в розмірах до двох разів без втрати яскравості
Ці завдання вже раніше успішно виконували реальні фрілансери в таких галузях, як-от розробка ігор, продуктовий дизайн, архітектура, аналіз даних і відеоанімація. Завдання передбачали створити:
- інтерактивну панель інструментів для дослідження даних зі Звіту про щастя у світі;
- версію гри «Кавун» на тему пивоваріння, де гравці об’єднують падаючі предмети, щоб досягти предмета найвищого рівня;
- 3D-анімацію для демонстрації характеристик і дизайну нових навушників і зарядного кейса;
- 2D-анімоване відео, що рекламує пропозиції компанії, що надає безплатні послуги;
- розробити архітектурні плани та 3D-модель контейнерного будинку на основі наявного PDF-проєкту;
- відформатувати документ, використовуючи надані функції та рівняння, для конференції IEEE.
Перераховані вище завдання охоплювали різні рівні складності, обійшлися у $10 000 й зайняли в реальних виконавців понад 100 годин часу.
Для порівняння можливостей ШІ-автоматизації та реальної праці фрілансерів, дослідники розробили систему оцінювання Remote Labor Index (RLI).
«Хоча ШІ-системи вже проходять багато наявних тестів, ми виявили, що навіть найсучасніші ШІ-агенти показують результати на рівні плінтуса в межах RLI», — повідомили дослідники. «Найкраща модель досягла рівня автоматизації лише у 2,5%. Це доводить, що сучасні системи штучного інтелекту неспроможні виконати переважну більшість проєктів на тому рівні якості, який прийнятний для робіт на замовлення».
Manus показав найкращі результати з показником продуктивності 2,5%. Grok 4 та Sonnet 4.5 поділили показники на 2,1%, GPT-5 був наступним з 1,7%, а агент ChatGPT — на 1,3%. Gemini посів останнє місце з 0,8%.
Читайте также: 40 000 дронів-перехоплювачів та 50 000 вбитих окупантів на місяць. Федоров розповів про цілі на посаді міністра оборони
Один із дослідників, Ден Хендрікс, визнав: хоча сучасні ШІ й розумні, вони досі не надто корисні, враховуючи загальний показник автоматизації менш ніж у 3%.
Пояснюючи причини такого провалу, Хендрікс зазначив, що багато можливостей ШІ залишаються дефіцитними. ШІ не здатні вчитися безпосередньо в процесі роботи, оскільки не мають довготривалої пам’яті. Крім того, зорові навички ШІ обмежені, хоча саме вони були необхідні для виконання багатьох завдань.
Тестування спеціально включало завдання, що вимагали досить високого рівня кваліфікації. Імовірно, з іншими видами робіт і проєктів ШІ впорався б значно легше.
«Хоча абсолютні показники автоматизації наразі низькі, наш аналіз свідчить про те, що моделі стабільно вдосконалюються, а прогрес у виконанні цих складних завдань є цілком вимірним», — зазначають дослідники. «Це створює спільну базу для відстеження траєкторії автоматизації за допомогою ШІ, що дасть змогу зацікавленим сторонам завчасно адаптуватися до її наслідків».
Ваша пробная версия Premium закончилась
Читайте также: У Китаї завірусився ШІ-симулятор знайомств. Чоловіки навіть готові платити гроші дружинам, щоб ті повернулися в реальні стосунки