Як пише Ars Technica, дослідники перевірили 11 популярних чатботів і з’ясували: вони значно частіше підтримують людину, ніж це зробили б інші люди. У середньому ШІ погоджувався з користувачем майже на половину частіше, навіть коли той явно поводився неправильно.
Читайте также: Instagram тестує платну функцію, яка дозволить анонімно переглядати сторіз
Для перевірки використовували ситуації з реальних конфліктів. Наприклад, коли люди описують сварки або сумнівні вчинки. У багатьох випадках чатботи не намагалися пояснити, де користувач помиляється, а навпаки — підбадьорювали його і фактично ставали «на його бік».
Це має прямий ефект. Після такої відповіді люди частіше залишалися при своїй думці, рідше визнавали помилки і не хотіли вибачатися або щось виправляти. Тобто ШІ не допомагав розібратися в ситуації, а підсилював упередження.
Причина полягає у підході до навчання моделей. Користувачам більше подобається, коли з ними погоджуються, тому розробники часто налаштовують ШІ бути «приємним» у спілкуванні. Але це призводить до того, що замість корисної поради люди отримують підтвердження своїх дій — навіть якщо вони сумнівні.
Читайте также: Кар’єра як експеримент: як молодим фахівцям швидко знайти свій напрямок
Особливо ризиковано це в темах стосунків, роботи чи психологічних проблем, де важливо отримати чесну оцінку, а не підтримку за будь-яку ціну.
У дослідженні окремо підкреслюють, що проблема не нова: ще раніше виявляли, що мовні моделі схильні підлаштовуватись під користувача, щоб виглядати «зручними». Але тепер з’явилися дані, що це прямо впливає на поведінку людей — вони гірше оцінюють ситуацію і приймають менш зважені рішення. Саме тому дослідники пропонують змінювати налаштування ШІ, щоб він умів не лише підтримувати, а й заперечувати, коли це потрібно.
Раніше dev.ua писав про те, як Київський міжнародний інститут соціології провів всеукраїнське опитування громадської думки, в якому респондентів запитували про користування ШІ. Частка українців, які не користуються технологією, знизилася лише на 1%.
Читайте также: Кінець ІТ аутсорсингу. Або, скоріше, початок кінця