За даними TechCrunch, нову версію «конституції» представили паралельно з публічними виступами CEO Anthropic Даріо Амодеї на Всесвітньому економічному форумі в Давосі. Йдеться про «живий» документ, який пояснює контекст, у якому діє Claude, і те, яким «суб’єктом» Anthropic хоче бачити свій чатбот.
У компанії давно просувають підхід Constitutional AI: замість того щоб «виховувати» модель лише через людський фідбек, її навчають набором принципів, які мають зменшувати токсичні та дискримінаційні відповіді. Нова редакція зберігає загальний каркас, але деталізує етику й безпеку, зокрема поведінку у випадках, коли користувач демонструє ознаки кризового стану і потрібна допомога спеціальних служб.
Окремо Anthropic описує жорсткі заборони для певних тем, наприклад будь-яку суттєву «підсилюючу» допомогу для створення біозброї. Водночас найбільш дискусійним фрагментом став фінал документа: автори прямо визнають, що питання про свідомість або моральний статус таких моделей є невизначеним, але його варто розглядати серйозно.
Anthropic опублікувала першу версію «конституції» Claude у 2023 році як публічне пояснення принципів, за якими налаштовує поведінку моделі. На цьому тлі індустрія дедалі частіше формалізує «правила» для чатботів у вигляді відкритих специфікацій і політик безпеки, намагаючись довести, що ШІ можна зробити одночасно корисним і контрольованим.
Читайте также: IT-фахівець із Вінниці отримав $100 за фіктивне зарахування ухилянта до Коледжу з конструювання одягу. Йому загрожує 8 років в’язниці
Раніше dev.ua писав про те, як CEO Anthropic Даріо Амодей публічно атакував політику США щодо постачання ШІ-чипів до Китаю. Він заявив, що дозвіл на продаж Nvidia H200 є небезпечним прецедентом навіть попри те, що це не найновіший прискорювач компанії.
Читайте также: 4 техно магнати, які підтримали інавгурацію Трампа, побагатшали на $288 млрд за рік його президентства