Минулого тижня користувач під ніком StellarAccident на сторінці Claude Code у GitHub вилив своє розчарування якістю згенерованого коду. Невдовзі з’ясувалося, що цей акаунт належить Стеллі Лоренцо, старшій директорці з питань ШІ в AMD. Зв’язок підтвердився через пост у LinkedIn тритижневої давнини, де Лоренцо посилалася саме на цей профіль у GitHub, пише PC Gamer.
У своїй скарзі на GitHub вона зазначила, що «Claude регресував до такого рівня, що йому не можна довіряти виконання складних інженерних завдань».
Лоренцо стверджує, що у січні Claude працював краще, а тепер він ігнорує інструкції, пропонує помилкові виправлення, прямо суперечить запитам і заявляє про виконання завдання, хоча насправді, не виконує їх. Лоренцо використовує модель Opus і запевняє, що отриманий результат можна стабільно відтворити за допомогою того самого промпту.
Лоренцо зазначає: «Ми працюємо у стабільному та високоскладному середовищі. Ми проаналізували логи за кілька місяців, щоб зрозуміти, чому — фактично починаючи з лютого — ми помітили деградацію при виконанні складних інженерних завдань». Вона також додала: «Claude був корисним для нас, і ми залишаємо цей відгук у надії, що Anthropic зможе вирішити ці проблеми».
Читайте также: «Вночі вона займається програмуванням». Мілла Йовович розробляла ШІ-інструмент MemPalace і завела акаунт на GitHub
Далі у публікації наведено звіт про те, що саме змінилося з січня та як це виправити. Що досить іронічно — цей звіт згенерував сам Claude. У ньому стверджується, що тепер ШІ менше демонструє хід своїх думок і «думає» не так глибоко, часто починаючи редагувати код ще до того, як повністю «прочитає» його.
Користувачі вже певний час скаржаться на лютневе оновлення Claude. У спільноті Claude Code на Reddit один із дописувачів зазначив: «Я більше не можу з чистим сумлінням рекомендувати Claude Code своїм клієнтам». У дописі сучасну модель звинувачують у лінощах, необізнаності, деградації та «короткозорості».