У звіті зазначається, ШІ-генеровані пул-реквести (PR) мають у середньому 10,83 проблемні місця проти 6,45 у «людських» проєктах. Залучення ШІ збільшує кількість помилок майже в 1,7 раза, що суттєво затягує процес перевірки коду та створює додаткові ризики для якості програмного забезпечення, пише The Register.
Проблеми, спричинені пулл-реквестами (PR) від ШІ, зазвичай є серйознішими, ніж помилки, допущені людьми. Згідно зі звітом, PR, створені штучним інтелектом, містять у середньому в 1,4 раза більше критичних проблем і в 1,7 раза більше серйозних помилок, ніж написані людьми.
Отже, код, створений машиною, вимагає від рев’юерів опрацювання великого обсягу проблем, які до того ж є серйознішими за ті, що зустрічаються в коді, написаному людиною.
Також у звіті говориться, що код, створений ШІ, поступається коду, написаному людьми, за всіма основними категоріями проблем:
- логіка та коректність — більше у 1,75 раза;
- помилки якості та підтримка коду — більше у 1,64 раза;
- недоліки безпеки — у 1,57 раза;
- проблеми з продуктивністю — у 1,42 раза.
Крім того, це стосується й конкретних проблем безпеки:
- у 1,88 раза частіше містив неналежну обробку паролів;
- у 1,91 раза частіше мав небезпечні посилання на об’єкти;
- у 2,74 раза частіше додавав XSS-вразливості;
- у 1,82 раза частіше реалізував небезпечну десеріалізацію.
Водночас ШІ показав кращі результати в орфографії та тестуванні:
- орфографічні помилки траплялися в 1,76 раза частіше в PR, створених людьми;
- також код, створений людиною, мав у 1,32 раза більше проблем з тестуванням.
«Ці результати підтверджують те, що багато інженерних команд відчували протягом усього 2025 року», — зазначив у своїй заяві Девід Локер, директор з питань ШІ у CodeRabbit. «Інструменти ШІ для кодування суттєво збільшують продуктивність, проте вони також вносять прогнозовані та вимірювані слабкі місця, на усунення яких компанії мають спрямувати активні зусилля».