💻 “Перший ШІ-інженер-програміст” провалює більшість завдань!Дослідники виявили, що Devin, якого компанія Cognition називає “першим ШІ-інженером-програмістом”, демонструє дуже низьку ефективність.
📉 Результати тестування:
За місяць досліджень команда Answer.AI протестувала Devin на 20 завданнях:
• 14 завершилися провалом.
• 3 дали неоднозначні результати.
• Лише 3 завдання завершились успіхом.
https://www.answer.ai/posts/2025-01-08-devin.htmlЦе лише 15% успішності — не надто вражаюче для технології, яка має домінувати у майбутньому.
🤔 Що пішло не так?
Devin часто витрачав дні на неможливі завдання, замість того, щоб розпізнати бар’єри.
Наприклад, при спробі розгорнути кілька застосунків на платформі Railway, Devin продовжував “спроби”, навіть коли це було технічно неможливо.
📌 Чому це важливо?
Meta та інші великі компанії заявляють про заміну “середніх інженерів” ШІ вже цього року. Але чи готові подібні інструменти до таких амбітних завдань?
Devin, попри сильний маркетинг, демонструє, наскільки реальність може відрізнятися від обіцянок. Завдання, які він виконує, займають у нього значно більше часу, ніж у людського розробника.
Чи готовий ШІ замінити програмістів, чи це просто черговий гучний хайп?
Наразі ШІ може допомогти:
• Генерувати шаблони коду,
• Підказувати синтаксис,
• Автоматизувати тестування.
Але творчість, адаптація до нестандартних задач та стратегічне мислення — це саме те, що робить людських розробників унікальними.