💻 "Первый ИИ-инженер-программист" провалил большинство задач!Исследователи обнаружили, что Devin, которого компания Cognition называет "первым ИИ-инженером-программистом",
демонстрирует очень низкую эффективность.
📉 Результаты тестирования:
За месяц исследований команда Answer.AI протестировала Devin на 20 заданиях:
• 14 завершились полным провалом.
• 3 дали неоднозначные результаты.
• Только 3 задания были успешно выполнены.Это всего лишь 15% успеха — не очень впечатляюще для технологии, которая должна доминировать в будущем.🤔 Что пошло не так?
Devin часто тратил дни на невозможные задачи, вместо того чтобы распознать барьеры.
Например, при попытке развернуть несколько приложений на платформе Railway, Devin продолжал "попытки", даже когда это было технически невозможно.
📌 Почему это важно?
Meta и другие крупные компании заявляют о замене "средних инженеров" ИИ уже в этом году. Но готовы ли подобные инструменты к таким амбициозным задачам?
Devin, несмотря на сильный маркетинг, показывает, насколько реальность может отличаться от обещаний. Задания, которые он выполняет, занимают у него гораздо больше времени, чем у
кожаного мешка человеческого разработчика.
Готов ли ИИ заменить программистов или это просто очередной громкий хайп?
По крайней мере сейчас ИИ может помочь:
• Генерировать шаблоны кода,
• Подсказывать синтаксис,
• Автоматизировать тестирование.
Но творчество, адаптация к нестандартным задачам и стратегическое мышление — это то, что делает человеческих разработчиков уникальными... пока что. ))