Ehsani et al. – Where Do AI Coding Agents Fail?

Bibliografische Angaben

Ramtin Ehsani, Sakshi Pathak, Shriya Rawal, Abdullah Al Mujahid, Mia Mohammad Imran und Preetha Chatterjee, angenommen für die International Conference on Mining Software Repositories (MSR 2026), arXiv:2601.15195, 21. Januar 2026.

Original: Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub

Aussagen der Quelle

• Die Studie analysiert rund 33.000 Pull Requests von fünf Coding Agents in realen GitHub-Repositories.
• Dokumentations-, CI- und Build-Änderungen wurden häufiger gemergt als Performance- und Bugfix-Aufgaben.
• Nicht gemergte Beiträge waren tendenziell größer, berührten mehr Dateien und scheiterten häufiger an der vorhandenen CI/CD-Validierung.
• Eine qualitative Analyse von 600 Pull Requests identifiziert zusätzlich fehlendes ernsthaftes Reviewer-Engagement, Dubletten, unerwünschte Features und Fehlanpassung zwischen Aufgabe, Projekt und Agent als Ablehnungsmuster.
• Erfolg ist damit nicht nur eine Modell- oder Codefrage, sondern hängt auch von Aufgabenzuschnitt, Projektbedarf, automatischer Prüfung und menschlicher Review-Kapazität ab.

Relevanz für den Garden

Die Studie verankert die Diskussion über Agentic Engineering in beobachtetem Repository-Verhalten. Sie spricht für kleine, relevante Änderungen, funktionierende CI und bewusst eingeplante menschliche Interaktion statt für die bloße Maximierung agentischer Pull Requests.

Grenzen

Ein nicht gemergter Pull Request ist nicht automatisch technisch schlecht; er kann redundant, unerwünscht oder durch Projektumstände überholt sein. Umgekehrt beweist ein Merge weder Produktwirkung noch langfristige Qualität. Die Daten stammen aus öffentlichen Open-Source-Projekten und einer frühen Generation von Coding Agents; interne Produktteams können andere Aufgaben und Governance-Strukturen haben.