Gloaguen et al. – Evaluating AGENTS.md

Bibliografische Angaben

Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev und Martin Vechev, arXiv:2602.11988v1, 12. Februar 2026.

Original: Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?

Aussagen der Quelle

• Die Studie vergleicht Coding-Agent-Aufgaben ohne Kontextdatei, mit automatisch erzeugter und mit von Entwicklern gepflegter Kontextdatei.
• Entwicklergepflegte Dateien verbesserten die Erfolgsrate im Mittel nur geringfügig; LLM-generierte Dateien verschlechterten sie leicht.
• Kontextdateien führten zu mehr Exploration, Tests und Reasoning, erhöhten aber die Inferenzkosten um mehr als 20 Prozent.
• Agenten befolgten die Anweisungen überwiegend. Zusätzliche, für die konkrete Aufgabe unnötige Anforderungen machten die Bearbeitung jedoch schwieriger.
• Die Autoren empfehlen knappe, menschlich kuratierte Anforderungen statt umfangreicher automatisch erzeugter Repository-Überblicke.

Relevanz für den Garden

Die Studie fordert die verbreitete Annahme heraus, mehr Kontext verbessere Agenten automatisch. Teams benötigen Kontextkuratierung: relevante stabile Regeln auswählen, Redundanz vermeiden und Wirkung sowie Kosten experimentell prüfen.

Grenzen

AGENTbench umfasst 138 Python-Aufgaben aus zwölf eher kleinen Open-Source-Repositories; ergänzend wird SWE-bench Lite verwendet. Generierte Taskbeschreibungen und Tests sowie die Beschränkung auf Issue Resolution begrenzen die Übertragbarkeit auf Produktarbeit, andere Sprachen und längere Entwicklungszyklen. Es handelt sich um Version 1 eines Preprints.