Orlanski et al. – SlopCodeBench

Bibliografische Angaben

Gabriel Orlanski et al., arXiv:2603.24755v2, zuletzt überarbeitet am 7. Mai 2026.

Original: SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks

Aussagen der Quelle

• SlopCodeBench lässt Coding Agents ihre eigenen Lösungen über 36 Probleme und 196 aufeinanderfolgende Checkpoints unter sich entwickelnden Anforderungen erweitern.
• Keiner der 15 untersuchten Agents löste ein Problem vollständig über alle Schritte; der beste Agent bestand 14,8 Prozent der einzelnen Checkpoints.
• Strukturelle Erosion nahm in 77 Prozent und redundanter oder duplizierter Code in 75,5 Prozent der Verläufe zu.
• Im Vergleich zu 473 Open-Source-Python-Repositories war Agentencode 2,3-mal wortreicher und nach der verwendeten Metrik 2,0-mal stärker erodiert. Die menschlich gepflegten Vergleichsprojekte verschlechterten sich seltener und schwächer über ihre Historie.
• Explizite Qualitätshinweise verbesserten die Ausgangsqualität, stoppten aber die Verschlechterungsrate über wiederholte Erweiterungen nicht.

Relevanz für den Garden

Die Quelle challengt Einmal-Benchmarks und die Gleichsetzung bestandener Tests mit nachhaltiger Qualität. Für Agentic Engineering folgt daraus, Maintainability über Änderungstrajektorien zu beobachten und Architektur- sowie Refactoring-Feedback in den Harness aufzunehmen.

Grenzen

Der Preprint misst synthetische Aufgaben und zwei operationalisierte Strukturmerkmale; reale fachliche Qualität, Teamverständnis und Betriebseigenschaften sind breiter. Der Vergleich mit existierenden Open-Source-Repositories ist kein kontrollierter Vergleich derselben Aufgaben. Benchmarkergebnisse altern zudem schnell mit Agenten, Modellen und Harnesses.