D’Antonio und Xie – Agentische Runbook-Verbesserung im Betrieb

Bibliografische Angaben

Rocker D’Antonio und Harry Xie, 2025 IEEE 7th International Conference on Cognitive Machine Intelligence (CogMI), Seiten 341–351, DOI 10.1109/CogMI67134.2025.00046.

Original: Human-in-the-Loop Runbook Improvement with Agentic Support Automation

Aussagen der Quelle

• Die Studie beobachtet über 17 Wochen 232 Produktionsvorfälle eines Online-Datenreporting-Dienstes mit acht rotierenden On-call Engineers.
• Ein Agent nutzte Runbooks, Designdokumente und systemspezifische Werkzeuge, um menschliche Operatoren bei der Triage zu führen. Nach Vorfällen verglich er tatsächliche Schritte mit der Dokumentation und schlug Runbook-Ergänzungen vor.
• Die Menschen blieben Entscheidungsträger und prüften vorgeschlagene Änderungen. Das Runbook diente als erklärbare, vom Agentensystem entkoppelbare Wissensschnittstelle.
• Die mittlere Lösungszeit zeigte nach einigen Wochen einen fallenden Trend. Die Autoren formulieren dies vorsichtig als mögliches Wirksamkeitssignal, weil Incident-Mix und externe Faktoren nicht kontrolliert waren.
• Die Dokumentationsmenge wuchs und Teams berichteten niedrigere Hürden für die Pflege. Bei völlig neuen Ursachen half der Agent wenig oder gab gelegentlich irrelevante beziehungsweise falsche Hinweise.

Relevanz für den Garden

Die Quelle ist ein seltener dokumentierter Einsatz agentischer Unterstützung im realen Betrieb. Sie verbindet Incident Response, Organisationswissen und kontinuierliche Harness-Pflege zu einer Feedbackschleife und stützt zunächst augmentierte statt autonome Operations.

Grenzen

Es handelt sich um ein einzelnes AWS-nahes Team ohne randomisierte Kontrollgruppe. MTTR wird von vielen nicht kontrollierten Faktoren beeinflusst; die Arbeit selbst beansprucht keinen kausalen Nachweis. Ein längerer Effekt auf Runbook-Bloat, veraltete Hinweise und Betriebsqualität wurde nicht geprüft. Menschen trugen weiterhin die Verantwortung für Diagnose, Freigabe und Ergebnis.