Wann können automatische und agentische Prüfungen menschliches Review teilweise ersetzen?
Ausgangspunkt
Menschliches Review ist im betrachteten Prozess verpflichtend, während ein ausreichendes automatisches Kontrollsystem noch nicht definiert ist. Die Frage sollte nicht als binäre Entscheidung „Mensch oder Agent“ behandelt werden. Zu untersuchen ist, welche Kombination aus deterministischen Kontrollen, inferentiellen Agentenprüfungen, isolierter Ausführung, menschlichem Urteil und Produktionsfeedback für eine konkrete Risikoklasse belastbare Zuversicht erzeugt.
Zuerst zu definierende Fehlerklassen
Ein Assurance-Modell müsste mindestens unterscheiden:
- fachliche Korrektheit und Übereinstimmung mit der beabsichtigten Wirkung;
- funktionale Regressionen und Grenzfälle;
- Security einschließlich Berechtigungen, Datenflüssen, Secrets und Supply Chain;
- Safety und möglicher Schadensradius im Betrieb;
- Architektur, Wartbarkeit und Einhaltung technischer Invarianten;
- Performance, Zuverlässigkeit, Observability und Rollback-Fähigkeit;
- regulatorische oder organisationsspezifische Anforderungen.
Nicht jede Klasse ist gleich gut automatisierbar. Vorhandene Tests können nur Anforderungen prüfen, die als Orakel ausgedrückt wurden. Ein agentischer Reviewer kann implizite Probleme suchen, bleibt aber probabilistisch und kann blinde Flecken mit dem erzeugenden Agenten teilen.
Auch menschliches Review ist kein einheitliches Orakel. Die lokale Erfahrung berichtet unterschiedliche Stärken der Reviewer, geringe Zuverlässigkeit bei komplexen Laufzeitproblemen und einen starken Verlust an Erkennungsfähigkeit bei großen oder thematisch vermischten Merge Requests. Begrenzte Änderungsgröße und ein klarer Gegenstand könnten deshalb Voraussetzungen für belastbare menschliche wie agentische Prüfung sein, nicht bloß Komfortregeln.
Kleine Änderungen lassen sich jedoch nicht durch Reviewregeln allein erzwingen. Die These zu hohen Änderungskosten vermutet, dass aufwendige Tests und Rollouts den Anreiz zur Bündelung erzeugen. Ein Assurance-Modell muss daher zugleich Prüftiefe erhalten und die wiederholbaren Kosten sicherer kleiner Änderungen senken.
Mögliches gestaffeltes Modell
Eine vorläufige Reihenfolge wäre:
- kleine, thematisch kohärente und damit prüfbare Änderungen;
- deterministische Format-, Build-, Test-, Secret- und Policy-Prüfungen;
- spezialisierte agentische Reviews gegen explizite fachliche, technische und Security-Kriterien;
- Ausführung in begrenzten Umgebungen mit Laufzeitbeobachtung;
- risikoabhängiges menschliches Review für neuartige, schwer reversible oder weitreichende Änderungen;
- kontrollierter Rollout, Telemetrie, Rollback und Rückführung beobachteter Fehler in Evals und Kontrollen.
Harte Zugriffs- und Umgebungsgrenzen bleiben auch bei guter Prüfung relevant, weil kein Reviewer jeden Fehler ausschließen kann. Siehe Anthropic zur Begrenzung agentischer Systeme.
Nachweis von Suffizienz
„Ausreichend“ kann nur relativ zu Änderung und Risiko definiert werden. Ein Experiment müsste automatische und agentische Prüfungen zunächst zusätzlich zum menschlichen Review ausführen und vergleichen:
- Welche Probleme finden Menschen, deterministische Kontrollen und Agenten jeweils?
- Welche Befunde sind falsch positiv oder werden übersehen?
- Wie viel Review- und Nacharbeitszeit entsteht?
- Welche Fehler erreichen Test, Rollout oder Produktion?
- Bleibt das Ergebnis über mehrere Änderungen und neue Fehlerklassen stabil?
Erst aus diesen Daten könnte eine stufenweise Änderung entstehen: zunächst agentisches Vorab-Review, dann risikobasiert reduziertes menschliches Review für eng begrenzte Änderungsklassen. Verantwortung und Eskalationswege bleiben dabei explizit.
Offene Fragen
- Welche Probleme entdeckt das heutige menschliche Review tatsächlich?
- Welche davon sind bereits zuverlässig maschinell prüfbar?
- Welche Änderungen gelten als risikoarm, reversibel und gut beobachtbar?
- Wie unabhängig müssen Erzeuger- und Reviewer-Agent sein?
- Welche Evidenz und welcher Beobachtungszeitraum rechtfertigen eine Lockerung der Reviewpflicht?