Hexmoor, McLaughlan und Tuli – Natural Human Role in Supervising Complex Control Systems

Bibliografische Angaben

Henry Hexmoor, Brian McLaughlan und Gaurav Tuli, „Natural Human Role in Supervising Complex Control Systems“, Journal of Experimental & Theoretical Artificial Intelligence, Band 21, Nr. 1, März 2009, S. 59–77. Der Beitrag wurde laut Publikation im November 2007 eingereicht; die endgültige Fassung ging am 4. Juni 2008 ein.

Original: Natural Human Role in Supervising Complex Control Systems

Aussagen der Quelle

• Die Autoren stellen Man On The Loop (MOTL) als Gegenbegriff zu Man In The Loop vor und beanspruchen ausdrücklich, diese Formulierung zu prägen.
• Man In The Loop bezeichnet in ihrem Modell direkte Eingriffe in das Handeln eines einzelnen Agenten. Man On The Loop bezeichnet dagegen indirekten Einfluss auf der Ebene einer Einheit oder Agentengemeinschaft.
• Der menschliche Supervisor soll nicht jedes Detail mikromanagen, sondern über übergeordnete Parameter und soziale beziehungsweise organisatorische Beziehungen auf das Verhalten des Systems einwirken.
• Das Modell entstand im Kontext komplexer Multi-Agent-Systeme für Defence- und Space-Anwendungen und wurde mit einer domänenneutralen Simulation untersucht.

Entwickelte und übernommene Modelle

Der eigene Kernbeitrag der Autoren ist das Man-On-The-Loop-Paradigma (MOTL): Statt einzelne Aktionen eines Agenten direkt zu korrigieren, beeinflusst ein Mensch das Verhalten ganzer Einheiten oder Agentengemeinschaften indirekt. Der Eingriff richtet sich auf gemeinsam wirksame Parameter, Regeln und Beziehungen. Als anschauliches Beispiel nennen die Autoren Policy-basiertes Netzwerkmanagement, bei dem eine zentrale Policy viele Einzelkonfigurationen verändert.

Für diese Makrosteuerung operationalisieren sie ein psycho-sozio-kulturelles Parametermodell mit drei Gruppen:

Modellbereich	Parameter	Beabsichtigte Steuerungswirkung
Persönlichkeit	Konformität, Soziabilität, Commitment, Disposition beziehungsweise Frustration	Reaktion auf Vorgaben, Kooperation mit Peers sowie Ausdauer und Reaktion auf Erfolg oder Misserfolg beeinflussen
Kultur	Power Distance, Individualismus, Unsicherheitsvermeidung und langfristige Orientierung	Hierarchie, Eigenständigkeit, Risikoneigung, Regeldichte und Zeithorizont einer Agentengemeinschaft beeinflussen
Soziales Schlussfolgern	Autonomie, Benevolenz, Vertrauen, Gruppierung, Capability, Macht und Interdependenz	Delegation, Zusammenarbeit, Autoritätsverteilung und die Abhängigkeit zwischen Agenten beeinflussen

Die Autoren übersetzen diese Begriffe in Rechenregeln einer domänenneutralen Agentensimulation. Agenten werden anhand sozialer Macht gruppiert; ihre aufgabenspezifischen Capabilities bestimmen Erfolg oder Misserfolg und mögliche Delegation; daraus werden unter anderem Vertrauen, Autonomie, Konformität und Interdependenz fortgeschrieben. Der Supervisor variiert seine Kontrollintensität, erhält Zustands- und Verständnisfeedback und beobachtet die Systemwirkung über mehrere Zyklen.

Nicht alles daran wurde von Hexmoor, McLaughlan und Tuli neu entwickelt:

• Der Entscheidungszyklus Observe, Orient, Decide, Act (OODA) dient als Inspiration, stammt aber nicht von ihnen.
• Den iterativen Supervisor-Zyklus Plan, Teach, Monitor, Intervene, Learn übernehmen sie nach eigener Darstellung von Thomas Sheridan und wenden ihn auf MOTL an. Beim Eingriff werden die Parameter der Agenten beziehungsweise der Gemeinschaft angepasst.
• Die vier Kulturdimensionen adaptieren sie von Geert Hofstede. Auch mehrere Persönlichkeits- und Social-Reasoning-Konstrukte bauen auf älterer Literatur auf.

Die Simulation ergibt in ihrem Gesamtmodell eine umgekehrt U-förmige Beziehung: Mehr menschliche Kontrolle verbessert das modellierte System zunächst, zu starke Kontrolle verschlechtert es wieder. Die Autoren deuten dies als Hinweis auf ein optimales Eingriffsniveau, grenzen das Ergebnis aber selbst als prototypischen Wegweiser und nicht als allgemein validierte Theorie ein.

Übertragung auf heutige LLM-Agentensysteme

Die folgende Zuordnung ist eine Interpretation für den Garden, keine im Paper geprüfte Aussage:

MOTL-Gedanke	Plausible Umsetzung bei LLM-Agenten	Einschätzung
Eingriff auf Gemeinschaftsebene	Gemeinsame System Instructions, versionierte Policies, Evals, Toolregeln, Berechtigungen und Budgets im Agent Harness ändern	Direkt anwendbares Gestaltungsprinzip
Plan–Teach–Monitor–Intervene–Learn	Aufgaben planen, Regeln und Beispiele bereitstellen, Traces und Ergebnisse beobachten, Läufe stoppen oder begrenzen und Befunde zurück in Harness und Evals führen	Direkt anwendbarer Supervisor-Zyklus, aber von Sheridan übernommen
Capability-basierte Delegation	Aufgaben anhand gemessener Eval-Ergebnisse, Toolzugänge und domänenspezifischer Zuverlässigkeit routen	Gut übertragbar, wenn Capability empirisch und aufgabenspezifisch bestimmt wird
Gruppierung, Macht und Interdependenz	Orchestrator-, Worker- und Reviewer-Rollen, Kommunikationspfade, Übergaberegeln und minimale Toolrechte gestalten	Als Architektur- und Autoritätsmodell übertragbar
Unsicherheits- und Autonomiegrad	Explorationsspielraum, Approval Gates, erlaubte Aktionen, Retry- und Kostenbudgets sowie Eskalationsschwellen risikobasiert einstellen	Funktional übertragbar; nicht als menschliches Kulturmerkmal
Zustands- und Verständnisfeedback	Strukturierte Pläne, Statusmeldungen, Toolprotokolle, Unsicherheitsangaben und prüfbare Evidenzpakete verlangen	Direkt relevant für Beobachtbarkeit, aber keine Garantie korrekter Selbstauskunft
Globaler Kontrollparameter	Mehrere Kontrollen gemeinsam je Risikoklasse verschärfen oder lockern	Nur als Heuristik brauchbar; ein einziger Skalar bildet reale Kontrollqualität nicht ab

Die Persönlichkeits- und Hofstede-Parameter sind dagegen nicht unverändert übertragbar. Ein LLM besitzt nicht nachgewiesenermaßen menschliche Frustration, Commitment, Kultur oder Vertrauen. Solche Wörter können allenfalls beobachtbare technische Stellgrößen benennen. Beispielsweise sollte „Vertrauen“ durch aufgabenspezifische Erfolgsraten und Kalibrierung ersetzt werden, „Macht“ durch tatsächlich durchsetzbare Berechtigungen und „Unsicherheitsvermeidung“ durch explizite Policies für Exploration und Freigabe.

Auch die Gleichungen und der behauptete optimale Kontrollpunkt lassen sich nicht übernehmen. Die Simulation verwendet homogene Agenten, zufällige Startwerte, abstrakte Ziele und typische Läufe mit zehn Agenten und zwanzig Zielen. Sie untersucht weder probabilistische Sprachmodelle noch Tool Use, Prompt Injection, Kontextverlust, Halluzinationen oder Softwarequalität. Für heutige Systeme liefert sie deshalb eine Architekturhypothese: Menschen sollten das Agentensystem über beobachtbare, durchsetzbare und lernende Rahmenbedingungen steuern. Ob und bei welchem Eingriffsniveau dies sicherer oder effizienter ist, muss pro Domäne empirisch geprüft werden.

Einordnung der Begriffsgeschichte

Dies ist der früheste bislang im Rahmen der Garden-Recherche gefundene belastbare Prägungsanspruch: Die Autoren schreiben selbst, sie prägten Man On The Loop. Weil der Artikel schon im November 2007 eingereicht wurde, reicht die dokumentierte Entstehung vor seine Veröffentlichung im März 2009 zurück.

Damit ist jedoch nicht bewiesen, dass niemand die Formulierung zuvor informell verwendet hat. Ebenso belegt der Artikel unmittelbar nur die ursprüngliche Form Man On The Loop. Ein späterer Beleg von 2024 verwendet Humans-on-the-Loop für ein LLM-Multi-Agent-System; wer den Wechsel zur genderneutralen Form erstmals vollzog, bleibt ungeklärt.

Sanchez verbindet die Formulierung am 6. Februar 2026 ausdrücklich mit Agentic Engineering. Morris hat den Ausdruck ebenfalls nicht geprägt, sondern entwickelt seine Anwendung auf Agent Harnesses in der Softwareentwicklung am 4. März 2026 weiter. Lässig greift diese softwarebezogene Verwendung auf.

Relevanz für den Garden

Der Ursprung ist dem heutigen Harness-Engineering-Gedanken näher, als eine reine militärische Überwachungsdefinition vermuten lässt: Schon das ursprüngliche MOTL-Modell verlagert menschliche Arbeit von Eingriffen an einzelnen Agenten auf die Gestaltung übergeordneter Verhaltensbedingungen. Morris’ Modell ist dennoch keine bloße Wiederholung, da es diese Idee auf verschachtelte Softwareentwicklungs-Loops und die fortlaufende Verbesserung ihres Harnesses zuschneidet.

Die Synthese zum Übergang von Human-in-the-Loop zu Human-on-the-Loop konkretisiert diese Übertragung mit risikobasierten Freigaben, Sensors, Stichproben, Autoritätsgrenzen und Rollback-Fähigkeit.

Grenzen

Der Beitrag untersucht simulierte Agentengemeinschaften und keine heutigen LLM-basierten Coding Agents. Seine Formeln operationalisieren teilweise anthropomorphe Annahmen und sind keine empirisch validierten Gesetzmäßigkeiten. Der eigene Prägungsanspruch ist ein starker Herkunftsbeleg, aber kein abschließender Nachweis der weltweit ersten mündlichen oder schriftlichen Verwendung. Auch die spätere Ersetzung von Man durch Human wird darin nicht dokumentiert.