Kritische Einordnung von Lässigs kybernetischem Human-on-the-Loop-Modell

Kurzurteil

Lässigs Artikel liefert ein produktives Designvokabular, aber keinen kybernetischen Beweis für Human-on-the-Loop. Feedback, Requisite Variety, Attenuation, Amplification und Modellbildung erklären plausibel, welche Probleme eine menschliche Steuerung agentischer Systeme lösen muss. Aus diesen Konzepten folgt jedoch weder, dass Menschen aus der operativen Schleife heraustreten müssen, noch dass Dashboards, Ausnahmebehandlung und gelegentliches Go See hinreichende Kontrolle ergeben.

Die stärkste Lesart lautet daher: Lässigs Parallelen erzeugen prüfbare Designfragen. Eine schwächere, nicht gedeckte Lesart wäre: Kybernetische Forschung habe diese konkrete Aufsichtsarchitektur für Coding Agents bereits theoretisch hergeleitet oder empirisch bestätigt.

Welche Parallelen tragen?

Agentische Entwicklung als geschlossener Regelkreis

Diese Parallele ist tragfähig. Agenten verändern Code und Systemzustände; Tests, Analysen, Telemetrie und menschliche Rückmeldungen beobachten einen Teil der Wirkung; Regeln und Kontext beeinflussen weitere Aktionen. Ashby macht deutlich, dass Regulation nicht allein in der ausführenden Aktion liegt, sondern in der gesamten Zuordnung von Störungen, Reaktionen und Ergebnissen.

Die Parallele bleibt aber zunächst strukturell. Ein vorhandener Feedbackkanal ist noch kein wirksamer Regelkreis. Dafür müssten mindestens Zielzustände, tolerierbare Abweichungen, beobachtbare Variablen, Eingriffsmöglichkeiten, Verzögerungen und Systemgrenzen bestimmt werden. Lässig illustriert solche Elemente, formalisiert oder evaluiert sie jedoch nicht.

Sensors und Guides als Feedback und Feedforward

Die Zuordnung ist ebenfalls plausibel. Böckelers Harness-Modell operationalisiert vorwirkende Guides und nachwirkende Sensors für Coding Agents. Kybernetisch betrachtet erweitern Tests, Regeln und Werkzeuge den Regulator über das einzelne menschliche Urteilsvermögen hinaus.

Der wichtige Vorbehalt lautet: Ein Sensor misst nur seine Operationalisierung. Tests können falsche Anforderungen bestätigen, aggregierte Metriken seltene Fehler verdecken und agentische Reviewer dieselben Modellschwächen wie der erzeugende Agent teilen. Ein Guide kann menschlichen Einfluss verstärken, aber auch eine falsche Annahme in jeden Lauf kopieren. Die Begriffe erklären damit sowohl den möglichen Hebel als auch den möglichen systematischen Fehler.

Attenuation und Amplification

Lässigs Anwendung dieser Begriffe ist im Grundsatz mit Requisite Variety vereinbar. Attenuation begrenzt die Störungs- oder Informationsvielfalt, die eine regulatorische Ebene bewältigen muss. Amplification erweitert deren Reaktionsfähigkeit. Aggregation, Schwellenwerte, maschinenlesbare Regeln, Wissensbasen und verteilte Kontrolle sind plausible Beispiele.

Nicht hinreichend gestützt ist dagegen die Gleichsetzung von schneller erzeugtem Code mit kybernetischer Variety. Bei Ashby bezeichnet Variety unterscheidbare Zustände beziehungsweise deren informationstheoretisches Maß, nicht Textmenge oder Änderungsgeschwindigkeit. Für Lässigs Schluss müssten relevante Fehler- und Entscheidungszustände sowie mögliche Reaktionen modelliert werden. Mehr generierter Code kann diese Variety erhöhen, muss es aber nicht; redundanter Output kann viel Volumen und wenig relevante Vielfalt besitzen.

Law of Requisite Variety

Ashbys Ergebnis stützt eine Grenze: Ein Regulator kann relevante Störungsvielfalt nicht beliebig mit zu geringer Reaktions- und Kommunikationskapazität beherrschen. Das spricht gegen die Vorstellung, ein einzelner Mensch könne eine unbegrenzt skalierende Agentenproduktion durch lineares Review kontrollieren.

Das Gesetz schreibt aber keine Human-on-the-Loop-Architektur vor. Mögliche Antworten sind ebenso eine Begrenzung von Agentenrechten und Parallelität, kleinere Zustandsräume durch Modularisierung, stärkere deterministische Kontrollen, langsamere Ausführung, mehrere unabhängige Kontrollinstanzen oder eine andere Verteilung zwischen Mensch und Automation. Der Schritt auf die Metaebene ist eine Designoption zur Variety-Balance, nicht die logische Folgerung des Gesetzes.

Good-Regulator-Theorem und mentale Modelle

Lässigs Intuition, dass wirksame Steuerung ein zutreffendes Modell des Systems benötigt, ist vernünftig, aber seine theoretische Absicherung ist zu stark formuliert. Conant und Ashby beweisen ihr Ergebnis für einen formal abgegrenzten Regulator, der maximal erfolgreich und nicht unnötig komplex ist. Das Theorem sagt nicht, dass ein einzelner Engineer ein vollständiges bewusstes Modell im Kopf tragen muss. Das relevante Modell könnte im gesamten Verbund aus Teamwissen, Tests, Architektur, Telemetrie und Werkzeugen verteilt sein.

Virgo et al. verschärfen den Einwand. Nach ihrer Analyse beweist das Original nicht, dass jeder gute Regulator ein Modell ist, sondern nur ein eingeschränkter Teil der Regulatoren. Ihre breitere Neuformulierung für gekoppelte Agent-Umwelt-Systeme macht Modelle von einer Beobachterinterpretation abhängig und lässt triviale Modelle zu. Selbst diese Arbeit beschränkt ihre konkrete Formalisierung auf deterministische Systeme in diskreter Zeit und warnt, dass die stochastische Erweiterung nicht selbstverständlich ist.

Damit stützt die Forschung eine bescheidene Aussage: Für die Steuerung müssen relevante Unterschiede im System irgendwo wirksam repräsentiert werden. Sie stützt nicht Lässigs stärkere praktische Folgerung, dass ein menschlicher Meta-Steuernder durch sein mentales Modell verlässliche Kontrolle erlangt.

Viable System Model und Managementanalogie

Das VSM bietet eine Sprache für operative Einheiten, Koordination, Kontrolle, Umweltanpassung, Zielsetzung und rekursive Systemstruktur. Dies kann helfen, Agenten, Plattform, Teams und Governance nicht in einem monolithischen Supervisor zusammenzufassen. Lowe et al. beschreiben das VSM als etablierten Diagnose- und Gestaltungsrahmen, berichten aber zugleich erhebliche Zugänglichkeitsprobleme und kontextabhängige Anpassungen. Ihre Evidenz besteht aus der Reflexion dreier Interventionen, nicht aus einer kontrollierten Prüfung universeller Organisationsleistung.

Lässigs Analogie zu falliblen, dennoch leistungsfähigen Organisationen ist deshalb inspirierend, aber unvollständig. Menschliche Organisationen beruhen zusätzlich auf Verantwortung, Motivation, Aushandlung, sozialem Lernen und Sanktionen. Ein LLM-Agent besitzt diese Eigenschaften nicht schon deshalb, weil ihm eine Rolle oder ein Ziel zugewiesen wird. Aus der Funktionsfähigkeit menschlicher Organisationen folgt keine entsprechende Zuverlässigkeit einer „AI Workforce“.

Human außerhalb oder innerhalb des Systems

Lässigs Bild, der Mensch trete aus dem System heraus, ist mit einer Kybernetik erster Ordnung verständlich: Ein Beobachter gestaltet und reguliert ein betrachtetes System. Second-order Cybernetics problematisiert jedoch genau diese Außenposition. Wer Ziele, Metriken, Kategorien, Stichproben und Eskalationsschwellen festlegt, beeinflusst das beobachtete System und wird durch dessen Rückmeldungen selbst verändert.

Für agentische Softwareentwicklung ist der Mensch daher auf einer operativen Schleife, aber weiterhin in einem größeren sozio-technischen Regelkreis. Diese Einordnung ist mehr als Wortwahl: Sie macht Zielkonflikte, Messfehler, organisatorische Anreize und die Auswahl dessen, was überhaupt sichtbar wird, zu Bestandteilen der Steuerung.

Go See und Double-loop Learning

Lässigs Ergänzung von Dashboards durch direkte Stichproben ist eine starke interne Korrektur seines Modells. Sie erkennt an, dass Attenuation Information vernichtet und dass das Steuerungsmodell selbst veralten kann. Die Verbindung zu Double-loop Learning ist dann überzeugend, wenn Befunde nicht nur einen einzelnen Patch auslösen, sondern Ziele, Annahmen, Guides, Sensors oder Agentenarchitektur verändern.

Offen bleiben Auswahl, Häufigkeit und Aussagekraft der Stichproben. Gelegentlich drei komplexe Pull Requests zu prüfen, wie im Beispiel des Artikels, ist keine aus Kybernetik abgeleitete oder empirisch validierte Kontrollrate. Seltene, korrelierte oder erst in Produktion erkennbare Fehler können weiterhin unentdeckt bleiben.

Was sagt die Forschung zur menschlichen Aufsicht?

Die angrenzende Human-Factors-Forschung stützt Lässigs Problemstellung, warnt aber vor einer zu schwach gekoppelten Aufsicht. Endsley und Kiris fanden in einem automatisierten Navigationsexperiment weniger Situationsbewusstsein und langsamere Entscheidungen nach einem Automationsausfall. Kaber und Endsley verbinden Out-of-the-Loop-Arbeit mit Vigilanzverlust, übermäßigem Vertrauen und Fähigkeitsabbau; in ihrer dynamischen Kontrollaufgabe schnitten mittlere Automationsgrade mit gemeinsamer Kontrolle besser ab als eine möglichst weitgehende Verlagerung zur Automation.

Diese Studien untersuchen weder LLMs noch Softwareentwicklung. Sie liefern deshalb keine direkte Gegenbeweisführung, wohl aber eine belastbare Transferhypothese: Wer nur Ausnahmen sieht, kann genau die Situationskenntnis und technische Übung verlieren, die für seltene Eingriffe nötig ist. Go See könnte dem entgegenwirken, ist im Artikel aber nicht als überprüftes Arbeitsdesign ausgearbeitet.

Sind kybernetische Ergebnisse auf agentische Systeme übertragbar?

Formal: bedingt ja

Wenn ein agentisches System mit Zuständen, Störungen, Aktionen, Zielmengen und Rückkopplungskanälen formal beschrieben wird, gelten mathematische Grenzen wie Requisite Variety innerhalb dieses Modells. Das ist keine Analogie, sondern eine Anwendung des Formalismus. Die Aussagekraft reicht jedoch nur so weit wie die gewählte Abstraktion. Nicht modellierte fachliche Wirkungen, Sicherheitsrisiken oder soziale Dynamiken verschwinden nicht, sondern liegen außerhalb des Beweises.

Als Designheuristik: deutlich ja

Die Konzepte erzeugen nützliche Fragen:

• Welche Zustände sollen stabil gehalten oder erreicht werden?
• Welche Störungen und Fehlerklassen sind relevant?
• Was können Sensors tatsächlich erkennen und mit welcher Verzögerung?
• Welche Variety wird begrenzt und welche nur unsichtbar gemacht?
• Welche Eingriffe stehen Menschen, Agenten und deterministischen Kontrollen zur Verfügung?
• Wo liegt das für Regulation relevante Modell und wie wird es korrigiert?
• Wie bleibt der Beobachter selbst lern- und eingriffsfähig?

Diese Fragen verbessern ein Agentendesign auch dann, wenn kein kybernetischer Satz unmittelbar anwendbar ist.

Empirisch: bislang nicht durch Lässigs Referenzen belegt

Keine der von Lässig herangezogenen kybernetischen Quellen vergleicht Human-in-the-Loop und Human-on-the-Loop bei Coding Agents. Das VSM stammt aus Organisationsdiagnose, Ashbys und Conant-Ashbys Ergebnisse aus abstrakten formalen Modellen, und die neuere Arbeit von Virgo et al. behandelt verkörperte Agenten theoretisch. Die Human-Factors-Studien zeigen relevante Risiken automatisierter Aufsicht in anderen Domänen, bestimmen aber keine sichere Arbeitsaufteilung für Softwareentwicklung.

Für eine belastbare Übertragung wären mindestens Experimente mit realen Aufgabenklassen nötig, die Fehlerentdeckung, Durchlaufzeit, menschliche Aufmerksamkeit, Situationsverständnis, Fähigkeitsentwicklung, Produktionsfolgen und Wiederherstellungsfähigkeit gemeinsam messen. Zu vergleichen wären nicht nur vollständiges Review und Ausnahmeaufsicht, sondern mehrere abgestufte Verteilungen von Planung, Ausführung, Prüfung und Freigabe.

Gesamtbewertung

Lässigs Artikel ist als konzeptionelle Synthese stärker als als Begründung. Er übersetzt klassische Kybernetik in ein handhabbares Vokabular für Harness Engineering und erkennt mit Go See eine zentrale Gefahr abstrakter Steuerung. Seine Kernaussage, dass menschliche Aufmerksamkeit nicht linear mit agentischem Output skalieren kann, ist plausibel und mit Requisite Variety vereinbar.

Zu weit gehen drei implizite Schlussfolgerungen:

1. Codevolumen ist nicht ohne Formalisierung mit kybernetischer Variety gleichzusetzen.
2. Aus Requisite Variety folgt nicht notwendig der Wechsel von kontinuierlicher Objektprüfung zu menschlicher Meta-Aufsicht.
3. Das Good-Regulator-Theorem garantiert weder ein zutreffendes menschliches Modell noch die Wirksamkeit der vorgeschlagenen Organisation.

Die angemessene Position für den Garden lautet daher: Kybernetik stützt die Problemstruktur und liefert Designprinzipien. Sie validiert Human-on-the-Loop für agentische Softwareentwicklung noch nicht. Bis direkte Evidenz vorliegt, sollte Human-on-the-Loop als risikobasiert zu prüfende Arbeitsgestaltung gelten, die aktive Stichproben, unabhängige Sensors, begrenzte Agentenautorität, abgestufte Automationsgrade und den Erhalt menschlicher Eingriffskompetenz benötigt.

Die darauf aufbauende Synthese Vom vollständigen Code-Review zu Human-on-the-Loop macht diese Bedingungen als Transformationspfad und vorläufiges Reifegradmodell operationalisierbar, ohne sie als bereits validierten Standard auszugeben.