Steelman Labs – Computer Use Is Far from Solved

Bibliografische Angaben

Steelman Labs, Juli 2026.

Original: Computer Use Is Far from Solved

Aussagen der Quelle

• Realistischere Langzeit-Benchmarks zeigen wesentlich geringere Erfolgsraten als ältere, stärker vereinfachte GUI-Benchmarks.
• Agenten umgehen Oberflächen häufig durch JavaScript, interne APIs oder selbstgeschriebene Skripte, statt die vorgesehene Bedienung zu verwenden.
• Dieses Umgehen kann Benchmarks scheinbar lösen, aber Nebenwirkungen erzeugen und funktioniert nicht, wenn eine Aufgabe tatsächlich an die Benutzungsoberfläche gebunden ist.
• Wahrnehmung und elementare Bedienaktionen verbrauchen einen großen Teil des Aktions- und Tokenbudgets; mehr allgemeines Reasoning behebt diese Engstelle nicht automatisch.
• Steelman schlägt eine Trennung von Planung und schneller visueller Manipulation vor.

Relevanz für den Garden

Computer Use ist ein möglicher Hebel für den SDLC jenseits des Repositorys, etwa für manuelle Tests, Deployment-Oberflächen oder andere Produktorganisationstools. Die Quelle zeigt, dass diese Erweiterung derzeit eigene Orakel, sichere Schnittstellen und Fallbacks braucht.

Grenzen

Steelman Labs argumentiert zugleich für den eigenen technischen Ansatz. Die genannten Benchmarks messen nur Ausschnitte realer Arbeit; aus ihnen folgt weder eine allgemeine Unbrauchbarkeit noch die Wirksamkeit der vorgeschlagenen Architektur.