Shen et al. – SecRepoBench

Bibliografische Angaben

Chihao Shen, Connor Dilgren, Purva Chiniya, Luke Griffith, Yu Ding und Yizheng Chen, veröffentlicht beim 3rd International Workshop on Large Language Models for Code (LLM4Code 2026), arXiv:2504.21205v3, zuletzt überarbeitet am 14. Februar 2026.

Original: SecRepoBench: Benchmarking Code Agents for Secure Code Completion in Real-World Repositories

Aussagen der Quelle

• Der Benchmark umfasst 318 Codeergänzungsaufgaben aus 27 realen C- und C++-Repositories und deckt 15 Common Weakness Enumerations ab.
• Funktionale Korrektheit wird mit vorhandenen Unit Tests, Sicherheit mit aus OSS-Fuzz gewonnenen Testfällen geprüft.
• Verglichen werden 29 eigenständige LLMs und 15 Code Agents aus drei Agent Frameworks.
• Aktuelle Modelle hatten Schwierigkeiten, zugleich korrekte und sichere Ergänzungen zu erzeugen. Code Agents schnitten deutlich besser ab als isolierte Modelle.
• Ergebnisse aus einfacheren, in sich geschlossenen Security-Benchmarks übertrugen sich nicht zuverlässig auf Repository-Kontext.

Relevanz für den Garden

SecRepoBench konkretisiert unabhängige Orakel für Security und zeigt einen realen Nutzen agentischer Exploration gegenüber bloßer Codegenerierung. Zugleich stützt er die Forderung, funktionale und sicherheitsbezogene Erfolgskriterien gemeinsam in den Harness einzubauen.

Grenzen

Der Benchmark ist auf C/C++, bekannte speicherbezogene Schwachstellen und einzelne Codeergänzungen konzentriert. Er untersucht weder Prompt Injection noch Rechte, Secrets, Supply Chain oder den Schadensradius ausführender Agenten. Gute Benchmarkwerte ersetzen daher keine Security-Architektur, und die Ergebnisse hängen von den getesteten Modell- und Agentenversionen ab.