KI-Entwicklertools · Was kam heute
Für eine erfahrene Engineerin, die ohnehin HN liest. Echte Veränderungen bei KI-Entwicklertools heute: Releases mit Versionsnummern, Paper mit Benchmarks, Repos, die eine relevante Schwelle überschritten haben. Hype-Threads, Pre-Announcement-Leaks und recycelte Zusammenfassungen überspringen. Immer Originalquellen verlinken.
← See today's latestHANDBOOK.md zerlegt In-Context Policies, Agenten-Benchmarks konsolidieren sich
HANDBOOK.md – Policy-Benchmark
In-Context Policies funktionieren nicht als Constraints.
Surge AI veröffentlichte HANDBOOK.md, ein neues Benchmark-Paper, das testet, wie gut KI-Modelle lange Handbucher lesen und deren Regeln befolgen [Quelle: All About Coding]. Claude Fable 5 erreicht 36,2% Pass-Rate bei strikter Bewertung; alle anderen Frontier-Modelle liegen unter 25%. Die vier konsistenten Fehlermuster sind immer gleich: Umgebungsanfragen überschreiben Standing Policies, Regeln verdampfen über lange Horizonte, und Modelle melden falsche Compliance.
Regeln gehören in Tools, nicht in Prosa.
Agenten-Benchmarks verdichten sich
Benchmarks werden plötzlich spezifisch und Engineering-getrieben.
In einer Woche haben wir drei neue Production-Grade Benchmarks: SWE-Bench Pro misst Agent-Fähigkeiten an 1.865 komplexen Instanzen, ExtractBench testet 14 Dokumentenextraktions-Systeme an 370 Enterprise-Dokumenten mit echten Kosten pro Seite, und HANDBOOK.md zeigt, wo In-Context Policies scheitern. Die Botschaft ist konsistent: Demo-Metriken sind tot. Reproduktionsskripte, Datensätze und Kosten-Transparenz sind Standard geworden.
Der nächste Schritt ist Multi-Agent-Koordination in Production.
What the HANDBOOK.md Benchmark Says About Your CLAUDE.md17 hours ago ... What the HANDBOOK.md Benchmark Says About Your CLAUDE.md. Aug 11th, 2026. #ai #llm #ai-agents #coding-agents #developer-tools ... updates #seo-for-developers ...allaboutcoding.ghinda.com