KI-Entwicklertools · Was kam heute

# Software Engineering Agent Research Papers and Benchmarks Die neuesten Papers zeigen rasante Fortschritte bei KI-Entwicklertools für Softwareentwicklung. Relevante aktuelle Releases sind: SWE-Bench Pro für komplexere Enterprise-Probleme mit 1.865 Instanzen über 41 Repositories, SWE-Bench ProMax mit 170 multilingualen Code-Refactoring Tasks, sowie SWE-Bench++ ein Framework mit 11.133 Tasks über 11 Programmiersprachen. Specialized Benchmark-Varianten umfassen SWE-Bench-Live für kontinuierliche Updates mit 1.319 Tasks seit 2024, SWE-Bench Multilingual, SWE-bench-java und Claw-SWE-Bench für verschiedene Kontexte. Neue Agent-Frameworks wurden vorgestellt wie Live-SWE-agent mit 75,4% Resolve Rate, Confucius Code Agent mit 54,3% auf SWE-Bench-Pro, sowie Argus und Sakana Fugu als Orchestrator-Systeme. State-of-the-art Open-Source Modelle erreichen 61-70% auf SWE-Bench Verified durch systematische Post-Training-Verfahren wie in SWE-Master und Skywork-SWE demonstriert.

LlamaIndex veröffentlichte ExtractBench, einen umfassenden Open-Source-Benchmark für die Dokumentenextraktion mit 370 Enterprise-Dokumenten über 8 Business-Domains und 67 Dokumenttypen. Der Benchmark bewertet 14 Systeme einschließlich VLMs, Coding Agents und spezialisierter Extraktions-APIs und adressiert Produktions-Anforderungen wie Long-Record-Completeness, gescannte und handschriftliche Inhalte, Word- und Page-Level Grounding sowie gemessene Kosten. Das neue LlamaExtract Agentic Plus Tier erzielte Spitzenergebnisse mit 95,6% Value F1 bei 8,1¢ pro Seite und übertrifft konkurrierende Systeme bei deutlich niedrigeren Kosten. Datensatz, Evaluierungs-Code und Paper sind auf HuggingFace, GitHub und arXiv öffentlich verfügbar.