Senior AI Engineering

Der Artikel behandelt AI agent evaluation platforms – eine spezialisierte Kategorie von Tools zur Messung, ob KI-Agenten ihre Aufgaben korrekt ausführen. Er vergleicht sieben führende Plattformen: Arize AX, Arize Phoenix, LangSmith, Braintrust, Langfuse, W&B Weave und Comet Opik. Für Senior AI Engineers relevante Entwicklungen: Der Text dokumentiert die Verschiebung von reiner Output-Evaluation zu umfassender Trace- und Trajectory-Evaluation, die Tool-Selection, Fehlerbehandlung und Multi-Turn-Kontexte misst. Arize Phoenix hat im April 2025 Prompt-Management in den Open-Source-Kern integriert. Die Plattformen implementieren zunehmend Agent-native Workflows über APIs und MCP-Server statt nur manuelle Web-UI-Workflows. OpenTelemetry und OpenInference werden als Standard für herstellerunabhängige Instrumentation etabliert, statt propriätärer Tracing-Formate. Ein neuer Trend sind AI-Assistenten (z.B. Alyx in Arize AX), die automatisch Traces analysieren, Evaluators generieren und Debugging-Workflows orchestrieren – nicht nur für Menschen, sondern auch für andere Agenten.

DeepSeek hat DeepSeek Harness v0.1 veröffentlicht, ein Open-Source-Agent-Runtime-Framework unter MIT-Lizenz, das auf einer Plugin-basierten Architektur basiert. Das Framework implementiert alle Agent-Fähigkeiten — Modelle, Tools, Skills, Sandboxes, Dateisysteme, Schleifen, Orchestrierung und UI — als austauschbare Plugins, die auf dem Cordis-Meta-Framework aufgebaut sind. Dies ermöglicht es Teams, Agent-Komponenten per Konfiguration zu kombinieren und auszutauschen, ohne den Quellcode zu forken. Das Harness bietet vier vordefinierte Runtime-Modi (Standard, Code, Minimal, Creator) und ein inspirierbares Event-Log für vollständige Nachvollziehbarkeit jedes Agent-Durchlaufs. Die MIT-Lizenz ermöglicht es Teams, einen vollständig offenen Agent-Stack ohne proprietären Vendor-Lock-in zu betreiben. Das Framework befindet sich aktuell in der Entwicklervorschau mit warnung vor kompatibilitätsbrechenden Änderungen und eignet sich damit eher für Experimente und Plugin-Entwicklung als für Produktionssysteme.

OpenCode ist ein Framework zur AI-Entwicklung, das LLMs mit Tools in der Codebasis verbindet. Das System bietet eingebaute Tools wie bash, edit, write, read, grep, glob sowie das experimentelle lsp-Tool für Code-Intelligence-Features. Zusätzlich unterstützt OpenCode Custom Tools und MCP-Server (Model Context Protocol) zur Integration externer Dienste und APIs. Die Tool-Berechtigungen lassen sich granular steuern – pro Tool können Aktionen erlaubt, verboten oder mit Freigabeanforderung versehen werden, auch per Wildcard für mehrere Tools gleichzeitig.