KI-Produktmanagement · Branchen-Briefing

Der Artikel behandelt Compliance-Software für Regulatory Affairs bei Medizinprodukten und adressiert dabei alle drei Suchintents des Nutzers: KI-Governance und Compliance-Anforderungen, KI-Produktentwicklung mit Regulierung sowie KI-gestützte Prozesse in der Branche. Zur KI-Governance und Compliance: Der AI Act führt für KI-basierte Medizinprodukte und In-vitro-Diagnostika nach Artikel 6 Abs. 1 eine neue Regulierungsebene neben MDR und IVDR ein. KI-Systeme fallen unter die Hochrisiko-Definition, wenn sie selbst ein Medizinprodukt oder Sicherheitsbauteil sind und einer Drittstellen-Konformitätsbewertung unterliegen. Die neuen Anforderungen betreffen Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Zur KI-Produktentwicklung und Regulierung: Für Hochrisiko-KI-Medizinprodukte wird Software benötigt, die Datensätze, Modelle, Tests und Leistungsüberwachung über den gesamten Produktlebenszyklus kontrollierbar macht. Ein zentraler Punkt ist nachvollziehbares Datenmanagement: Trainings-, Validierungs- und Testdatensätze müssen mit ihrer Herkunft, Repräsentativität, möglichen Verzerrungen und Versionierung dokumentiert werden. Die IEC PAS 63621:2026 adressiert dieses Datenmanagement speziell für KI-fähige Medizinprodukte. Test- und Nachweisführung werden statistischer geprägt und erfordern Dokumentation von Leistungsmetriken, Akzeptanzkriterien, Subgruppenanalysen, Regressionstests und Drift-Überwachung, wie der Normentwurf IEC 63450 zur Prüfung von KI-/ML-fähigen Medizinprodukten vorsieht. [Quelle: vde]

Der EU-AI-Act ist seit August 2024 in Kraft und die unternehmensrelevanten Regelungen treten seit Februar 2025 schrittweise in Kraft, mit vollständiger Umsetzung bis August 2027. Die Verordnung folgt einem risikobasierten Ansatz und unterscheidet zwischen Anbietern (die KI-Systeme entwickeln und in Verkehr bringen) und Betreibern (die KI-Systeme beruflich einsetzen). Unternehmen müssen ihre KI-Systeme in vier Risikostufen klassifizieren: verbotene Praktiken, hohes Risiko, geringes/spezifisches Transparenzrisiko und minimales Risiko. Für Anbieter von Hochrisiko-KI gelten umfangreiche Anforderungen inklusive Risikomanagementsystemen, Daten-Governance, Transparenzverpflichtungen und menschlicher Aufsicht. Betreiber von Hochrisiko-Systemen müssen sachgerechte Nutzung sicherstellen und teilweise Grundrechte-Folgeabschätzungen durchführen. Besondere Regelungen gelten für GPAI-Modelle (allgemeine KI-Modelle), die ab August 2025 Konformitätsanforderungen erfüllen müssen. Transparenzpflichten seit August 2026 verlangen Kennzeichnung von KI-generierten oder manipulierten Inhalten, KI-Interaktionen und Deepfakes. Verstöße gegen verbotene Praktiken können mit Geldbußen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes bestraft werden; andere Verstöße bis zu 15 Millionen Euro oder 3 % des Jahresumsatzes. Für KMU und Start-ups gelten reduzierte Höchstbeträge. Unternehmen sollten eine KI-Bestandsaufnahme durchführen, Systeme klassifizieren, Governance-Strukturen etablieren, Mitarbeiter schulen und Konformitätsprozesse implementieren. [Quelle: fida]

Eine aktuelle Capgemini-Studie zeigt, dass Agentic AI – autonome KI-Systeme, die eigenständig planen, entscheiden und handeln – für Finanzinstitute neue Anforderungen an Governance, Kontrolle und Sicherheit mit sich bringt. Die Erfolgsquote von KI-Projekten ist von 5 auf 14 Prozent gestiegen, doch während bisherige Systeme nur Empfehlungen gaben, übernehmen agentische Systeme operative Aufgaben mit erheblichen Produktivitätspotenzialen und gleichzeitig gestiegenen Risiken bei fehlerhaften autonomen Handlungen. Entscheidend für erfolgreiche Implementierung sind laut Studie zentrale Kontrollmechanismen, klare Verantwortlichkeiten und „Governance as Code", bei der Kontrollen direkt in technische Abläufe integriert werden. Neue Bedrohungsszenarien wie Prompt-Injection-Angriffe erfordern Sicherheitsmechanismen auf Modell- und Agentenebene sowie regelmäßige adversariale Prüfungen. Die Studie empfiehlt Banken, Agentic AI als Teil der strategischen Zielarchitektur zu verankern, Datenmanagement und regulatorische Nachweisfähigkeit frühzeitig auszubauen und Mitarbeiter systematisch auf die Zusammenarbeit mit KI-Agenten vorzubereiten – statt bestehende Prozesse nur zu automatisieren, sollten diese vollständig neu konzipiert werden. [Quelle: der-bank-blo]