Was aktuell beim KI-Einsatz noch für Unsicherheit sorgt, sind die mangelnde Transparenz und Nachvollziehbarkeit dieser Anwendungen. Sie nutzen meist Verfahren des maschinellen Lernens (ML). Die hierbei eingesetzten künstlichen neuronalen Netze lernen eigenständig aus großen Datenmengen. Wie genau aber ein Ergebnis und im schlechten Fall auch ein fehlerhaftes Ergebnis basierend auf diesem Lernprozess zustande gekommen ist, können selbst KI-Fachleute nur selten erklären. Und genau das sorgt für Vorsicht gegenüber der Technologie auf Unternehmensseite. Zudem kann es zu rechtlichen Problemen führen, wenn künftig im Rahmen des EU AI Acts mehr Regularien beim Einsatz von KI-Technologien eingehalten werden müssen.
KI-Audits vereinfachen
Um hier Abhilfe zu schaffen und insbesondere Unternehmen mit wenig Erfahrung im KI-Einsatz mehr Sicherheit zu geben, braucht es geeignete Standards und Entwicklungsmethoden. Mit ihnen soll es einfacher werden, die Eignung bzw. Qualifizierung einer ML-basierten KI-Anwendung auch ohne Fachwissen nachzuweisen. Genau dieses Ziel verfolgt das Forschungsprojekt AIQualify mithilfe eines entstehenden Software-Frameworks. Ein softwarebasiertes Assistenzsystem unterstützt Anwender dabei, Prüf- und Bewertungskriterien zu ermitteln und zu formulieren. Diese werden in einer sogenannten Argumentationsstruktur zentral gebündelt und anschließend dafür genutzt, die KI-Anwendung entlang dieser Kriterien abzunehmen. Grundlage hierfür ist eine Auditierungsplattform, die für jede Entwicklungsphase von ML-Komponenten der KI-Anwendung spezifische Auditierungsmodule bereitstellt. Die Plattform soll modular gestaltet sein, sodass Prüfmodule einfach integriert oder erweitert werden können. Neben der isolierten Qualifizierung kann das Framework auch iterativ als ein Element für den Entwicklungsprozess eines KI-Systems eingebunden werden.
Prof. Marco Huber, Leiter des Projekts, betont den Neuigkeitswert des entstehenden Ansatzes: „Wir berücksichtigen nicht nur die fertige Anwendung, sondern setzen viel früher an. Jede Entwicklungsphase einer KI-Anwendung erfordert Entscheidungen und sie alle können das Ergebnis beeinflussen. Deshalb betrachten wir unter anderem auch Aspekte wie die Datenauswahl, Vorverarbeitung, Gütekriterien und die Modellauswahl.“ Das Software-Framework ermöglicht somit drei Arten der Qualifizierung: a) durch das Unternehmen selbst, b) durch einen Kunden, Lieferanten oder Partner und schließlich c) durch unabhängige Institutionen. Daraus ergeben sich drei Zielgruppen: Dienstleister für ML-basierte Qualitätsprüfung/-management, produzierende Unternehmen sowie Dienstleister für Konformitätsprüfungen und Auditierungen. Insbesondere KMUs sollen dazu befähigt werden, fremdbezogene KI-Systeme zu qualifizieren, um so auch ohne eigene KI-Fachkräfte die Leistungsfähigkeit eines KI-Systems bewerten zu können.
Praxistest mit Beispielanwendungen
Zwei Anwendungsfälle dienen dazu, das Software-Framework praktisch zu testen. Aus dem Forschungskontext der Projektpartner kommt die kamerabasierte Defekterkennung von Lochscheiben mithilfe von KI. Das Besondere dabei ist, dass neben echten Kamerabildern auch synthetische Bilder mit Defekten erzeugt und genutzt werden können. Dies erlaubt, unterschiedliche Schweregrade der Prüfaufgabe zu betrachten, um die Eignung der ML-Komponente bewerten zu können. Der zweite Anwendungsfall kommt direkt aus der industriellen Praxis. Ein Projektausschuss u.a. bestehend aus produzierenden Unternehmen wird diesen Anwendungsfall zum Projekt beisteuern und darüber hinaus auch das gesamte Projekt begleiten.
www.ipa.fraunhofer.de
www.aiqualify.de
