Cyber-_-Agentur-Gruppe-

Cyberagentur lässt sicheres „Maschinelles Lernen“ erforschen

Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) hat am 6. April 2023 eine Ausschreibung zum „Robusten und Sicheren Maschinellen Lernen“ veröffentlicht. Ziel ist die Steigerung der Verlässlichkeit und Manipulationssicherheit verschiedener KI-Ansätze. Das mehrphasige Projekt soll während der fünfjährigen Laufzeit unterschiedliche Innovationsansätze vorantreiben.

Mit „Robustem und Sicherem Maschinellen Lernen“ (RSML) wird das größte Forschungsprojekt der Cyberagentur zur Sicherheit Künstlicher Intelligenz (KI) vor dem Hintergrund des rasant wachsenden Einsatzes von KI-Systemen in allen Bereichen von Gesellschaft bis Industrie ausgeschrieben.

In den vergangenen Jahren hat sich das Maschinelle Lernen (ML) in verschiedenen Ausprägungen angesichts stetig steigender Performance und zunehmender Vielseitigkeit zu einem maßgeblichen Analysewerkzeug für immer größere und komplexere Datenmodelle entwickelt. Als Beispiel sei hier die Bildererkennung beim autonomen Fahren genannt. Ein grundlegendes Problem: Schon unscheinbare Änderungen an Verkehrsschildern können zu einer Fehlfunktion des Fahralgorithmus führen. Die Erforschung beweisbarer Sicherheit und deren Grenzen sowie inhärente Robustheit gegenüber solchen Angriffen steht dabei noch am Anfang. Größte Schwachstellen des maschinellen Lernens sind die große Abhängigkeit von Trainingsdaten und die Intransparenz der trainierten Modelle. Dadurch führen unerwartete Eingaben mitunter zu unvorhergesehenen und schwer nachvollziehbaren – und im Einzelfall möglicherweise katastrophalen – Ergebnissen. Ein weiteres Beispiel findet sich in der aktuellen Diskussion um KI-Chatbots. Mittels manipulierter Befehle („Prompt Injection“) können Sprachmodelle nachweislich zu unbeabsichtigten und potenziell folgenschweren Aussagen verleitet werden.

Im Original erschienen bei https://www.cyberagentur.de, Foto: Eröffnung der neuen Räume in Halle (Saale)

Halle (Saale) // 18.04.2023