Zertifizierte KI-Sicherheitskompetenz für Entwickler und Tester

KI-Sicherheit Schritt für Schritt im Selbststudium erarbeiten. Im E-Learning AI Security Foundations bearbeiten Sie zehn aufeinander aufbauende Kapitel. Innerhalb des angegebenen Bearbeitungszeitraums teilen Sie Ihre Lernzeiten selbst ein.

Sie lernen die wichtigsten Grundlagen klassischer KI, generativer KI und KI-Agenten kennen. Darauf aufbauend behandeln Sie typische Angriffswege, Daten- und Berechtigungsrisiken, Schutzmaßnahmen, Security-Tests und die Grenzen von Benchmarkaussagen. Hinzu kommen betriebliche Nutzungsregeln, grundlegende rechtliche Prüffragen und erste Maßnahmen bei einem Verdachtsfall.

Dokumentierte Vorfälle und veröffentlichte Forschungsbeispiele werden von konstruierten Übungsfällen unterschieden. Bereitgestellte Fallangaben, Dokumente, Protokolle und Arbeitsvorlagen bilden die Grundlage für die Aufgaben. Die Fallübungen dienen der freiwilligen Vertiefung; erläuterte Musterlösungen unterstützen den Vergleich mit Ihrer eigenen Bearbeitung.

AI Security Foundations wurde von Knowledge Department mit eigenem Lehrplan entwickelt.

Die praktische Arbeit besteht aus Fallanalyse, Testentwurf und der Auswertung bereitgestellter Ergebnisse. Ein technisches Angriffslabor, die Programmierung eigener KI-Anwendungen und ein Audit Ihrer Unternehmenssysteme gehören nicht zum Umfang. Der Kurs ersetzt keine individuelle Rechtsberatung.

Für den Online-Kurs benötigen Sie einen Computer mit Internetzugang. Programmierkenntnisse und ein eigener KI-Zugang sind für die Fallaufgaben nicht erforderlich. Sie können den Kurs ohne Prüfungsabsicht bearbeiten. Wer die optionale KD-Prüfung ablegen möchte, muss zuvor die dafür vorgesehenen Kapiteltests bestehen. Die Bedingungen sind im Abschnitt „Zertifizierung“ beschrieben.

Der Kurs richtet sich an Personen, die KI-Anwendungen einsetzen, entwickeln, testen oder ihre Einführung begleiten und die damit verbundenen Sicherheitsfragen besser verstehen möchten. Dazu gehören insbesondere:

• Softwaretesterinnen und Softwaretester, Testmanager sowie Mitarbeitende der Qualitätssicherung,
• Entwicklerinnen und Entwickler, Softwarearchitekten und Businessanalysten,
• Mitarbeitende aus IT-Betrieb und Informationssicherheit,
• Projektverantwortliche und Mitarbeitende aus Fachbereichen, die KI-Werkzeuge nutzen oder deren Einsatz mitgestalten.

Der Schwerpunkt liegt auf Grundlagen, Fallanalyse und nachvollziehbaren Prüffragen. Der Kurs vermittelt keine vollständige Qualifikation für Penetrationstests, Systemaudits oder die technische Implementierung von KI-Schutzlösungen.

Für die Teilnahme ist keine vorherige Zertifizierung erforderlich. Erfahrung mit IT-Anwendungen, Softwareentwicklung oder Softwaretests erleichtert den Einstieg.

Wir empfehlen die Kurse AI Testing (CT-AI) und Testen mit Generative AI (CT-GenAI) als Vorbereitung. Beide sind keine Teilnahmevoraussetzung. Die für das Verständnis der Sicherheitsthemen benötigten KI-Grundlagen werden kurz wiederholt; die beiden Vorbereitungskurse werden dabei nicht vollständig nachgeholt.

Für die vorgesehenen Fallaufgaben benötigen Sie keine Programmierkenntnisse und keinen eigenen KI-Zugang. Sie arbeiten mit den bereitgestellten Unterlagen. Für E-Learning und Virtual Classroom ist zusätzlich ein Computer mit Internetzugang erforderlich; im Virtual Classroom benötigen Sie eine Audioverbindung für den Live-Unterricht.

Für die optionale KD-Abschlussprüfung gelten die im Abschnitt „Zertifizierung“ beschriebenen Kapiteltests als Zulassungsvoraussetzung.

Der Kurs vermittelt Grundlagen und Vorgehensweisen, die Sie an vorbereiteten Fällen anwenden. Sie lernen,

• KI-Sicherheitsrisiken zu beschreiben und Security, Safety, Datenschutz und fachliche Qualität zu unterscheiden,
• Datenwege, Zugriffsrechte und mögliche Aktionen in einem beschriebenen KI-System nachzuvollziehen,
• typische Angriffswege zu erkennen und geeignete Schutzmaßnahmen mit passenden Prüfnachweisen zu verbinden,
• Security-Tests für vorgegebene Risiken zu entwerfen und bereitgestellte Ergebnisse auszuwerten,
• Benchmark- und Anbieterangaben auf Aussagekraft, Bedingungen und Grenzen zu prüfen,
• vorgegebene Nutzungsregeln auf einen Fall anzuwenden und zuständige Fachrollen zu benennen,
• erste Maßnahmen und Wiederanlaufkriterien für einen beschriebenen Vorfall mithilfe von Vorlagen festzuhalten.

Zum Abschluss formulieren Sie einen begrenzten nächsten Schritt für Ihren eigenen Arbeitsalltag. Der Kurs befähigt nicht automatisch zur Freigabe beliebiger KI-Systeme oder zur Bestätigung ihrer Sicherheit und Rechtskonformität.

Der Lehrplan umfasst zehn aufeinander aufbauende Themenbereiche:

1. KI-Grundlagen und Sicherheitsziele: KI, maschinelles Lernen und Deep Learning; Training und Anwendung; Unterschiede zwischen Security, Safety, Datenschutz und fachlicher Qualität.
2. Sprachmodelle, Unternehmenswissen und Audio: Entstehung und Grenzen von KI-Antworten; Dokumentensuche mit KI (RAG), Quellen und Zugriffsrechte; Fehlerfortpflanzung vom Transkript bis zur Entscheidung anhand vorbereiteter Unterlagen.
3. Agenten, Werkzeuge und Schnittstellen: Chatbots, Workflows und Agenten; Daten- und Aktionswege, API- und MCP-Rollen, Berechtigungen, gespeicherte Informationen und delegierte Aufgaben.
4. Angriffe auf Daten, Modelle und Lieferketten: Manipulierte Eingaben, vergiftete Trainingsdaten, Hintertüren und Informationsgewinn aus Modellen; Risiken beim Bezug und Laden von Modellen, Daten und Software.
5. Prompt Injection und KI-Anwendungen: Fremde Anweisungen in Dokumenten, Webseiten und Werkzeugantworten; Datenoffenlegung, unerlaubte Aktionen und Grenzen von Filtern und Guardrails.
6. KI-gestützter Betrug und Verteidigung: Deepfakes, Identitätstäuschung und Social Engineering; unabhängige Rückfragen und Transaktionsprüfung; Grenzen von Erkennung und Herkunftsnachweisen sowie Nutzen und Risiken von KI in der Abwehr.
7. Schutzarchitektur und sichere Entwicklung: Begrenzte Rechte, mehrere Schutzebenen, nachvollziehbare Freigaben und menschliche Aufsicht; Coding-Assistenten und Agenten in Entwicklung und Release.
8. Security-Tests, Benchmarks und Nachweise: Tests aus Risiken ableiten, erwartete Ergebnisse bestimmen, bereitgestellte Befunde auswerten, Kennzahlen mit vorgegebenen Formeln berechnen und Benchmarkaussagen kritisch einordnen.
9. Organisation, Recht und sichere Nutzung: Regeln für Konten, Daten, Uploads und Speicherung; Verantwortlichkeiten, Freigaben und grundlegende Prüffragen zum EU AI Act; Einordnung von BSI-, OWASP- und NIST-Grundlagen nach ihrem Zweck.
10. Vorfallreaktion und Umsetzung: Erste Maßnahmen im eigenen Befugnisrahmen, relevante Belege, geordnete Übergabe und Wiederanlaufbedingungen anhand einer Checkliste; ein nächster Schritt für den eigenen Alltag.

Dokumentierte Vorfälle, Forschungsbeispiele und konstruierte Fallübungen ergänzen die fachlichen Erklärungen. Bei jedem Beispiel wird seine Art kenntlich gemacht. Die freiwilligen Fallübungen arbeiten mit bereitgestellten Angaben und erläuterten Musterlösungen.

Optionale Prüfung von Knowledge Department

Sie können den Kurs ohne Prüfungsabsicht absolvieren. Für Interessierte bietet Knowledge Department eine eigene Abschlussprüfung zu den Kursinhalten an. Es handelt sich nicht um eine ISTQB®-Prüfung.

Die freiwilligen Fallübungen im Kurs sind von den Kapiteltests für den Prüfungszugang zu unterscheiden. Für den optionalen Prüfungsweg gelten folgende Voraussetzungen:

1. Sie bearbeiten die zehn Kapiteltests in der vorgegebenen Reihenfolge.
2. Zur Freischaltung der Abschlussprüfung erreichen Sie in jedem Kapiteltest mindestens 65 Prozent.
3. Die Abschlussprüfung ist ebenfalls ab 65 Prozent bestanden.

Geprüft wird Wissen zu den Kursinhalten. Ein bestandener Abschluss bestätigt weder die Sicherheit einer bestimmten KI-Anwendung noch deren gesetzliche Konformität.

Bitte klären Sie vor der Buchung mit Knowledge Department, ob die Prüfung im gewählten Angebot enthalten ist und welche Prüfungsgebühren, Bearbeitungsfristen, Prüfungsdauer und Wiederholungsbedingungen gelten.