Zertifizierte KI-Sicherheitskompetenz für Entwickler und Tester

KI-Sicherheit im direkten Austausch lernen – mit Teilnahme von Ihrem eigenen Arbeitsplatz. Der Kurs "Zertifizierte KI-Sicherheitskompetenz für Entwickler und Tester" findet als Live-Online-Unterricht mit Trainerin oder Trainer statt. Sie nehmen zu den angegebenen Unterrichtszeiten teil, können Fragen stellen und die vorbereiteten Fälle gemeinsam besprechen.

Der Kurs behandelt Sicherheitsrisiken klassischer KI, generativer KI und KI-Agenten. Sie lernen typische Angriffswege kennen, betrachten Datenzugriffe und Berechtigungen und ordnen geeignete Schutzmaßnahmen zu. Weitere Schwerpunkte sind der Entwurf von Security-Tests, die Bewertung von Benchmarkaussagen und erste Maßnahmen bei einem Verdachtsfall.

Dokumentierte Vorfälle und veröffentlichte Forschungsbeispiele werden von konstruierten Übungen unterschieden. Sie arbeiten mit bereitgestellten Fallangaben, Dokumenten, Protokollen und Arbeitsvorlagen. Freiwillige Fallübungen mit erläuterten Musterlösungen ermöglichen den Vergleich mit Ihrer eigenen Einschätzung.

AI Security Foundations ist eine von Knowledge Department entwickelte Weiterbildung mit eigenem Lehrplan.

Die praktische Arbeit erfolgt an vorbereiteten Fällen. Ein technisches Angriffslabor, die Programmierung eigener KI-Anwendungen und ein Audit Ihrer Unternehmenssysteme sind nicht Bestandteil. Die rechtliche Einordnung bleibt eine Einführung; individuelle Rechtsberatung ist nicht enthalten.

Für die Teilnahme benötigen Sie einen Computer mit Internetverbindung und eine Audioverbindung für den Live-Unterricht. Die konkreten Zugangshinweise erhalten Sie für den gebuchten Termin. Die optionale KD-Prüfung hat eigene Zulassungsvoraussetzungen; Einzelheiten stehen im Abschnitt „Zertifizierung“.

Der Kurs richtet sich an Personen, die KI-Anwendungen einsetzen, entwickeln, testen oder ihre Einführung begleiten und die damit verbundenen Sicherheitsfragen besser verstehen möchten. Dazu gehören insbesondere:

• Softwaretesterinnen und Softwaretester, Testmanager sowie Mitarbeitende der Qualitätssicherung,
• Entwicklerinnen und Entwickler, Softwarearchitekten und Businessanalysten,
• Mitarbeitende aus IT-Betrieb und Informationssicherheit,
• Projektverantwortliche und Mitarbeitende aus Fachbereichen, die KI-Werkzeuge nutzen oder deren Einsatz mitgestalten.

Der Schwerpunkt liegt auf Grundlagen, Fallanalyse und nachvollziehbaren Prüffragen. Der Kurs vermittelt keine vollständige Qualifikation für Penetrationstests, Systemaudits oder die technische Implementierung von KI-Schutzlösungen.

Für die Teilnahme ist keine vorherige Zertifizierung erforderlich. Erfahrung mit IT-Anwendungen, Softwareentwicklung oder Softwaretests erleichtert den Einstieg.

Wir empfehlen die Kurse AI Testing (CT-AI) und Testen mit Generative AI (CT-GenAI) als Vorbereitung. Beide sind keine Teilnahmevoraussetzung. Die für das Verständnis der Sicherheitsthemen benötigten KI-Grundlagen werden kurz wiederholt; die beiden Vorbereitungskurse werden dabei nicht vollständig nachgeholt.

Für die vorgesehenen Fallaufgaben benötigen Sie keine Programmierkenntnisse und keinen eigenen KI-Zugang. Sie arbeiten mit den bereitgestellten Unterlagen. Für E-Learning und Virtual Classroom ist zusätzlich ein Computer mit Internetzugang erforderlich; im Virtual Classroom benötigen Sie eine Audioverbindung für den Live-Unterricht.

Für die optionale KD-Abschlussprüfung gelten die im Abschnitt „Zertifizierung“ beschriebenen Kapiteltests als Zulassungsvoraussetzung.

Der Kurs vermittelt Grundlagen und Vorgehensweisen, die Sie an vorbereiteten Fällen anwenden. Sie lernen,

• KI-Sicherheitsrisiken zu beschreiben und Security, Safety, Datenschutz und fachliche Qualität zu unterscheiden,
• Datenwege, Zugriffsrechte und mögliche Aktionen in einem beschriebenen KI-System nachzuvollziehen,
• typische Angriffswege zu erkennen und geeignete Schutzmaßnahmen mit passenden Prüfnachweisen zu verbinden,
• Security-Tests für vorgegebene Risiken zu entwerfen und bereitgestellte Ergebnisse auszuwerten,
• Benchmark- und Anbieterangaben auf Aussagekraft, Bedingungen und Grenzen zu prüfen,
• vorgegebene Nutzungsregeln auf einen Fall anzuwenden und zuständige Fachrollen zu benennen,
• erste Maßnahmen und Wiederanlaufkriterien für einen beschriebenen Vorfall mithilfe von Vorlagen festzuhalten.

Zum Abschluss formulieren Sie einen begrenzten nächsten Schritt für Ihren eigenen Arbeitsalltag. Der Kurs befähigt nicht automatisch zur Freigabe beliebiger KI-Systeme oder zur Bestätigung ihrer Sicherheit und Rechtskonformität.

Der Lehrplan umfasst zehn aufeinander aufbauende Themenbereiche:

1. KI-Grundlagen und Sicherheitsziele: KI, maschinelles Lernen und Deep Learning; Training und Anwendung; Unterschiede zwischen Security, Safety, Datenschutz und fachlicher Qualität.
2. Sprachmodelle, Unternehmenswissen und Audio: Entstehung und Grenzen von KI-Antworten; Dokumentensuche mit KI (RAG), Quellen und Zugriffsrechte; Fehlerfortpflanzung vom Transkript bis zur Entscheidung anhand vorbereiteter Unterlagen.
3. Agenten, Werkzeuge und Schnittstellen: Chatbots, Workflows und Agenten; Daten- und Aktionswege, API- und MCP-Rollen, Berechtigungen, gespeicherte Informationen und delegierte Aufgaben.
4. Angriffe auf Daten, Modelle und Lieferketten: Manipulierte Eingaben, vergiftete Trainingsdaten, Hintertüren und Informationsgewinn aus Modellen; Risiken beim Bezug und Laden von Modellen, Daten und Software.
5. Prompt Injection und KI-Anwendungen: Fremde Anweisungen in Dokumenten, Webseiten und Werkzeugantworten; Datenoffenlegung, unerlaubte Aktionen und Grenzen von Filtern und Guardrails.
6. KI-gestützter Betrug und Verteidigung: Deepfakes, Identitätstäuschung und Social Engineering; unabhängige Rückfragen und Transaktionsprüfung; Grenzen von Erkennung und Herkunftsnachweisen sowie Nutzen und Risiken von KI in der Abwehr.
7. Schutzarchitektur und sichere Entwicklung: Begrenzte Rechte, mehrere Schutzebenen, nachvollziehbare Freigaben und menschliche Aufsicht; Coding-Assistenten und Agenten in Entwicklung und Release.
8. Security-Tests, Benchmarks und Nachweise: Tests aus Risiken ableiten, erwartete Ergebnisse bestimmen, bereitgestellte Befunde auswerten, Kennzahlen mit vorgegebenen Formeln berechnen und Benchmarkaussagen kritisch einordnen.
9. Organisation, Recht und sichere Nutzung: Regeln für Konten, Daten, Uploads und Speicherung; Verantwortlichkeiten, Freigaben und grundlegende Prüffragen zum EU AI Act; Einordnung von BSI-, OWASP- und NIST-Grundlagen nach ihrem Zweck.
10. Vorfallreaktion und Umsetzung: Erste Maßnahmen im eigenen Befugnisrahmen, relevante Belege, geordnete Übergabe und Wiederanlaufbedingungen anhand einer Checkliste; ein nächster Schritt für den eigenen Alltag.

Dokumentierte Vorfälle, Forschungsbeispiele und konstruierte Fallübungen ergänzen die fachlichen Erklärungen. Bei jedem Beispiel wird seine Art kenntlich gemacht. Die freiwilligen Fallübungen arbeiten mit bereitgestellten Angaben und erläuterten Musterlösungen.

Optionale Prüfung von Knowledge Department

Sie können den Kurs ohne Prüfungsabsicht absolvieren. Für Interessierte bietet Knowledge Department eine eigene Abschlussprüfung zu den Kursinhalten an. Es handelt sich nicht um eine ISTQB®-Prüfung.

Die freiwilligen Fallübungen im Kurs sind von den Kapiteltests für den Prüfungszugang zu unterscheiden. Für den optionalen Prüfungsweg gelten folgende Voraussetzungen:

1. Sie bearbeiten die zehn Kapiteltests in der vorgegebenen Reihenfolge.
2. Zur Freischaltung der Abschlussprüfung erreichen Sie in jedem Kapiteltest mindestens 65 Prozent.
3. Die Abschlussprüfung ist ebenfalls ab 65 Prozent bestanden.

Geprüft wird Wissen zu den Kursinhalten. Ein bestandener Abschluss bestätigt weder die Sicherheit einer bestimmten KI-Anwendung noch deren gesetzliche Konformität.

Bitte klären Sie vor der Buchung mit Knowledge Department, ob die Prüfung im gewählten Angebot enthalten ist und welche Prüfungsgebühren, Bearbeitungsfristen, Prüfungsdauer und Wiederholungsbedingungen gelten.