KI-Sicherheit für Entwicklung, Test und Nutzung
AI Security Foundations
Welche Risiken entstehen, wenn KI Informationen verarbeitet oder Aktionen auslöst? In diesem dreitägigen Grundlagenkurs lernen Sie typische Angriffswege und Schutzmaßnahmen kennen. An dokumentierten Vorfällen, Forschungsbeispielen und vorbereiteten Übungsfällen analysieren Sie Abläufe, entwerfen Security-Tests und begründen nächste Prüfschritte.
Schulungstermine
Termine und Kursanfrage
KD · Specialist
Zertifizierte KI-Sicherheitskompetenz für Entwickler und Tester
KD · Specialist
Zertifizierte KI-Sicherheitskompetenz für Entwickler und Tester
Kein passender Termin dabei oder Fragen zur Prüfungsoption? Sprechen Sie uns an.
Arbeitsweise und Umfang
Was Sie im Kurs erwartet
Der Schwerpunkt liegt auf nachvollziehbaren Entscheidungen anhand konkreter Fälle. Fachliche Erklärungen bereiten die Analyse und die freiwilligen Fallaufgaben vor.
Grundlagen, Fallanalyse und Testentwurf
Sie betrachten klassische KI, generative KI und agentische Systeme aus der Sicht von Entwicklung, Test, Betrieb und Nutzung. Reale Vorfälle, Forschungsberichte und konstruierte Übungen werden klar unterschieden.
Sie arbeiten mit bereitgestellten Fallbeschreibungen, Systemskizzen, Dokumentauszügen und Protokollen. Dazu erhalten Sie Arbeitsvorlagen und erläuterte Musterlösungen. Am Ende formulieren Sie einen begrenzten nächsten Schritt für Ihren eigenen Alltag.
Was der Kurs nicht umfasst
Ein technisches Angriffslabor, die Programmierung oder Konfiguration einer produktiven KI-Anwendung und ein Audit Ihrer Unternehmenssysteme gehören nicht zum Kursumfang. Tests werden anhand vorbereiteter Fälle entworfen; bereitgestellte Ergebnisse werden analysiert.
Der Kurs ersetzt keine individuelle Rechtsberatung, vollständige Sicherheitsprüfung oder betriebliche Freigabe. Die optionale KD-Prüfung überprüft Kurswissen; sie bescheinigt keine Produktsicherheit oder gesetzliche Konformität.
Ihr Nutzen
Was Sie an den Fällen üben
Die Aufgaben machen sichtbar, welche Aussage durch einen Befund gestützt wird und wo weitere Informationen oder Prüfungen erforderlich sind.
Risiken nachvollziehbar beschreiben
Sie ordnen einen beschriebenen KI-Einsatz mithilfe einer Vorlage ein: Welche Daten werden verarbeitet, welche Aktionen sind möglich und wer könnte durch einen Fehler betroffen sein?
Schutzmaßnahmen begründet auswählen
An vorgegebenen Angriffspfaden ordnen Sie geeignete Kontrollen zu. Sie benennen, wo eine Maßnahme greifen muss, welcher Nachweis nötig ist und welche Risiken offenbleiben.
Security-Tests entwerfen
Sie formulieren für ein gegebenes Risiko einen erlaubten Ablauf und eine adversariale Testvariante. Dazu bestimmen Sie erwartete Ergebnisse und unabhängige Beobachtungspunkte.
Benchmarkaussagen kritisch lesen
Sie vergleichen bereitgestellte Berichte und beurteilen, welche Schlussfolgerungen deren Ergebnisse tragen. Ein guter Einzelwert wird dabei nicht mit der Sicherheit einer gesamten Anwendung gleichgesetzt.
Nutzungsregeln auf Fälle anwenden
Sie prüfen einen Arbeitsfall anhand einer vorgegebenen Richtlinie und bestimmen, wann etwa Fachverantwortung, IT, Informationssicherheit, Datenschutz oder Recht einzubeziehen sind.
Erste Maßnahmen vorbereiten
Sie bearbeiten einen beschriebenen Vorfall mit einem Erstreaktionsplan und einer Wiederanlaufcheckliste. Die Entscheidung bleibt auf den Fall und die jeweiligen Befugnisse begrenzt.
Kursinhalte
Die zehn Themenbereiche
Die Kapitel bauen aufeinander auf. Die Übersicht zeigt die Inhalte und die jeweils vorgesehene Lernaufgabe.
KI-Grundlagen und Sicherheitsziele
KI, maschinelles Lernen und Deep Learning; Training, Validierung, Test und Anwendung. An einfachen Beispielen unterscheiden Sie Security, Safety, Datenschutz und fachliche Qualität.
Ihre Lernaufgabe: Funktionen einordnen und mögliche Fehlerfolgen mit einem Schutzziel verbinden.
Sprachmodelle, Unternehmenswissen und Audio
Wie Sprachmodelle Antworten erzeugen und warum plausible Aussagen falsch sein können. Hinzu kommen Dokumentensuche mit KI (RAG), Quellen, Zugriffsrechte und Fehlerfortpflanzung in einer vorbereiteten Audio-Verarbeitungskette.
Ihre Lernaufgabe: Einen bereitgestellten RAG-Ablauf auf Rechte, Quellen und belegte Aussagen prüfen.
Agenten, Werkzeuge und Schnittstellen
Unterschiede zwischen Chatbot, festem Workflow und Agent. Sie betrachten API- und MCP-Rollen, Daten- und Aktionswege, Berechtigungen sowie gespeicherte Informationen und delegierte Aufgaben.
Ihre Lernaufgabe: Eine Systemkarte vervollständigen und einen beschriebenen Einsatz mit einer vorgegebenen Risikomatrix einordnen.
Angriffe auf Daten, Modelle und Lieferketten
Manipulierte Eingaben, vergiftete Trainingsdaten, Hintertüren und Informationsgewinn aus Modellen. Sie betrachten außerdem Risiken beim Bezug und Laden von Modellen, Datensätzen und Softwarepaketen.
Ihre Lernaufgabe: Aus bereitgestellten Befunden eine Angriffskette und einen möglichen Unterbrechungspunkt ableiten.
Prompt Injection und KI-Anwendungen
Wie fremde Anweisungen in Dokumenten, Webseiten oder Werkzeugantworten einen Ablauf beeinflussen können. Sie untersuchen Datenoffenlegung, unerlaubte Aktionen sowie Reichweite und Grenzen von Filtern und Guardrails.
Ihre Lernaufgabe: In vorbereiteten Abläufen die entscheidende Vertrauensgrenzverletzung erkennen und begründen.
KI-gestützter Betrug und Verteidigung
Deepfakes, Identitätstäuschung, Social Engineering und die Grenzen von Erkennung und Herkunftsnachweisen. Dazu kommen Berichte über unerwünschtes Agentenverhalten sowie Nutzen und Risiken von KI in der Abwehr.
Ihre Lernaufgabe: Auf einen beschriebenen Betrugsverdacht ein Verfahren mit Stopp, unabhängigem Rückkanal und Transaktionsprüfung anwenden.
Schutzarchitektur und sichere Entwicklung
Begrenzte Rechte, mehrere Schutzebenen, überprüfbare Freigaben und menschliche Aufsicht. Coding-Assistenten sowie Entwicklungs- und Release-Agenten werden anhand ihrer tatsächlichen Befugnisse betrachtet.
Ihre Lernaufgabe: Architekturvarianten vergleichen und eine vorgegebene Softwareänderung anhand unabhängiger Nachweise beurteilen.
Security-Tests, Benchmarks und Nachweise
Tests aus Risiken ableiten, erwartete Ergebnisse bestimmen und bereitgestellte Befunde auswerten. Sie berechnen Kennzahlen mit vorgegebenen Formeln, analysieren Benchmarkberichte und besprechen erneute Prüfungen nach Änderungen.
Ihre Lernaufgabe: Ein Testpaar entwerfen und die Aussagegrenzen einer Sicherheitsbehauptung erklären.
Organisation, Recht und sichere Nutzung
Nutzungsregeln für Konten, Daten, Uploads und Speicherung; Verantwortlichkeiten und Freigaben. Sie lernen grundlegende Prüffragen zum EU AI Act kennen und unterscheiden den Zweck von BSI-, OWASP- und NIST-Grundlagen.
Ihre Lernaufgabe: Regeln auf einen Fall anwenden, zuständige Fachrollen benennen und eine begrenzte Freigabeempfehlung formulieren.
Vorfallreaktion und Umsetzung
Erste Maßnahmen im eigenen Befugnisrahmen, Sicherung relevanter Belege und geordnete Übergabe. Für einen beschriebenen Vorfall werden Wiederanlaufbedingungen anhand einer Checkliste betrachtet.
Ihre Lernaufgabe: Einen Erstmaßnahmenplan bearbeiten und einen begrenzten nächsten Schutzschritt für den eigenen Alltag festhalten.
Entwickelt von Knowledge Department
AI Security Foundations ist eine von Knowledge Department entwickelte Weiterbildung mit eigenem Lehrplan. Der Kurs verbindet KI-Grundlagen mit Sicherheitsfragen aus Entwicklung, Test und Nutzung.
Beispiele aus dem Kurs
Vorfälle verstehen und Entscheidungen nachvollziehen
Bei jedem Fall wird deutlich, welche Art von Beleg vorliegt. Ein berichteter Vorfall, ein Forschungsversuch und eine konstruierte Übung tragen unterschiedliche Aussagen.
Berichteter Vorfall
Zahlungsbetrug mit manipulierten Videos
Ein berichteter Fall aus Hongkong zeigt, warum eine vertraute Darstellung keine Zahlungsfreigabe ersetzt. Wir besprechen unabhängige Rückfragen und die Prüfung des konkreten Auftrags.
Forschungsbeispiel
Prompt Injection über eine E-Mail
Am veröffentlichten Forschungsfall EchoLeak betrachten wir den Weg von einer präparierten E-Mail zu einer möglichen Datenoffenlegung. Versuchsnachweis und tatsächlich berichteter Schaden werden getrennt eingeordnet.
Konstruierte Papierübung
Ein fehlendes Wort verändert die Aussage
Referenztext, Transkript und Antwort liegen vor. Sie bestimmen den ersten belegten Unterschied und erklären, welche Ursache ohne Audio und Verarbeitungsprotokoll offenbleibt.
Konstruierter Industriefall
Richtig erkannt, aber zu spät
Eine Bildprüfung erkennt einen Fehler erst nach dem möglichen Eingriff. An vorgegebenen Zeiten besprechen wir, warum korrekte Erkennung allein nicht genügt und welche Grenzen zu prüfen sind.
Zielgruppe und Voraussetzungen
Der Einstieg ist ohne vorherigen KI-Kurs möglich
Für wen eignet sich der Kurs?
Der Kurs richtet sich besonders an Softwaretester, Testmanager, Qualitätssicherungsverantwortliche und Entwickler. Ebenso angesprochen sind Mitarbeitende aus IT-Betrieb, Informationssicherheit, Businessanalyse und Fachbereichen, die KI-Anwendungen einsetzen, prüfen oder deren Einführung begleiten.
Er passt zu Ihnen, wenn Sie Sicherheitsrisiken verstehen und konkrete Prüffragen formulieren möchten. Für die technische Implementierung von Schutzlösungen oder ein vollständiges Systemaudit ist eine weiterführende Qualifikation erforderlich.
Welche Vorbereitung empfehlen wir?
Wir empfehlen AI Testing (CT-AI) und Testen mit Generative AI (CT-GenAI) als Vorbereitung. Beide Kurse sind keine Teilnahmevoraussetzung. Die für die Sicherheitsthemen benötigten KI-Grundlagen werden kurz wiederholt; die beiden Vorbereitungskurse werden dabei nicht vollständig nachgeholt.
Erfahrung mit IT-Anwendungen, Softwareentwicklung oder Softwaretests erleichtert den Einstieg. Für die vorgesehenen Fallaufgaben sind keine Programmierkenntnisse und kein eigener KI-Zugang erforderlich.
Freiwillige Fallübungen
Mit Vorlagen und Musterlösungen arbeiten
Die Fallaufgaben lassen sich einzeln mit den bereitgestellten Unterlagen bearbeiten. Sie können den Kurs auch ohne Prüfungsabsicht besuchen.
Beispiele für Ihre Aufgaben
- Eine KI-Antwort mit Quellen und Zugriffsregeln abgleichen
- Einen unerlaubten Schritt im Agentenablauf markieren
- Eine Schutzmaßnahme und ihren Prüfnachweis begründen
- Ein Testpaar mit erwarteten Ergebnissen entwerfen
- Für einen Vorfall erste Maßnahmen und offene Fragen festhalten
Eigene Lösung und begründeter Vergleich
Zu den Übungsfällen erhalten Sie Fallangaben, Arbeitsvorlagen und erläuterte Musterlösungen. So können Sie Ihre Entscheidung vergleichen und nachvollziehen, welche Annahmen und Belege wichtig sind.
Diese Fallübungen dienen der freiwilligen Vertiefung. Davon zu unterscheiden sind die Kapiteltests im optionalen Prüfungsweg: Wer die KD-Prüfung ablegen möchte, muss die dafür vorgesehenen Kapiteltests bestehen.
Optionaler Prüfungsweg
Auf Wunsch mit Prüfung von Knowledge Department
Die Prüfung ist ein zusätzliches Angebot für Teilnehmende, die ihr Wissen zu den Kursinhalten überprüfen möchten. Sie ist keine Voraussetzung für den Kursbesuch.
- Sie bearbeiten die zehn Kapiteltests in der vorgegebenen Reihenfolge.
- Für die Freischaltung der Abschlussprüfung erreichen Sie in jedem Kapitel mindestens 65 Prozent.
- Die Abschlussprüfung ist ebenfalls ab 65 Prozent bestanden.
Geprüft wird Wissen zu den Kursinhalten. Ein bestandener Abschluss ersetzt keine Sicherheitsprüfung oder Freigabe einer betrieblichen KI-Anwendung.
Bitte klären Sie vor der Buchung mit uns, ob die Prüfung zum gewählten Angebot gehört und welche Gebühren, Prüfungsdauer und Bearbeitungsfristen gelten. Fragen zur Prüfungsbuchung stellen →
Vor der Buchung
Häufige Fragen
Was kann ich von den drei Kurstagen erwarten?
Sie erhalten einen Einstieg in die Sicherheitsrisiken klassischer, generativer und agentischer KI. An vorbereiteten Fällen ordnen Sie Risiken ein, begründen Schutzmaßnahmen, entwerfen Security-Tests und analysieren bereitgestellte Ergebnisse. Ziel ist, konkrete Prüffragen und nächste Schritte nachvollziehbar zu formulieren.
Arbeiten wir praktisch an laufenden KI-Systemen?
Die Praxis besteht aus Fallanalyse, Testentwurf und der Auswertung bereitgestellter Dokumente und Protokolle. Ein technisches Angriffslabor, die Programmierung eigener KI-Anwendungen oder Tests an Ihren produktiven Unternehmenssystemen sind nicht Bestandteil des Kurses.
Muss ich vorher AI Testing oder Testen mit GenAI besucht haben?
Wir empfehlen AI Testing (CT-AI) und Testen mit Generative AI (CT-GenAI) als Vorbereitung. Beide sind keine Teilnahmevoraussetzung. Die benötigten KI-Grundlagen werden kurz wiederholt; eine vollständige Wiederholung beider Kurse ist damit nicht verbunden.
Brauche ich Programmierkenntnisse oder einen eigenen KI-Zugang?
Für die vorgesehenen Fallaufgaben sind keine Programmierkenntnisse und kein eigener KI-Zugang erforderlich. Sie arbeiten mit den bereitgestellten Fallangaben, Arbeitsvorlagen und Musterlösungen.
Sind Übungen und Prüfung freiwillig?
Sie können den Kurs ohne Prüfungsabsicht besuchen. Die Fallübungen im Kurs dienen der freiwilligen Vertiefung. Wer die zusätzliche KD-Prüfung ablegen möchte, bearbeitet zuvor die zehn Kapiteltests in der vorgegebenen Reihenfolge. Für die Freischaltung sind in jedem Kapitel mindestens 65 Prozent erforderlich. Die Abschlussprüfung ist ebenfalls ab 65 Prozent bestanden.
Welche Kosten und Bedingungen gelten für die optionale Prüfung?
Bitte klären Sie vor der Buchung mit Knowledge Department, ob die Prüfung zum gewählten Angebot gehört und welche Gebühren, Prüfungsdauer und Bearbeitungsfristen gelten. Die optionale Prüfung ist nicht Voraussetzung für den Kursbesuch.
Werden echte Vorfälle besprochen?
Ja. Der Kurs enthält berichtete Vorfälle und veröffentlichte Forschungsbeispiele. Ergänzend gibt es ausdrücklich konstruierte Übungsszenarien. Die Einordnung macht erkennbar, ob ein tatsächliches Ereignis, ein Forschungsversuch oder ein Unterrichtsfall betrachtet wird.
Kann ich danach die Sicherheit oder Rechtskonformität eines Systems bestätigen?
Der Kurs vermittelt Grundlagen und Verfahren für begrenzte Fallbewertungen. Er ersetzt keine individuelle Rechtsberatung, vollständige Sicherheitsprüfung oder betriebliche Freigabe. Auch die optionale KD-Prüfung bescheinigt keine Produktsicherheit oder gesetzliche Konformität.
Persönliche Beratung
Passt der Kurs zu Ihrem Lernziel?
Sie möchten Ihre Vorkenntnisse einordnen, die Inhalte mit Ihrem Bedarf abgleichen oder die optionale Prüfung besprechen? Sprechen Sie mit Knowledge Department über Ihre Fragen vor der Buchung.