KI-Richtlinie fürs Unternehmen: So erfüllen KMU die KI-Kompetenzpflicht aus Art. 4 AI Act

Seit dem 2. August 2026 ist die EU-KI-Verordnung vollständig in Kraft – und die Bundesnetzagentur hat als zentrale Marktüberwachungsbehörde ihren aktiven Betrieb aufgenommen. Die KI-Kompetenzpflicht aus Artikel 4 gilt dabei bereits seit dem 2. Februar 2025: Betriebe, die KI-Systeme einsetzen, müssen sicherstellen, dass die damit befassten Mitarbeiterinnen und Mitarbeiter wissen, was sie tun. Neu seit August 2026 ist, dass diese Pflicht aktiv überprüft werden kann.

Ein Handwerksbetrieb aus Recklinghausen, der ChatGPT für Angebotstexte nutzt, ein Ingenieurbüro im Ruhrgebiet, das Copilot zur Projektdokumentation einsetzt, eine Kanzlei, die KI-gestützte Recherchetools verwendet – sie alle sind Betreiber im Sinne der Verordnung. Ohne eine schriftliche KI-Richtlinie und dokumentierte Schulungsmaßnahmen fehlt der Nachweis, wenn die Aufsicht nachfragt.

Hinweis: Dieser Beitrag gibt einen praxisorientierten Überblick und ersetzt keine Rechtsberatung. Für Ihre konkrete Situation empfehle ich, rechtlichen Rat einzuholen.

Was Artikel 4 KI-Verordnung tatsächlich verlangt

Artikel 4 Absatz 1 der EU-KI-Verordnung (Verordnung (EU) 2024/1689) verpflichtet Anbieter und Betreiber dazu, „nach besten Kräften" sicherzustellen, dass die mit dem Betrieb oder der Nutzung von KI-Systemen befassten Personen über ausreichende KI-Kompetenz verfügen.

Das klingt vage – und das ist Absicht. Es gibt keine vorgeschriebene Stundenzahl, kein Pflicht-Zertifikat und kein verbindliches Muster-Curriculum. Die Formulierung berücksichtigt dabei ausdrücklich: technisches Vorwissen, Erfahrung und Ausbildung der Beteiligten sowie den konkreten Einsatzkontext. Ein Drei-Personen-Betrieb muss kein internes AI-Office aufbauen.

Was die Pflicht in der Praxis bedeutet: Das Team soll verstehen, wie die eingesetzten Tools grundsätzlich funktionieren, wo ihre Grenzen liegen, welche Daten eingegeben werden dürfen – und welche auf keinen Fall.

Wichtig: Die Pflicht gilt auch für Auftragnehmer und Dienstleister, die im Auftrag des Betriebs KI-Systeme betreiben. Ein outgesourctes KI-Projekt entbindet den Auftraggeber nicht automatisch.

Das Omnibus-Paket: eine wichtige Korrektur

Das Digital-Omnibus-Paket zur KI-Verordnung trat am 27. Juli 2026 in Kraft und hat Artikel 4 leicht abgemildert – ohne die Geltung zu verschieben. Die ursprüngliche Formulierung „sicherstellen, dass Mitarbeiter ausreichende KI-Kompetenz besitzen" wurde zu „die Entwicklung von KI-Kompetenz unterstützen" (englisch: support the development of AI literacy). Rückwirkend gilt diese Fassung seit dem 2. Februar 2025.

Was das in der Praxis bedeutet: Die Anforderung ist damit etwas weniger absolut. Sie müssen nicht garantieren, dass jeder Mitarbeiter ein bestimmtes Kompetenzniveau erreicht. Sie müssen aber belegen können, dass Sie verhältnismäßige Maßnahmen ergriffen haben – Richtlinie, Schulung, Dokumentation. Wer bei einer Kontrolle gar nichts vorlegen kann, steht schlecht da.

Das Omnibus-Paket hat dagegen die Fristen für Hochrisiko-KI-Systeme (Anhang III) verschoben: von August 2026 auf Dezember 2027 bzw. August 2028. Für die meisten KMU, die ausschließlich kommerzielle KI-Tools wie ChatGPT oder Copilot nutzen, sind Artikel 4 und die Transparenzpflicht aus Artikel 50 ohnehin die beiden praxisrelevantesten Pflichten – und beide gelten unverändert.

Zwölf Pflicht-Bausteine einer KI-Richtlinie

Eine interne KI-Nutzungsrichtlinie ist das Kerndokument für Artikel 4. Sie muss kein Juristendeutsch enthalten – ein bis drei Seiten reichen für die meisten kleinen Betriebe. Diese zwölf Elemente sollten enthalten sein:

1. Zweck und Geltungsbereich — für wen gilt die Richtlinie, für welche Tools und Einsatzzwecke
2. Rollen und Verantwortliche — wer ist interner KI-Ansprechpartner, wer schult, wer aktualisiert die Richtlinie
3. Erlaubte Tools (Whitelist) — genehmigte KI-Systeme mit Verwendungszweck, Vertragsstatus und AVV-Nachweis
4. Verbotene Anwendungen — was nicht gemacht werden darf, insbesondere die verbotenen Praktiken aus Artikel 5 der KI-Verordnung (z. B. Social Scoring, Manipulation)
5. Datenklassifikation — was darf eingegeben werden? Empfehlung: vier Klassen (öffentlich / intern / vertraulich / personenbezogen) mit konkreten Beispielen
6. Prompt-Regeln — explizite Tabu-Daten: Kundennamen, Gesundheitsinformationen, Passwörter, Geschäftsgeheimnisse, laufende Rechtssachen
7. Output-Verantwortung — wer prüft KI-Ausgaben vor Weiterverwendung oder Veröffentlichung? Keine ungeprüften KI-Texte in offizielle Dokumente
8. Kennzeichnung (Artikel 50) — wie und wo KI-generierte Inhalte als solche erkennbar sein müssen; Chatbots müssen sich als KI zu erkennen geben
9. Schulungsnachweis — Verweis auf das Schulungsprogramm und Pflicht zur Dokumentation der Teilnahme (Name, Datum, Themen)
10. Incident-Handling — was tun, wenn ein KI-Tool Daten verliert, fehlerhafte Ausgaben in kritische Prozesse eingeflossen sind oder ein Datenschutzvorfall entsteht
11. Betriebsrat / Mitbestimmung — Hinweis auf § 87 Abs. 1 Nr. 6 BetrVG: KI-Tools, die das Verhalten von Mitarbeitenden nachvollziehbar machen, benötigen eine Betriebsvereinbarung
12. Review-Rhythmus — Empfehlung: alle sechs Monate oder bei Einführung neuer Tools

Kostenlose Vorlagen auf Basis dieser Gliederung bieten das Mittelstand-Digital Zentrum Berlin und die IHK an.

Für die DSGVO-Seite gilt: Der AI Act ersetzt die DSGVO nicht – er kommt obendrauf. Wer personenbezogene Daten in KI-Tools eingibt, braucht weiterhin einen Auftragsverarbeitungsvertrag. Wie das bei ChatGPT konkret funktioniert und was für Unternehmens-Accounts gilt, erkläre ich im Beitrag zur DSGVO-konformen ChatGPT-Nutzung.

Schulung nachweisbar machen: was die Aufsicht sehen will

Die Aufsicht erwartet kein Zertifikat, aber Dokumentation. Gut bewährt hat sich eine dreistufige Architektur:

• Stufe 1 – alle KI-Nutzer (1–2 Einheiten): Grundlagen und Einschränkungen von KI, Halluzinationsrisiken, Datenschutz-Basics, Inhalt der Unternehmensrichtlinie
• Stufe 2 – regelmäßige Nutzer (3–5 Einheiten zusätzlich): Tool-spezifische Vertiefung, Prompt-Qualität, Qualitätssicherung von KI-Ausgaben
• Stufe 3 – KI-Beauftragte und Führungskräfte (10–20 Einheiten): Governance, Risikobeurteilung, Compliance, Umgang mit Aufsichtsbehörden

Entscheidend für die Nachweisbarkeit: eine Teilnahmeliste mit Namen, Datum und Themen. Diese Liste muss im Fall einer Kontrolle verfügbar sein. Eine einmalige Schulung aus dem Jahr 2023 oder 2024 genügt nicht – die schnelle Weiterentwicklung der Systeme erfordert regelmäßige Aktualisierungen.

Die EU-Kommission betreibt ein Repository mit über 40 Praxisbeispielen für KI-Literacy-Programme unter digital-strategy.ec.europa.eu, das aber ausdrücklich keine Konformitätsvermutung begründet.

Wer in Deutschland prüft — und seit wann

Die Bundesnetzagentur ist seit dem 2. August 2026 die zentrale Marktüberwachungsbehörde für den AI Act in Deutschland, verankert im Gesetz zur Marktüberwachung und Innovationsförderung von Künstlicher Intelligenz (KI-MIG), das am 29. Juli 2026 in Kraft trat. Daneben gibt es sektorspezifische Zuständigkeiten: Die BaFin für Finanzdienstleister, das BfArM für KI in Medizinprodukten, der BSI für IT-Sicherheitsaspekte von KI-Systemen.

Öffentlich bekannte Bußgeldbescheide sind seit dem Enforcement-Start im August 2026 noch nicht bestätigt. Experten erwarten erste abgeschlossene Verfahren in 2027 – analog zum DSGVO-Muster, bei dem erste bedeutende Bußgelder etwa 18 Monate nach Geltungsbeginn folgten.

Artikel 4 selbst ist im Sanktionskatalog (Artikel 99 KI-VO) nicht direkt aufgeführt. Es gibt also keine isolierte Strafe für das Fehlen einer KI-Richtlinie. Wer jedoch gegen andere Verpflichtungen verstößt – etwa die Transparenzpflicht aus Artikel 50 – und dabei nachweislich keinerlei Kompetenzmaßnahmen ergriffen hat, riskiert eine verschärfte Bewertung durch die Behörde. Die möglichen Bußgelder für Artikel-50-Verstöße liegen bei bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes – bei KMU gilt der jeweils niedrigere Betrag.

Einen Überblick, welche Pflichten seit dem 2. August 2026 greifen und welche erst 2027 oder 2028 folgen, finden Sie in meinem Überblick zum EU AI Act für KMU.

Fünf Fragen, die Betriebe regelmäßig stellen

Muss jedes kleine Unternehmen eine KI-Richtlinie haben?
Ja, sobald KI-Tools im Betrieb genutzt werden – auch auf privaten Accounts von Mitarbeitenden für berufliche Zwecke. Die Frage ist nicht ob, sondern wie umfangreich. Ein Zwei-Personen-Betrieb kommt mit einer halben Seite aus; ein mittelständisches Unternehmen mit 80 Beschäftigten braucht mehr Tiefe.

Reicht eine kurze E-Mail ans Team?
Nein. Eine E-Mail ist kein Dokument und belegt keine Schulung. Sie brauchen ein schriftliches Regelwerk, das Ihr Team gelesen und gegengezeichnet hat, sowie eine Teilnahmeliste für die Schulung.

Was ist mit ChatGPT Free – darf das genutzt werden?
In der Standardeinstellung trainiert OpenAI das Modell mit Eingaben aus Free-Accounts. Für Unternehmensnutzung empfiehlt sich mindestens ein Team- oder Business-Konto mit AVV. Welche Alternativen es gibt und was sie datenschutzrechtlich bieten, zeigt dieser Vergleich.

Gibt es ein offizielles Behörden-Template?
Kein verbindliches. Die EU-Kommission stellt auf ihrer Website Praxisbeispiele zur Verfügung (kein Compliance-Nachweis). Kostenlose, praktisch einsetzbare Vorlagen bieten das Mittelstand-Digital Zentrum Berlin und die IHK.

Gilt die Schulungspflicht auch für Auszubildende und externe Dienstleister?
Ja. Jede Person, die im Betrieb oder im Auftrag des Betriebs KI-Systeme nutzt, fällt unter Artikel 4 – unabhängig vom Beschäftigungsverhältnis.

Wie eine KI-Richtlinie für Ihren Betrieb konkret aussehen kann – von der Arztpraxis bis zum Produktionsunternehmen im Ruhrgebiet – bespreche ich gerne in einem ersten Gespräch. Was Sie unter KI-Beratung erwartet und wie wir gemeinsam starten, finden Sie hier.