KI in der Schule: Handlungsleitfaden für rechtssicheren und datenschutzkonformen Einsatz

Beim Einsatz von KI an Schulen ist eine der wichtigsten Vorkehrungen, sicherzustellen, dass die personenbezogenen Daten von Schüler/-innen und Lehrkräften geschützt sind.

Die Datenverarbeitung muss auf klare, pädagogisch sinnvolle Zwecke beschränkt sein (gemäß DSGVO-Prinzipien, Art. 5), es darf keine unerlaubte Speicherung oder Weitergabe von Informationen geben. Besondere Vorsicht gilt daher bei beliebten KI-Tools (zum Beispiel ChatGPT, Gemini), deren Server oftmals in den USA stehen und nicht die DSGVO berücksichtigen.

Am sichersten fahren Schulen, die datensparsame, geprüfte und DSGVO-konforme KI-Anwendungen verwenden. Diese können Schulen auf Plattformen wie eduCheck digital oder dem Vermittlungsdienst für das digitale Identitätsmanagement in Schulen(VIDIS) finden.

Falls eine Anwendung nicht bei VIDIS oder eduCheck digital gelistet ist, muss die Schule selbst prüfen, ob sie DSGVO-konform ist. Hierzu sollte folgende Checkliste beachtet werden:

• Werden persönliche Daten gespeichert (Name, E-Mail, IP-Adresse, individuelle Lernanalysen oder Antworten)?
• Gibt es eine Möglichkeit zur anonymen Nutzung, sodass keine Klarnamen oder persönliche Informationen erforderlich sind?
• Werden Daten dauerhaft gespeichert oder nach kurzer Zeit gelöscht?
• Ist die Speicherung für den Bildungszweck wirklich notwendig oder nur optional?
• Falls ja: Kann die Datenerfassung in den Einstellungen reduziert oder deaktiviert werden?

Es ist ratsam, Tools zu bevorzugen, die mit wenig oder anonymen Daten arbeiten und keine langfristige Speicherung erfordern.

Die Schule sollte stets sicherstellen, dass Eltern und Schüler/-innen über den Einsatz von KI  informiert sind. Gegebenenfalls muss auch eine schriftliche Einwilligung eingeholt werden. 

Wann ist eine Einwilligung erforderlich?

Eine schriftliche Einwilligung der Eltern (bei unter 16-Jährigen) ist gemäß Art. 6 Abs. 1 lit. a DSGVO erforderlich, wenn:

• die Nutzung der KI nicht direkt durch Schulgesetze oder Bildungsaufträge gedeckt ist.
• die KI personenbezogene Daten speichert und analysiert (etwa Lernfortschritte, Schreibstile, Spracherkennung).
• die KI eine freiwillige Ergänzung und nicht für den Unterricht vorgeschrieben ist (z.B. adaptive Lernplattformen, Schreibassistenten).

Ab 16 Jahren können Schüler/-innen selbst einwilligen, sofern die Schule die Freiwilligkeit der Entscheidung sicherstellt.

Beispiel:
Eine Schule nutzt eine freiwillige KI-Lernplattform für Hausaufgabenhilfe, die nicht gesetzlich vorgeschrieben ist. Hier wäre eine schriftliche Einwilligung erforderlich.

Wann reicht eine Information aus?
Eine formlose Information an Eltern und Schüler/-innen genügt, wenn

• die KI-Anwendung keine personenbezogenen Daten speichert oder verarbeitet.
• alle Daten lokal auf Schulservern verarbeitet und nicht an Dritte weitergegeben werden.
• die Nutzung aus dem Schulgesetz oder einem Bildungsauftrag abgeleitet werden kann.

Beispiel: Die Lehrkraft nutzt ein KI-gestütztes Tool zur Generierung von Übungsmaterial, ohne dass Schülerdaten erfasst werden. Hier wäre keine Einwilligung nötig, aber Information erforderlich.

Wenn Schulen KI-Systeme einsetzen oder auf Inhalte zurückgreifen, die mit Hilfe von KI erstellt wurden, muss für Schüler/-innen, Lehrkräfte und Erziehungsberechtigte klar erkennbar sein, dass es sich um KI handelt. Dies betrifft sowohl interaktive KI-Anwendungen wie Chatbots oder virtuelle Assistenten als auch durch KI erzeugtes Unterrichtsmaterial, etwa automatisch generierte Texte, Aufgaben oder Lernhilfen. Die europäische KI-Verordnung verpflichtet in Artikel 50 dazu, solche Inhalte und Systeme transparent zu kennzeichnen, zum Beispiel durch einen deutlichen Hinweis oder ein entsprechendes Symbol. So wird gewährleistet, dass Lernende zwischen menschlichen und KI-generierten Inhalten unterscheiden können.

Die europäische KI-Verordnung definiert verschiedene Kategorien von Künstlicher Intelligenz. Aus ihnen leiten sich direkte Konsequenzen ab, was beim Einsatz der jeweiligen KI beachtet werden muss. Ob hochriskant, begrenztes oder minimales Risiko: Über den Einsatz von KI an der Schule müssen Schüler/-innen und Eltern grundsätzlich informiert werden.

Verbotene KI: Dazu gehören manipulative KI-Systeme, die Schüler/-innen unbewusst beeinflussen oder Entscheidungen manipulieren, KI, die Verhaltensbewertung & Social Scoring praktizieren, also Schüler/-innen basierend auf Verhalten oder Persönlichkeitsanalysen bewerten. Auch Echtzeit-Gesichtserkennung und die Analyse von Emotionen durch KI fallen in diese Kategorie.
Ihr Einsatz ist grundsätzlich nicht erlaubt.

Hochriskante KI: In diesen Kontext gehören KI-Anwendungen zur Notengebung oder zur Bewertung von Schülerleistungen sowie Empfehlungssysteme für Bildungswege, die Schüler/-innen basierend auf Daten in bestimmte Lerngruppen oder Bildungswege einteilen. Auch Überwachungssysteme bei Prüfungen, die zur Erkennung von Betrug oder unzulässigem Verhalten während Tests eingesetzt werden, sowie Systeme zur Identifikation von Lernschwierigkeiten gehören hierzu.
Beim Einsatz hochriskanter KI muss die Schule bzw. der Schulträger eine systematische Bewertung der potenziellen Risiken durch das KI-System vornehmen (vgl. u.a. Art. 35 DSGVO). Die Schule muss nachweisen können, wie die KI funktioniert, welche Daten sie verwendet, wer sie einsetzt und überwacht (vgl. Art. 12 & 29 AI Act). Es muss klar dokumentiert werden, warum die KI im Unterricht oder in Prüfungen eingesetzt wird und wie menschliche Kontrolle gewährleistet bleibt. Lehrkräfte dürfen nicht allein auf KI-basierte Empfehlungen oder Bewertungen vertrauen.

KI mit begrenztem Risiko: Diese Anwendungen haben ein geringes Potenzial, die Grundrechte oder die Sicherheit der Nutzer:innen zu beeinträchtigen. Sie unterliegen jedoch Transparenzpflichten gemäß Artikel 50 des EU AI Acts (siehe unten). Zu dieser Kategorie gehören KI-gestützte Chatbots, die Schülerfragen beantworten oder Lerninhalte unterstützen, z.B. virtuelle Assistenten auf Schulwebsites oder in Lernplattformen. Auch Sprachübersetzer, Grammatikhilfen oder KI-Tools, die personalisierte Inhalte oder Übungen vorschlagen, ohne dabei sensible Daten zu verarbeiten, sind hier einzuordnen.
Diese KI-Systeme müssen transparent gekennzeichnet werden. Nutzer/-innen müssen klar informiert werden, dass sie mit einer KI interagieren. Zudem sollten Schulen die Nutzung dieser Systeme dokumentieren und regelmäßig überprüfen.

KI mit minimalem Risiko: Diese KI-Tools umfassen KI-gestützte Rechtschreibkorrekturen (Grammarly, DeepL), Übersetzungshilfen & Sprachmodelle ohne Datenspeicherung und einfache Tutorensysteme, die keine Langzeitdaten speichern.
Trotz minimalem Risiko empfiehlt es sich, Schüler/-innen, Eltern und Lehrkräfte über den Einsatz zu informieren. Schulen sollten auch regelmäßig prüfen, ob diese Tools weiterhin in die Kategorie "minimales Risiko" fallen oder ob Aktualisierungen zu einer Neubewertung führen könnten.

Unabhängig vom Risiko einer KI-Anwendung gilt: Schulen müssen sicherstellen, dass Lehrkräfte und andere Beschäftigte, die mit KI-Systemen arbeiten, diese auch kompetent bedienen können. Laut Artikel 4 des EU AI Act sind Betreiber von KI-Systemen verpflichtet, ihr Personal so zu schulen, dass sie die Funktionsweise, die möglichen Risiken und die Grenzen des eingesetzten Systems verstehen.

Besonders relevant ist dies bei den oben genannten hochriskanten KI-Systemen, etwa bei Anwendungen zur Leistungsbewertung oder Prüfungsaufsicht: Hier sind spezifische Schulungen erforderlich, um eine sichere und verantwortungsvolle Nutzung zu gewährleisten. Doch auch bei weniger risikobehafteten Anwendungen – wie etwa Chatbots, Übersetzungshilfen oder Lernassistenten – müssen die Nutzer/-innen grundlegende Kenntnisse darüber haben, wie sie mit einer KI arbeiten, damit ein pädagogisch und rechtlich sicherer Umgang gewährleistet ist.