Title: Anlagebogen zur Musterdienstanweisung
Subject: Künstliche Intelligenz in der Thüringer Verwaltung
Author: Referat 25 - Think and Do Tank, Digitale Transformation, Daten und KI
Last saved by: TMIL Referat M3
Company: TMDI

Informationsbogen zur Regulierung von Künstlicher Intelligenz (KI) nach der KI-Verordnung und ihre Anwendung in der öffentlichen Verwaltung
- Stand: 25.08.2025 - © 2025 by TMDI is licensed under CC BY 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by/4.0/
1.	Vorbemerkungen
Künstliche Intelligenz (KI) ist eine Schlüsseltechnologie des 21. Jahrhunderts, die Wirtschaft, Wissenschaft und Gesellschaft zunehmend prägt. Auch für die Thüringer Landesverwaltung eröffnen die Potenziale von KI umfangreiche Möglichkeiten zum Nutzen der Bürgerinnen und Bürger, der Unternehmen und der Beschäftigten. Um die Entwicklung, Verwendung und Verbreitung künstlicher Intelligenz in Thüringen zu fördern und gleichzeitig einen hohen Schutz öffentlicher Interessen wie Gesundheit und Sicherheit und den Schutz der Grundrechte zu gewährleisten, bedarf es eines umfassenden Ordnungsrahmens. Der Ordnungsrahmen dieses noch jungen Rechtsgebietes erstreckt sich über mehrere Ebenen, um der Komplexität und der zunehmenden Verbreitung von KI entsprechend Rechnung zu tragen.

Siehe auch „Strategie für den Einsatz Künstlicher Intelligenz in der Thüringer Landesverwaltung“ v. ##.##.2025.

Maßgeblichen Einfluss auf die Regulierung von KI hat der europäische Gesetzgeber mit der Verabschiedung der „Verordnung über Künstliche Intelligenz“ (KI-VO) genommen. Die Verordnung ist am 1. August 2024 in Kraft getreten und legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen Künstlicher Intelligenz in der Union fest. Auf diese Weise soll ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden.

ABl. L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj.

Die zeitliche Anwendbarkeit der Verordnung ist insbesondere in Art. 113 KI-VO geregelt. Dieser sieht ein sukzessives Wirksamwerden der Regelungen vor. Allgemein ist die Verordnung 24 Monate nach Inkrafttreten (2. August 2026) uneingeschränkt anwendbar (Art. 113 S. 2 KI-VO). Für einige Teilbereiche gelten jedoch Ausnahmen. So sind die allgemeinen Bestimmungen (Kapitel I, Art. 1 – 4 KI-VO) und die Regelungen zu verbotenen Praktiken (Kapitel II, Art. 5 KI-VO) bereits seit dem 2. Februar 2025 anwendbar (Art. 113 S. 3 lit. b KI-VO). Seit dem 2. August 2025 sind die Regelungen zu Hochrisiko-KI-Systemen (Kapitel III, Art. 28 – 39 KI-VO) sowie die Regelungen zu GPAI-Systemen (Kapitel V, Art. 51 – 56 KI-VO), Governance (Kapitel VII, Art. 64 – 70 KI-VO) und Vertraulichkeit bzw. Sanktionen (Kapitel XII, Art. 99 – 101 KI-VO und Art. 78 KI-VO) wirksam. Erst nach 36 Monaten anzuwenden ist Art. 6 Abs. 1 KI-VO, der jene Voraussetzungen festlegt, unter denen ein KI-System als hochriskant eingestuft wird.

2.	Einsatz von KI in der öffentlichen Verwaltung
Die öffentliche Verwaltung in Deutschland durchläuft derzeit eine Phase der Transformation und Neuausrichtung in Bezug auf den Einsatz von KI-Systemen. Während einige Bundesländer eigene Lösungen entwickeln, setzen andere auf kommerzielle Anbieter. Derzeit stehen bereits Modelle unterschiedlicher Anbieter zur Verfügung, um einer Abhängigkeit von einzelnen Sprachmodellen vorzubeugen. So setzt die Landesverwaltung Baden-Württemberg mit F13 ein eigens entwickeltes, souveränes KI-Assistenzsystem ein, um Verwaltungsmitarbeitende bei der täglichen Textarbeit zu unterstützen. In diesen Fällen agiert der Staat als Anbieter eines KI-Systems (Art. 3 Nr. 3 KI-VO) für die interne Nutzung. Aber auch sofern ein Chatbot eines externen Anbieters lediglich angepasst wird, können staatliche Stellen nach Art. 25 KI-VO selbst zum Anbieter werden. Die Vorschrift definiert denjenigen als Anbieter, der ein KI-System unter eigenem Namen oder eigener Marke in Verkehr bringt, in Betrieb nimmt oder für eigene Zwecke verwendet. In der Praxis wird es jedoch häufiger vorkommen, dass eine staatliche Stelle kein eigenes KI-System entwickelt, sondern ein bestehendes System lizensiert. In diesem Fall ist die staatliche Stelle lediglich als Betreiber einzustufen, d.h. als jemand, der ein KI-System unter eigener Verantwortung zu beruflichen Zwecken verwendet (Art. 3 Nr. 4 KI-VO).
3.	Risikobasiertes Regulierungskonzept der KI-Verordnung
a)	Überblick
Die Verordnung über Künstliche Intelligenz zielt darauf ab, den sicheren und vertrauenswürdigen Einsatz von KI-Systemen innerhalb der Europäischen Union zu gewährleisten. Dazu verfolgt die KI-VO einen technologieneutralen und risikobasierten Ansatz, wonach nicht die KI-Technologie selbst im Mittelpunkt steht, sondern die Frage, welche Risiken durch ihre Verwendung für den Menschen entstehen kann. Die gesamte Risikoeinordnung befasst sich mit Anwendungsszenarien (Anwendungsfälle), welche mit der 
KI-Technologie entstehen können. Dieses Vorgehen ermöglicht es, neue KI-Technologie flexibel zu beurteilen, anstatt sie in starren Regeln zu erfassen, die schnell wieder veraltet sein können. Um den Mitgliedstaaten und den betroffenen Akteuren die Durchführung der erforderlichen Maßnahmen zu erleichtern und die Einhaltung der Vorschriften der KI-VO sicherzustellen, sieht die VO einen gestaffelten Geltungsbeginn vor, der sich über einen Zeitraum von 36 Monaten erstreckt (vgl. Art. 113 KI-VO, siehe 1.). 
Als Grundlage für die Risikobewertung teilt die KI-VO die verschiedenen KI-Systeme und -Modelle, in Abhängigkeit von der Höhe des Risikos, das sie für die Gesellschaft darstellen, in vier Risikokategorien ein, wobei Modelle mit hohem Risiko den restriktivsten Vorschriften unterliegen.

Risikoklassifizierung von KI-Systemen und -Modellen, Quelle: Europäische Kommission (CC BY 4.0)

Einen Sonderfall ist die Risikoklassifizierung von KI-Systemen und -Modellen mit allgemeinem Verwendungszweck (GPAI). Es handelt sich dabei um Systeme, die auf einem GPAI-Modell aufsetzen und die für eine Vielzahl von Zwecken eingesetzt werden können. Sie bilden die fünfte Kategorie und stehen außerhalb dieser Hierarchie. Sie lässt sich auf Modellseite wiederum unterteilen in jene KI-Modelle, die angesichts ihres Wirkungsgrads mit einem systemischen Risiko behaftet sind und jene, für die das nicht gilt.
Für den Einsatz in der öffentlichen Verwaltung werden KI-Systeme mit Transparenzrisiko (Art. 50 KI-VO, siehe 3. d)) empfohlen. Angesichts des von diesen Systemen ausgehenden geringen Risikos sind an deren Einsatz lediglich geringe Anforderungen geknüpft. 
Der Einsatz von Hochrisiko-KI in der Thüringer Verwaltung wird dagegen nicht empfohlen, da die KI-VO hierfür hohe rechtliche Voraussetzungen statuiert, deren Einhaltung vor der Anwendung entsprechender KI-Systeme sicherzustellen sind (siehe 3. c)).
b)	KI-Systeme mit inakzeptablem Risiko (Verbotene Praktiken, Art. 5 KI-VO)
Verbotene Praktiken umfassen KI-Systeme, die unannehmbare Risiken bergen und entsprechend in der EU nicht in Verkehr gebracht, in Betrieb genommen oder verwendet werden dürfen. Hierunter fallen nach Art. 5 Abs. 1 KI-VO folgende Sachverhalte: a) Unterschwellige Beeinflussung, b) Ausnutzung der Schutzbedürftigkeit, c) Social Scoring, d) Predictive Policing, e) Ungezieltes Auslesen von Gesichtsbildern, f) Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen.
c)	Hochrisiko-KI-Systeme (Art. 6 KI-VO)
Bei den KI-Systemen mit hohem Risiko handelt es sich in der Praxis um eine begrenzte Anzahl von KI-Systemen, die sich potenziell nachteilig auf die Sicherheit der Menschen oder ihre Grundrechte auswirken. Ob ein KI-System als Hochrisiko-KI-System eingestuft werden muss oder nicht, ergibt sich aus Art. 6 KI-VO. Der Gesetzgeber differenziert dabei sowohl nach Art als auch nach Anwendungsbereichen des Produkts. 
Produktsicherheitsrechtliche Einstufung (Art. 6 Abs. 1 KI-VO, Geltung ab 2. August 2027)
Erfasst werden nach Art. 6 Abs. 1 KI-VO zunächst KI-Systeme, die als Sicherheitskomponente für ein Produkt dienen, das bereits Regelungsgegenstand eines in Anhang I Abschnitt A aufgeführten EU-Rechtsakts ist, oder die selbst als ein solches Produkt gelten, Art. 6 Abs. 1 lit. a KI-VO. Hierzu zählen u.a. Maschinen, Spielzeug und Medizinprodukte, aber auch Aufzüge, Druckgeräte und Funkanlagen. 
Das Produkt, dessen Sicherheitskomponente das KI-System ist, oder das KI-System selbst müssen zusätzlich einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme gem. den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden, Art. 6 Abs. 1 lit. b KI-VO.
Anwendungsbezogene Einstufung (Art. 6 Abs. 2 KI-VO, Geltung ab 2. August 2026)
Da jedoch nicht alle problematischen Anwendungsfelder von KI-Systemen dem europäischen Produktsicherheitsrecht unterliegen, listet Art. 6 Abs. 2 KI-VO über einen Verweis auf Anhang III zusätzlich bestimmte Anwendungsbereiche auf, die ebenso eine Klassifizierung als Hochrisiko-KI-System bedingen. Diese zweite Gruppe von KI-Systemen stuft der Al-Act über Anhang III aufgrund ihres sensiblen Anwendungsbereichs eigenständig als Hochrisiko-KI-Systeme ein.
Der Anhang unterteilt hierzu unterschiedliche Bereiche, in denen die KI-Systeme Anwendung finden, namentlich: Erlaubte Biometrie, Ausbildung, Bewerbungsverfahren, Arbeitsverhältnis, Versicherung, Banken, Öffentliche Einrichtungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle.
Ausnahmen (Art. 6 Abs. 3 KI-VO)
Abweichend von Art. 6 Abs. 2 KI-VO gilt ein KI-System nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es u.a. das Ergebnis einer Entscheidungsfindung nicht wesentlich beeinflusst, Art. 6 Abs. 3 Satz 1 KI-VO. Dies ist der Fall, wenn eine oder mehrere der folgenden Bedingungen erfüllt sind: Das Kl-System ist nur dazu bestimmt, 
̵	eine eng gefasste Verfahrensaufgabe durchzuführen,
̵	das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern,
̵	Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen, 
̵	eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist, Art. 6 Abs. 3 Satz 2 KI-VO.
Kommt ein Anbieter nach diesen Kriterien zu der Auffassung, dass sein in Anhang III aufgeführtes KI-System dennoch nicht hochriskant ist, muss er seine Bewertung dokumentieren und der nationalen Aufsichtsbehörde auf Aufforderung übermitteln, Art. 6 Abs. 4 Satz 1 und 3 KI-VO. Erst im Anschluss an die Dokumentation darf er das System in Verkehr bringen respektive in Betrieb nehmen. Zudem unterliegt er der Registrierungspflicht nach Art. 49 Abs. 2 KI-VO.
Anforderungen an Hochrisiko-KI-Systeme (Art. 8 – 15 KI-VO)
Mit der Einstufung als Hochrisiko-KI-System gehen entsprechende Anforderungen und Pflichten einher. Die Verantwortlichkeit für die Umsetzung der Anforderungen und Einhaltung der Pflichten trifft ausschließlich den Anbieter des KI-Systems. Für die öffentliche Verwaltung bedeutet dies, dass jede Behörde, „die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen (…) in Betrieb nimmt“, an die Einhaltung der Vorgaben der KI-VO gebunden ist.
Für Hochrisiko-KI-Systeme sieht die KI-VO in Art. 8-15 spezifische Anforderungen vor, beispielsweise an die Qualität der verwendeten Daten, die Genauigkeit, die Robustheit und die Cybersicherheit. Zusätzlich muss es für Hochrisiko-KI-Systeme eine technische Dokumentation, eine Protokollierungsfunktion und ein Risikomanagement geben. Weitere Anforderungen sind Transparenz und menschliche Aufsicht. 
d)	KI-Systeme mit Transparenzrisiko (limitiertes Risiko, Art. 50 ff. KI-VO)
KI-Systeme mit Transparenzrisiko sind Systeme, die direkt mit Menschen interagieren. Das Transparenzrisiko, dem Art. 50 KI-VO entgegentritt, wird häufig synonym als moderates oder beschränktes Risiko bezeichnet. Anbieter und Betreiber müssen sicherstellen, dass Systeme, die mit Menschen in Kontakt treten, ihre KI-Beschaffenheit eindeutig offenlegen. Diese Information ist nach Art. 50 Abs. 5 KI-VO spätestens zum Zeitpunkt der ersten Interaktion in klarer und eindeutiger Sprache möglichst barrierefrei zu geben.
Die elektronische Kommunikation mithilfe von Chatbots auf der Grundlage von Natural-Language-Processing-Algorithmen sind derzeit die aktuell vorherrschende Interaktionsform iSd Art. 50 Abs. 1 KI-VO und von dem Transparenzrisiko betroffen. Bei Chatbots ist idR nicht davon auszugehen, dass natürliche Personen typischerweise unterscheiden können, ob sie mit einem Menschen oder einer Maschine kommunizieren. Die erforderlichen Informationen sind folglich entsprechend bereitzustellen.
e)	KI-Systeme mit keinem oder minimalem Risiko
Auf der untersten Stufe der Risikopyramide befinden sich KI-Systeme mit keinem oder höchstens minimalem Risiko. Die große Mehrzahl der KI-Systeme, die derzeit und künftig in der EU Verwendung findet, soll sich innerhalb dieser Risikostufe bewegen. Typische Beispiele sind KI-basierte Videospiele oder Spamfilter. Auch Legal Tech AI-Systems dürften in der Regel KI-Systeme mit minimalen Risiken sein. Für sie können Anbieter freiwillige Verhaltenskodizes entwickeln und einhalten.
f)	KI-Systeme und-Modelle mit allgemeinem Verwendungszweck (GPAI) als fünfte Kategorie
Als GPAI-System gilt ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck 
(GPAI-Modell) beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen (Art. 3 Nr. 66 KI-VO). Bei GPAI-Modellen ist zu überprüfen, ob sie ein systemisches Risiko nach Art. 51 Abs. 1 KI-VO aufweisen. In diesem Fall treffen Anbieter weitere Pflichten aus Art. 55 KI-VO, die die Pflichten aus Art. 53 KI-VO ergänzen. 
GPAI-Modelle können systemische Risiken bergen, wenn sie eine außergewöhnlich hohe Wirkkraft besitzen oder eine weite Verbreitung finden. Als besonders hohe Wirkkraft bezeichnet Art. 3 Nr. 64 KI-VO Fähigkeiten, die den fortschrittlichsten KI-Modellen mit allgemeinem Verwendungszweck entsprechen oder diese übersteigen. Besonders wirkkräftige Modelle etwa können für weitreichende Cyberangriffe missbraucht werden. 
„Fähigkeiten mit hohem Wirkungsgrad“ hat ein Modell nach der Vermutungsregel des Art. 51 Abs. 2 KI-VO dann, wenn es im Laufe seiner Lebenszeit über eine bestimmte Zahl an Floating Point Operations (FLOPs) verfügt. Wird die Schwelle von 1025 FLOPs überschritten, gelten die Modelle als Modelle mit systemischem Risiko und werden den zusätzlichen Anforderungen aus Art. 55 KI-VO unterworfen.

4.	Maßnahmen zur Sicherstellung von KI-Kompetenz 
Die Anbieter und Betreiber von KI-Systemen haben nach Art. 4 KI-VO Maßnahmen zu ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Der Begriff der KI-Kompetenz wird in Art. 3 Nr. 56 KI-VO legal definiert und umfasst die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen der KI-VO ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.
Sofern eine Behörde ein KI-System lizenziert und seinen Mitarbeitern zur dienstlichen Nutzung zur Verfügung stellt, hat es im Rahmen einer Rechtspflicht dafür zu sorgen, dass diese über ein hinreichendes Maß an KI-Kompetenz verfügen. Ziel der Vorschrift soll sein, dass Anbieter, Betreiber und betroffene Personen mit den notwendigen Konzepten ausgestattet werden, um fundierte Entscheidungen über KI-Systeme zu treffen.
Die konkret zu ergreifenden Maßnahmen können abhängig vom jeweiligen Kontext unterschiedlich sein. Anbieter und Betreiber haben bei der Erarbeitung von Konzepten zur Vermittlung von KI-Kompetenz die technischen Kenntnisse ihrer Mitarbeiter sowie ihre Erfahrung, ihre Ausbildung und Schulung zu berücksichtigen.
Mögliche Maßnahmen zur Förderung der KI-Kompetenz
(1)	Entwicklung interner Richtlinien und Standards
(2)	Fortbildung und Schulung der Mitarbeiter
(3)	Teilnahme an Zertifizierungsprogrammen
(4)	Ernennung innerbehördlicher KI-Beauftragter