Leitlinien für den Einsatz Künstlicher Intelligenz in der Bundesverwaltung (KI-Leitlinien)

Die Bundesverwaltung setzt KI chancenorientiert dort ein, wo diese einen Mehrwert im Sinne der dienstlichen Aufgabenerfüllung schafft. Ziel ist es, Mitarbeitende mithilfe von KI zu unterstützen sowie Dienstleistungen für Bürgerinnen und Bürger, Unternehmen und die Verwaltung selbst zu verbessern und damit effizientes und innovatives Verwaltungshandeln zu fördern.

Die Bundesverwaltung ist sich dabei ihrer besonderen Rolle bewusst, KI-Systeme verantwortungsvoll einzusetzen. Im Einklang mit gesetzlichen Rahmenbedingungen [9] muss es beim Einsatz von KI klare Verantwortlichkeiten geben. Im Sinne angemessener menschlicher Aufsicht kann die Verantwortung für Entscheidungen folglich nicht an KI-Systeme als Werkzeug abgegeben werden.

Wie kann ich dieses Prinzip berücksichtigen?

• KI wird eingesetzt, um Effizienz- und Effektivitätspotenziale in der Verwaltungsarbeit zu erschließen und Abläufe zu transformieren.
• Der KI-Einsatz erfolgt unter angemessener menschlicher Aufsicht, wobei die Angemessenheit im Einzelfall zu beurteilen ist. In einigen Fällen kann es erforderlich sein, jedes Ergebnis mit allen zugrundeliegenden Faktoren nachvollziehen und bewerten zu können. Bei KI-Systemen beziehungsweise Datenverarbeitungen, für die spezifische Informations- und Auskunftspflichten gelten [10], entspricht dies beispielsweise dem gesetzlichen Mindeststandard. Für Systeme, die nicht unter diese Regelungen fallen, sind auch abgestufte Ansätze denkbar. Die geringste Form der menschlichen Aufsicht besteht darin, ein KI-System jederzeit abschalten zu können. Es wird eine grundsätzliche Eingriffsmöglichkeit sichergestellt.

Es gilt allgemein: Je höher das Risiko, welches mit dem Einsatz von KI verbunden ist, desto mehr rücken menschliche Aufsicht und Kontrolle in den Vordergrund (risikobasierter Ansatz).

Vertrauenswürdige KI definieren wir als rechtmäßig, ethisch und robust. Ihr Einsatz erfolgt im Einklang mit geltendem Recht sowie der Werteorientierung der KI-VO. [13] Vertrauenswürdige KI erfüllt ihre Funktionen sicher und zuverlässig („technisch robust“) und ist resilient gegenüber externen Eingriffen. Vorhersehbare Sicherheitseinschränkungen des KI-Systems oder für die vom System betroffenen Menschen müssen vermieden werden. Zusätzlich wird ein vertrauenswürdiges KI-System den dynamischen sozialen Kontexten gerecht, in welchen es genutzt wird („sozial robust“). Dazu gehört auch, dass KI, wo erforderlich, als solche erkennbar, die generierten Inhalte hinterfragbar und die Nutzung mit transparentem Verwaltungshandeln vereinbar sind.

Wie kann ich dieses Prinzip berücksichtigen?

• KI-Systeme werden vor ihrem Einsatz sowie fortlaufend in verschiedenen Situationen und Umgebungen durch die verantwortliche Behörde auf ihre Widerstandsfähigkeit getestet und in sicheren Umgebungen eingesetzt. Dazu zählt die Resilienz gegenüber eintretenden Schwachstellen in der physischen Infrastruktur ebenso wie gegenüber Cyberangriffen, Zweckentfremdung, gezielter und schädlicher Datenmanipulation oder dem unbefugten Zugriff auf Daten.
• Behörden sollten bei der Einführung von KI-Systemen die zweckgemäße Erkennbarkeit und Erklärbarkeit von KI-generierten Ergebnissen sicherstellen. Das bedeutet, Nutzende und Betroffene sollten grundsätzlich erkennen können, wenn sie direkt mit einer KI interagieren oder mit ungeprüften Ergebnissen von KI-Systemen konfrontiert sind. Zudem sollten sie in diesen Fällen möglichst nachvollziehen können, anhand welcher Maßstäbe und auf Basis welcher Informationen die KI Ergebnisse erzielt. Je weitreichender die Folgen einer Vorhersage oder Empfehlung des KI-Systems umso wichtiger ist Transparenz über die Grundlagen und Reproduzierbarkeit der auf dieser Basis getroffenen Entscheidungen („explainable AI“).

Ein gemeinschaftlicher Ansatz soll dabei unterstützen, dass für die gesamte Bundesverwaltung soweit möglich einheitliche Qualitätsstandards und Konventionen für die Bereitstellung und Nutzung von KI eingehalten werden. Die Leitlinien bilden eine Grundlage für die Abstimmung gemeinsamer Standards zur Umsetzung rechtlicher Anforderungen beim KI-Einsatz. Zudem stärken sie die ressortübergreifende Kollaboration bei der technischen Entwicklung oder Beschaffung. Dabei wird größtmögliche ökologische, ökonomische, organisatorische, technische und soziale Nachhaltigkeit bei der Entwicklung und dem Einsatz von KI angestrebt. [17]

Wie kann ich dieses Prinzip berücksichtigen?

• Wo möglich und sinnvoll sollten ressortübergreifend gemeinsame Lösungen für die Entwicklung, Beschaffung und den Einsatz von KI gefunden werden (zum Beispiel Infrastruktur, Produktrahmenverträge, Schulungskonzepte, Leitlinien), um menschliche, finanzielle und ökologische Ressourcen zu schonen. Gemeinsame Infrastrukturen können beispielsweise durch Skaleneffekte Ressourcen sparen.
• KI-Systeme und ihr Einsatz sollen möglichst ressourcenschonend und energieeffizient sein. Bei der Entwicklung und Beschaffung kann die Effizienz der Systeme berücksichtigt werden. Auf Ebene der Hardware sollen Energieverbrauch und die materiellen Ressourcen für die Rechenleistung von KI minimiert werden. [18] KI kann gleichzeitig auch aktiv für Zwecke eingesetzt werden, die der ökologischen Nachhaltigkeit dienen.
• Die spätere Wechselmöglichkeit, die eigene Gestaltungsfähigkeit und der Einfluss der Behörde auf den IT-Anbieter sowie dessen Marktposition sollten bei der Wahl der KI-Lösung beachtet werden, um „Lock-In-Effekte“ [19] zu vermeiden und die Digitale Souveränität zu wahren. Wo möglich werden Modelle mit transparentem Trainingsprozess und frei verfügbaren Parametern gegenüber „Closed-Source-Modellen“ bevorzugt.

Nutzende stellen sicher, dass sie die Nutzung von KI-Systemen dem jeweiligen Einsatzbereich entsprechend verantwortungsvoll gestalten.

Um KI-Systeme verantwortungsvoll einzusetzen, nehmen Nutzende vor dem Einsatz von KI behördliche und ressortübergreifende Schulungen wahr.

Zudem sollte die allgemeine ethische Wertegrundlage bei der Verwendung von KI angemessen berücksichtigt werden (siehe auch die Hinweise zur Werteorientierung der KI-VO in Fußnote [11]).

Umsetzung der ethischen Grundsätze am Beispiel von
LLM-Anwendungen:

Am Beispiel von LLM-Anwendungen lässt sich zeigen, wie eine solche Umsetzung der ethischen Grundsätze in der Praxis aussehen kann:

• Für eine verantwortungsvolle Nutzung von textgenerativen LLM-Anwendungen ist die ethische und sensible Formulierung der Anfrage durch Nutzende an die Anwendung (engl. „Prompting“) zentral. Das Sprachmodell versucht, die gestellte Anfrage anhand statistischer Abgleichungen der Worte (zum Beispiel der Semantik) zu beantworten. Formulierungs- und Strukturierungstechniken können daher nicht nur dabei unterstützen, die Qualität der Ausgabe zu maximieren, sondern auch dabei, ethische Herausforderungen, wie verzerrte Ausgaben zu vermeiden. Eine Auswahl solcher „Prompting“-Techniken findet sich im Handout für Nutzende „Einsatz großer Sprachmodelle (LLM) gemäß KI Leitlinien“ (siehe Anlage).
• Unethische Eingaben oder die Verbreitung von generierten Inhalten, die beispielsweise zu Hassreden, Beleidigungsdelikten nach §§ 185 ff. StGB oder der Verbreitung von Desinformation veranlassen, sind unzulässig. Gleiches gilt für Anfragen, die zum Beispiel Diskriminierung oder Verletzungen der Menschenwürde implizieren. Zu Zwecken von Schulungen, Recherchen oder dem Prüfen der Modellsicherheit durch sogenanntes „Red-Teaming“ [21] sind fachspezifische Ausnahmen möglich. Nutzende müssen zudem prüfen, ob generierte Ergebnisse einen sogenannten Bias enthalten, zum Beispiel diskriminierende Inhalte oder systematische Fehler beziehungsweise „Missrepräsentationen“. Wenn ein KI-System mit Datensätzen trainiert wurde, in denen bestimmte Gruppen über- oder unterrepräsentiert sind, kann dies beispielsweise zu verzerrten Informationen führen. Werden diskriminierende oder verzerrte Inhalte festgestellt, dürfen diese nicht übernommen werden. Diskriminierende oder vorurteilsbehaftete Ausgaben durch die Anwendung sollten der in der Anwendung als verantwortlich angegebenen Stelle gemeldet werden.

Nutzende prüfen vor der Dateneingabe beziehungsweise -freigabe im Rahmen der KI-Nutzung, welche Daten unter Berücksichtigung des konkreten Anwendungsfalls in das jeweilige KI-System eingegeben werden dürfen.

Die notwendigen Informationen für eine verantwortungsvolle Dateneingabe werden Nutzenden von der verantwortlichen Organisationseinheit in der Behörde einfach zugänglich bereitgestellt.

Nutzenden werden die notwendigen Informationen für eine verantwortungsvolle Dateneingabe einfach zugänglich von der verantwortlichen Behörde bereitgestellt (zum Beispiel in der Eingabemaske eines KI-Systems, der bereitgestellten Dokumentation oder im Rahmen von Schulungsmaterialien).

Für von der Bundesverwaltung freigegebene oder bereitgestellte KI-Systeme muss folglich einfach ersichtlich sein, welche Daten zur Eingabe freigegeben sind. Andernfalls ist grundsätzlich davon auszugehen, dass der restriktivste Fall gilt (siehe Kasten zur „Vertiefung: Restriktivster Fall der Dateneingabe“).

Wenn Nutzenden die Informationen vorliegen, welche Daten in ein KI-System eingegeben werden dürfen, ist folgendermaßen vorzugehen: Vor der Nutzung des KI-Systems bewerten Nutzende die Art der Daten, die sie in das System eingeben (beispielsweise über die Eingabemaske einer LLM-Anwendung) oder anderweitig anbinden wollen (beispielsweise über einen Dokumenten-Upload). Nutzende prüfen dabei insbesondere, ob die geplante Eingabe sensible dienstliche Daten enthält.

Personenbezogene Daten im Sinne von Artikel 4 Nr. 1 DSGVO, das heißt alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen, sind dabei besonders zu schützen. [28] Auch juristische Personen können mit personenbezogenen Daten verknüpft sein oder Schutzrechte eigener Art (zum Beispiel Recht auf den eingerichteten und ausgeübten Gewerbebetrieb) innehaben. Wenn personenbezogene Daten Teil der Dateneingabe sind (selbst wenn diese öffentlich zugänglich sind), ist eine datenschutzkonforme Nutzung des KI-Systems sicherzustellen. Die Verarbeitung sensibler personenbezogener Daten, zu denen
zum Beispiel Gesundheitsdaten, Daten über politische Meinungen oder auch religiöse Überzeugungen gehören (vgl. die Aufzählung in Artikel 9 Absatz 1 DSGVO) ist gemäß Artikel 9 Absatz 1 DSGVO grundsätzlich untersagt. Ausnahmen vom grundsätzlichen Verbot sind in den in Artikel 9 Absatz 2 DSGVO geregelten Fällen, zum Beispiel bei Einwilligung, dem Vorliegen berechtigter Interessen oder der Verarbeitung personenbezogener Daten, die die betroffene Person offensichtlich öffentlich gemacht hat (vgl. die Aufzählung in Art. 9 Abs. 2 DSGVO),  zulässig.

Nutzende prüfen auf Basis der von der verantwortlichen Behörde bereitgestellten Informationen, ob eine Eingabe dieser Daten im Sinne der Interessen der Bundesverwaltung [29] rechtmäßig und verantwortungsvoll ist.[30]

Für eine Vielzahl von Anwendungsfällen im Rahmen der behördlichen Arbeit ist die entsprechende Freigabe des KI-Systems für sensible dienstliche Daten erforderlich. Insbesondere die Eingabe von Daten mit besonderer Verschwiegenheits- oder Geheimhaltungspflicht sowie Verschlusssachen durch Nutzende darf nur erfolgen, wenn das System für die Nutzung der fraglichen Art der Daten explizit durch die verantwortliche Behörde freigegeben wurde und die erforderliche Einstufung der Daten fortbesteht.

Sofern keine anderen Informationen vorliegen, gilt für Nutzende in der Regel der restriktivste Fall der Dateneingabe. In diesem Fall sind lediglich öffentliche Daten für die Eingabe freigegeben. Unter solche „öffentlichen Daten“ fallen beispielsweise Daten, die aus dem eigenen Ressort stammen und für die Öffentlichkeit bestimmt sind, Open Data oder öffentlich zugängliche Daten. Soweit öffentliche Daten Personenbezug aufweisen, unterfallen sie weiterhin dem Datenschutzrecht und eine Eingabe muss, wie oben beschrieben, diesbezüglich geprüft werden.

Nutzenden wird ein transparenter Umgang mit der eigenen KI-Nutzung gegenüber anderen Mitarbeitenden sowie Vorgesetzten empfohlen.

Nutzende sollten sich in ihrem Ressort beziehungsweise ihrer Behörde über etwaige bestehende interne oder externe Kennzeichnungs- oder Dokumentationspflichten informieren. Grundsätzlich gilt: 

• Wenn fachlich ungeprüfte Inhalte behördenintern oder an die Öffentlichkeit weitergegeben werden (beispielsweise im Rahmen der Verwendung von Chatbots), ist die Nutzung eines KI-Systems zu kennzeichnen (vgl. auch Artikel 50 Absatz 4 Satz 4 KI-VO).
• Wenn KI-generierte Inhalte fachlich geprüft und so ausreichend redaktionell überarbeitet wurden, dass die Qualität des produzierten Inhalts sichergestellt wurde, ist regelmäßig keine weitere Kennzeichnung notwendig (vgl. auch Artikel 50 Absatz 4 Satz 5 2. HS KI-VO).

Behörden treffen für Ihren Zuständigkeitsbereich klare Entscheidungen, um eine möglichst weitreichende Nutzung von KI-Systemen zu ermöglichen. Bei der Beurteilung wird ein chancenorientierter und zugleich verantwortungsvoller Einsatz verfolgt.

Die Entscheidung darüber, ob und welche KI-Systeme eingesetzt werden, obliegt der Behördenleitung. Diese entscheidet unter anderem vor dem Hintergrund von Informationssicherheit, Datenschutz und Geheimschutz, ob und welche KI-Systeme für dienstliche Zwecke genutzt werden dürfen. IT-Verantwortliche der Behörden sind verpflichtet, über freigegebene KI-Systeme Auskunft geben zu können.

Die Bereitstellung und Nutzung von KI-Systemen haben dabei immer unter Wahrung der Sicherheit und Rechtmäßigkeit der behördlichen Arbeit zu erfolgen. Als Rechtsgrundlagen von besonderer Relevanz sind das Grundgesetz (GG), die Datenschutzgrundverordnung (DSGVO), das Bundesdatenschutzgesetz (BDSG), das Gesetz über das Bundesamt für Sicherheit in der Informationstechnik (BSIG), das Sicherheitsüberprüfungsgesetz (SÜG), das Bundespersonalvertretungsgesetz (BPersVG), beziehungsweise die Verschlusssachenanweisung (VSA), die einschlägigen Regelungen und Standards zur Informationssicherheit und die KI-Verordnung der EU (KI-VO).

Behörden führen eine sorgfältige Anbieter-, Anwendungs- und Modellauswahl durch, um eine bestmögliche Eignung eines KI-Systems für den gegebenen Anwendungsfall zu gewährleisten.

Dabei berücksichtigen Behörden unter anderem den Einsatzzweck, die notwendige Daten- und IT-Infrastruktur sowie wirtschaftliche, ethische und organisatorische Rahmenbedingungen für die Nutzung eines KI-Systems.

Die Eignung eines KI-Systems ist grundsätzlich vor dem Hintergrund eines spezifischen Anwendungsfalls zu prüfen und obliegt jeweils der verantwortlichen Behörde. Vor der Entscheidung für den Einsatz oder die Entwicklung von KI-Systemen sollte der fachliche Prozess und gegebene Einsatzzweck eines KI-Systems evaluiert werden (siehe Leitsatz B2: Festlegung des Einsatzbereichs und Einsatzzwecks). Es ist grundsätzlich zu hinterfragen, ob das vorliegende Problem durch KI gelöst werden kann oder sollte. Bei der Beurteilung werden die fachverantwortlichen Personen und Gremien in den Behörden einbezogen. Die Informationssicherheitsbeauftragten der Behörden sind hierbei frühzeitig einzubinden.

Die für die Entwicklung und Beschaffung von Software etablierten Maßstäbe und Regelungen, wie zum Beispiel die Wirtschaftlichkeitsbetrachtung (WiBe), finden auch bei der Einführung von KI-Systemen Anwendung. Zudem sind für die Bewertung und Auswahl von KI-Systemen unter anderem von besonderer Relevanz:

• Die Performanz von KI-Systemen verschiedener Anbieter für den gegebenen Anwendungsfall. Die Performanz muss unter anderem gegen die Wahrung der Anforderungen der Digitalen Souveränität Deutschlands (insbesondere bei der Anbieter- und Modellauswahl) abgewogen werden. Kriterien wie die spätere Wechselmöglichkeit, die eigene Gestaltungsfähigkeit und der mögliche Einfluss auf den IT-Dienstleister sichern die Arbeitsfähigkeit der Verwaltung langfristig ab und verhindern Lock-In-Effekte.
• Die Berücksichtigung von Sicherheitsgesichtspunkten (Informationssicherheit, Datenschutz, Geheimschutz). Sofern der Einsatzzweck dies zulässt, sollten KI-Systeme bevorzugt werden, die bereits technisch sicherstellen, dass sich die Verarbeitung personenbezogener Daten im Rahmen des rechtlich zulässigen und von der jeweiligen Dienststelle vorgegebenen Rahmens bewegt.
• Die Prüfung der dazugehörigen IT-Infrastruktur [37] (unter anderem Eigentumsverhältnisse/Verantwortung/Administration für Hard- und Software inklusive Trainingsdaten, Betrieb von Hard- und Software inklusive des Standorts) sowie je nach Anwendungsfall deren Anschlussfähigkeit an bestehende Systeme.
• Die Bewertung der Qualität und Zusammensetzung der zugrundeliegenden Datenbasis (unter anderem Herkunft/Erzeugung der Trainingsdaten) sowie die Verfügbarkeit notwendiger (beispielsweise behördlicher) Generell ist beim Einsatz von KI-Systemen wichtig, dass durch eine passende Auswahl des Modells und der technischen Umgebung eine Nutzung aller für den Verwendungszweck notwendigen Daten möglich ist. Aus der Systemumgebung folgt, wie viel Kontrolle über die eingegebenen Daten besteht, weshalb die Möglichkeiten der Nutzung von Systemen auf bundesverwaltungsexterner IT-Infrastruktur in der Regel restriktiver gehandhabt werden.
• Das Hinzuziehen der gemeinsamen Wertegrundlage (siehe Kapitel 2) als ethischer Maßstab für die Auswahl (zum Beispiel die Prüfung der Nachhaltigkeit des vorliegenden KI-Systems).
• Die Berücksichtigung organisatorischer Rahmenbedingungen für die Einführung eines KI-Systems (zum Beispiel Feedback aus der Gremieneinbindung, Nutzbarkeit des Systems, Standard der Umsetzung der Barrierefreiheit, Schulungsmaterialien).

Behörden stellen sicher, dass Nutzenden vor der Verwendung von KI-Systemen ein Qualifizierungsangebot gemacht wird, um für den verantwortungsvollen Umgang mit KI zu sensibilisieren und die nötigen Kompetenzen zu vermitteln.

Mitarbeitende der Bundesverwaltung sind vor dem Hintergrund ihrer Aufgaben in der Behörde zu schulen, um KI-Systeme im Hinblick auf diese Aufgaben kompetent nutzen zu können. Nur so können die Potenziale von KI-Systemen für die Aufgabenerledigung sinnvoll genutzt und Risiken eingeschätzt werden.

Behörden stellen sicher, dass Mitarbeitende Zugriff auf entsprechende Schulungsangebote haben. Die jeweils verantwortliche Behörde entscheidet, inwiefern für bestimmte KI-Systeme vor der Nutzung eine Schulungsteilnahme durch Nutzende verpflichtend ist.

Unter Einbezug der ressortspezifischen Sicherheitsanforderungen und Arbeitsgebiete gelten unterschiedliche Anforderungen an einen verantwortungsvollen und kompetenten Umgang mit KI. Daher stellen Behörden je nach Bedarf an den jeweiligen Kontext angepasste Schulungen bereit. In diesem Zusammenhang sollte außerdem geprüft werden, ob vor der Nutzung bestimmter sensibler KI-Systeme die Teilnahme an verpflichtenden Schulungen nötig ist. Eine solche bedarfsgerechte Sensibilisierung kann als ein Bestandteil der generellen Sensibilisierung zum verantwortungsvollen Umgang mit IT und der Arbeit mit Daten umgesetzt werden. Diese Sensibilisierungsangebote sind allen Beschäftigten niedrigschwellig zur Verfügung zu stellen.

Ziel ist es, dass Nutzende ein grundlegendes Verständnis darüber haben, wie KI-Systeme funktionieren und Ausgaben generieren. Die Sensibilisierung für das Potenzial und die Risiken des Einsatzes von KI im Rahmen der eigenen Verwaltungsarbeit ist dabei besonders wichtig. Dieses Wissen hilft bei der Einschätzung, wann und wie KI-Systeme sinnvoll eingesetzt werden können.

Beschäftigten der Bundesverwaltung soll auch ressortübergreifend die Möglichkeit des Kompetenzaufbaus und der Fortbildung im Hinblick auf das Zukunftsthema „Künstliche Intelligenz“ eröffnet werden. Ein solches Schulungsangebot umfasst neben der Funktionsweise und der kompetenten Nutzung von KI-Systemen (beispielsweise von LLMs) auch ethische Grundsätze und den rechtlichen Rahmen (zum Beispiel Datenschutz und den Schutz von Dienstgeheimnissen und Geschäftsgeheimnissen Dritter) im Kontext der Nutzung. Zudem werden Mitarbeitende für die Limitierungen und Risiken der Technologie sensibilisiert.

Als zentraler Fortbildungsdienstleister stellt die Bundesakademie für öffentliche Verwaltung (BAköV) zum Beispiel im Fortbildungsportal der Bundesverwaltung modulare Bausteine für Schulungs- und Sensibilisierungsmaßnahmen bereit. Ein solcher Werkzeugkasten nutzt Synergieeffekte, um Schulungen multimedial, nachhaltig und effizient durchzuführen. Das Angebot kann von den Behörden genutzt und individuell an die Gegebenheiten der jeweiligen Behörde angepasst werden. Daneben stehen weitere Angebote zur Verfügung, wie zum Beispiel die Expertise der jeweiligen Datenlabore.

Behörden stellen sicher, dass mit dem Ziel der Nicht-Rückführbarkeit und einer höheren Informationssicherheit bei der Kontobereitstellung und -verwaltung das Prinzip der Minimierung der eigenen Datenpreisgabe als Maßstab für den KI-Einsatz gilt.

Insbesondere wenn durch verantwortliche Behörden KI-Systeme freigegeben werden, die auf IT-Infrastruktur betrieben werden, die sich nicht für die Verarbeitung sensibler dienstlicher Daten eignet (siehe hierzu Leitsatz B8), und die eine Registrierung erfordern, wird durch die verantwortliche Behörde eine Minimierung der Datenpreisgabe sichergestellt.

Dazu gehört zunächst eine möglichst anonyme Registrierung für KI-Systeme ohne Namen und Telefonnummern der Beschäftigten. Die IT-Verantwortlichen sind angehalten, pseudonymisierte E-Mail-Adressen für eine Registrierung bei Modellanbietenden bereitzustellen. Eine pseudonymisierte (und bei Bedarf auch zeitlich befristete) Nutzung erschwert die Rückführbarkeit von Anfragen auf die Bundesverwaltung beziehungsweise einzelne Mitarbeitende und minimiert Risiken für die Informationssicherheit, die sich beispielsweise durch Abfluss dienstlicher E-Mail-Adressen ergeben. Die dienstliche Nutzung von KI-Systemen durch Beschäftigte erfolgt in diesem Rahmen immer auf Grundlage der IT-Systeme und Accounts der Behörden und nicht unter Verwendung privater Accounts und Geräte.

Alternativ hierzu ist die Nutzung von Diensten ohne Registrierung zu prüfen. Auch kann die Anmeldung über die Einbettung eines KI-Systems via API-Schnittstelle [45] erfolgen (zum Beispiel bundesverwaltungsintern), wenn dabei die Minimierung der Datenpreisgabe berücksichtigt wird.

Behörden sollen Nutzende darüber hinaus über Maßnahmen zur Minimierung der Datenpreisgabe in der Nutzerkontenverwaltung informieren und bei der Umsetzung standardmäßig unterstützen. Ein Beispiel ist die Umsetzung datensparsamer Kontoeinstellungen, wie dem Widerspruch gegen die Weiterverwendung eingegebener Daten zu Trainingszwecken des Systems.

Behörden stellen bei der Bereitstellung von KI-Systemen sicher, dass alle erforderlichen Maßnahmen zum datenschutzkonformen Einsatz durchgeführt wurden.

Wenn personenbezogene Daten beispielsweise Teil einer Dateneingabe oder eines Modelloutputs bei der Nutzung von KI-Systemen sind, ist ein datenschutzkonformer Einsatz sicherzustellen. [56]Zwei Themenbereiche sind hier besonders hervorzuheben:

• Rechtsgrundlage: Die Verarbeitung personenbezogener Daten bedarf stets einer Rechtsgrundlage. Die Rechtsgrundlagen, welche die mit dem Einsatz von KI verbundene Verarbeitung personenbezogener Daten rechtfertigen können, sind bereits in einem frühen Stadium vor der Umsetzung zu identifizieren. Dabei ist zwischen verschiedenen Lebenszyklusphasen der KI – wie zum Beispiel Training oder Einsatz im Produktivbetrieb – zu unterscheiden, da jeweils andere Rechtsgrundlagen einschlägig sein können.
• Einhaltung der Grundsätze von Datenminimierung und Zweckbindung: Bei der Verarbeitung von personenbezogenen Daten durch KI-Systeme sind durch die Dienststelle die datenschutzrechtlichen Vorgaben der DSGVO zu beachten, unter anderem die Grundsätze von Datenminimierung und Zweckbindung.

In diesem Zusammenhang ist vor der Bereitstellung eines neuen KI-Systems die Einbeziehung der oder des zuständigen behördlichen Datenschutzbeauftragten (bDSB) sicherzustellen. Vor der Verarbeitung personenbezogener Daten ist durch die verantwortliche Behörde eine generelle Bewertung (Vorabprüfung) des Risikos hinsichtlich der Art, des Umfangs, des Zwecks und der Umstände der Verarbeitung vorzunehmen. Dabei ist zu prüfen, welche Pflichten sich im Zusammenhang mit dem jeweiligen System und dem geplanten Einsatzzweck aus der DSGVO oder anderen datenschutzrechtlichen Bestimmungen ergeben. In der Regel ist in der Folge ein Datenschutzkonzept mit technisch-organisatorischen Maßnahmen für die Nutzung zu erarbeiten. Wenn zwischen den beteiligten Akteuren eine Auftragsverarbeitung vorliegt, ist ein Auftragsverarbeitungsvertrag abzuschließen (AVV). Wird festgestellt, dass die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat, ist eine Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO erforderlich. Der jeweilige Anwendungsprozess ist außerdem dem behördlichen Verzeichnis der Verarbeitungstätigkeiten zu melden.

Den verantwortlichen Behörden obliegt es zudem bei der Bereitstellung von KI-Systemen, durch die Technikgestaltung (falls möglich) und durch datenschutzfreundliche Voreinstellungen zur Einhaltung der Datenschutzgrundsätze beizutragen.