LOAD e.V.
AI Act

Unsere Stellungnahme zum finalen Text der KI-Verordnung

News, Presse

Der finale Text der KI-Verordnung steht so gut wie fest, in den kommenden Wochen wird er noch vom Europäischen Parlament und vom Rat bestätigt. Seit Anfang Februar 2024 ist die englische Fassung des Gesamttextes verfügbar. Über die Chancen und die Interessen Europas beim Thema Künstliche Intelligenz wurde schon Vieles gesagt. Als LOAD haben wir uns im Verlauf der Verhandlungen einer positiven Grundhaltung angeschlossen, ohne dabei die Gefahren der nächsten Mammut-Regelung auf europäischer Ebene aus dem Blick zu verlieren. So begrüßt LOAD es beispielsweise ausdrücklich, dass davon Abstand genommen wurde, generell reine Rechenmodelle zu regulieren, sondern im Großen und Ganzen die risikobasierte Regulierung von Anwendungsszenarien vorzuziehen. Gleichwohl ist der Begriff "KI" laut der Verordnung sehr weit gefasst, sodass auch viele Systeme umfasst werden, die ohne Techniken des maschinellen Lernens entwickelt wurden.

Im Laufe des Verfahrens haben wir als LOAD insbesondere die Kampagne "reclaim your face" unterstützt, die im Kern ein Verbot automatischer Gesichtserkennung in der Öffentlichkeit durch die Polizei oder andere staatliche Akteure forderte. LOAD beteiligte sich zudem als einzige Organisation der Zivilgesellschaft mit einer Stellungnahme an der Konsultation zum Einsatz von KI in der Strafverfolgung und Gefahrenabwehr des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI). Außerdem zeichnete LOAD einen offenen Brief der europäischen digitalen Zivilgesellschaft mit, der den Schutz der Nutzerrechte im Verlauf der Trilog-Verhandlungen zur KI-Verordnung in den Fokus stellte.

Am Ende der etwa dreijährigen Verhandlungen zur KI-Verordnung wollen wir als LOAD Bilanz ziehen und Empfehlungen für den weiteren Umgang mit der Regelung auf nationaler Ebene aussprechen.

1. Der Gesetzgebungsprozess

An den Verhandlungen zur KI-Verordnung hat sich die Komplexitätsfalle gezeigt, in die auch schon andere Regulierungen auf europäischer Ebene getappt sind. Die Regelungen der KI-Verordnung waren von Beginn an so umfassend und es kamen ständig neue externe Impulse hinzu (z.B. der Durchbruch von generativer KI auf dem Verbrauchermarkt), dass eine Einbringung der Zivilgesellschaft und anderer Akteure in den Prozess allenfalls oberflächlich und punktuell möglich war. Die Kräfte der digitalen Zivilgesellschaft haben sich in Bezug auf die KI-Verordnung deshalb vor allem rund um das Thema biometrischer Gesichtserkennung und Überwachung gebündelt. Die Tatsache, dass zwischen der politischen Einigung im Trilog-Verfahren Anfang Dezember 2023 und der Veröffentlichung einer einheitlichen Textfassung, in die alle Kompromisse aus der Einigung eingearbeitet waren, zwei Monate Zeit lagen, zeigt die Komplexität des Gesetzeswerks selbst auf der professionellen Politikebene.

2. Die bleibende Besorgnis um digitale Bürgerrechte

LOAD ist besorgt über das Ausmaß an Überwachung, das durch den finalen Text der KI-Verordnung in Europa möglich gemacht wird. Das liegt zum einen an teils schwammigen Formulierungen in den Definitionen. Trotz eines Katalogs von über 40 Definitionen im Zusammenhang mit Künstlicher Intelligenz weisen sie an wichtigen Stellen bewusste Unschärfen auf. Dadurch öffnen sich scheunentorweite Einfallstore für Überwachung. Das deutlichste Beispiel ist die Definition von Echtzeit im Zusammenhang mit ‘‘real-time’ remote biometric identification system[s]’. Die verbotene Praxis der biometrischen Echtzeit-Überwachung und -Identifizierung in der Öffentlichkeit soll alles betreffen, was "ohne signifikante Verzögerung" ausgewertet wird. Im Kontext einer bürgerrechtsfreundlichen Auslegung wäre es noch zu begrüßen, dass durch die definitorische Unschärfe hier eine größere Zahl an Überwachungsvorgängen verboten ist. Allerdings geht es nicht um das generelle Verbot, sondern um den nächsten kritischen Punkt, nämlich die überbordend zugelassenen Ausnahmetatbestände für Sicherheitsbehörden.

Die verbotene Praxis der Echtzeit-Überwachung und -Identifizierung in der Öffentlichkeit soll nämlich für eine lange Liste an Tatbeständen für Strafverfolgungsbehörden doch möglich sein. Der Katalog der Straftaten, für die allgemein Ausnahmen gemacht werden sollen, geht weit über die üblichen Verdächtigen Terror, Tod und Kindesmissbrauch hinaus - beispielsweise finden sich dort auch Raub und Umweltstraftaten wieder sowie weitere wahllos zusammengewürfelte Straftatbestände. Und selbst wenn es sich heute um einen eng umrissenen Katalog handelt, die Erfahrung zeigt, dass Ausnahmenkataloge über die Zeit ein gewisses Eigenleben entwickeln und immer länger werden, wenn sie einmal angelegt sind. Hinzu kommt ein weiteres Problem. Sobald es die Möglichkeit von Ausnahmen gibt, werden Länder, die diese nutzen wollen, in der Öffentlichkeit die benötigten Überwachungsstrukturen flächendeckend aufbauen, um dann in den benannten Ausnahmefällen darauf zurückgreifen zu können. Die Kamera wird also rollen, powered by AI.

LOAD bemängelt diese weitreichenden, fast generell geltende, Ausnahmen von Sicherheits- und Strafverfolgungsbehörden von den Verbotsregelungen der KI-Verordnung. Gerade die definitorischen Unschärfen und zum Dammbruch einladenden Ausnahmen festigen LOAD in dem Bedürfnis, weiterhin ein generelles Verbot von biometrischer Überwachung im öffentlichen Raum zu fordern, ob Echtzeit oder nicht. Die Gefahren von biometrischen Überwachungsverfahren sind insgesamt zu groß, eine solche Praxis stellt ausnahmslos immer einen schwerwiegenden Eingriff in die Bürgerrechte der Einzelnen dar und kann für noch gefährlichere Anwendungsfälle aufgerüstet oder umgenutzt werden. Was hindert Regierungen daran solche Systeme bei der nächsten Pandemie zu einer flächendeckenden Krankheitserkennung im öffentlichen Raum zu verwenden? Anwendungsbeispiele zur Erkennung des Gesundheitszustandes werden im medizinischen Bereich bereits erprobt und erforscht. Eine Übertragung auf KI-gestützte öffentliche Kamera-Überwachungssysteme wäre nur der logische nächste Schritt.

Zwei weitere Bereiche wollen wir bei LOAD an dieser Stelle noch nicht abschließend bewerten, aber auf ihr Gefahrenpotential bei weitreichenden Rabatten für Sicherheitsbehörden hinweisen. Im Zusammenspiel mit Ausnahmen für Sicherheitsbehörden und Strafverfolgung werden wir als LOAD die Entwicklung der Einrichtung von "AI regulatory sandboxes" (1.) und der Möglichkeit des "real life testing" von "high risk AI systems in real world conditions outside AI regulatory sandboxes" (2.) genau beobachten. Bei experimentellen Anwendungen gerade für Sicherheitsbehörden Ausnahmen bei Regelungen und Rahmenbedingungen vorzusehen, an die sich alle anderen Marktakteure selbstverständlich halten müssen, halten wir für deplatziert und brandgefährlich.

Auch wenn KI für Strafverfolgungsbehörden, z.B. bei der Auswertung großer Mengen von Beweisdaten, einige positive Anwendungsfälle haben kann, sind hier viele Rechtsfragen ungeklärt und es sollte nicht durch sandboxing eine Macht des Faktischen geschaffen werden, die Bürgerrechte mit Füßen tritt. Dass dies kein reines Phantasieszenario ist, zeigt die Auswertung des Überwachungsexperiments am Berliner Südkreuz. Trotz desaströs schlechter Ergebnisse, wird von Sicherheitsbehörden immer wieder das Gegenteil behauptet.

3. Forderungen an die Bundesregierung

LOAD fordert die Bundesregierung dazu auf, sich entsprechend aller bisherigen Bekundungen dafür einzusetzen, dass die unverhältnismäßig weitreichenden Überwachungsmöglichkeiten der KI-Verordnung in Deutschland nicht Realität werden! Das bedeutet konkret:

  • Sich gegen flächendeckende Videoüberwachung und den Einsatz von biometrischer Erfassung zu Überwachungszwecken (und allgemein biometrische Erkennung im öffentlichen Raum) einzusetzen. So steht es auch im Koalitionsvertrag zwischen den Ampel-Parteien.
  • Eine rechtliche Grundlage für den Einsatz von KI in der Strafverfolgung und Gefahrenabwehr auf den Weg zu bringen. Diese rechtliche Grundlage muss den Einsatz von KI für Sicherheitsbehörden zu Überwachungszwecken effektiv ausschließen.
  • Im Rahmen der Überwachungsgesamtrechnung (ÜGR) die ersten bereits eingeführten Anwendungsfälle von KI im Sicherheitsbereich als schwerwiegende Eingriffe mit zu bewerten. Bis das Ergebnis und die Empfehlungen der ÜGR vorliegen dürfen keine neuen Befugnisse für den Einsatz von KI geschaffen werden.
  • Keine AI regulatory sandboxes für Sicherheitsbehörden in Deutschland einzuführen oder sich an überstaatlichen Kooperationen zu beteiligen, die sich mit KI-Überwachungsmöglichkeiten für Sicherheitsbehörden befassen. Sowie generell kein real life testing von high risk AI systems an der Bevölkerung durch Sicherheitsbehörden vorzunehmen.​​​​​​​
  • Die nächste Kommission sollte außerdem daran arbeiten, niedrigschwellige Beteiligungswege und übersichtliche Darstellungen zu Gesetzgebungsprozessen zu schaffen. Auch die Bundesregierung sollte sich gegenüber der Kommission dafür einsetzen. Dadurch werden die Zivilgesellschaft und andere Akteure nicht durch ein Übermaß an Komplexität von einer weitergehenden Beteiligung abgehalten.

Gezeichnet: LOAD e.V.

Stand: Februar 2024