Seit dem ChatGPT-Hype Ende 2022 drängen immer mehr KI-Anwendungen für den Rechtsbereich auf den Markt. Die Anwendungen sind vielfältig: Legal-Monitoring, Vertragsgestaltung, Dokumentenanalyse, Chatbots und viele mehr. Die Anbieter dieser Lösungen sehen sich nunmehr der geplanten KI-Regulierung ausgesetzt. Diese ist noch nicht final – bis Ende dieses Jahres soll jedoch eine endgültige Fassung auf EU-Ebene erarbeitet werden.
Die KI-Verordnung im bestehenden Regulierungsgefüge
Die geplante KI-Verordnung ist in ein umfassendes KI-Regulierungspaket eingebettet, das seinen Ursprung bereits im Jahr 2018 hat, wobei zu diesem Zeitpunkt noch nicht absehbar war, wie schnell KI-Anwendungen tatsächlich auf den (Retail-)Markt drängen und für jeden verfügbar sein würden. Auch zum Zeitpunkt der Erstveröffentlichung des Vorschlags zur geplanten KI-Verordnung am 21. April 2021 war KI noch nicht wirklich im Alltag angekommen. Seitdem bemühen sich Kommission, Rat und Parlament um eine finale Fassung, die auch die aktuellen Entwicklungen widerspiegeln bzw. berücksichtigen soll.
Die geplante KI-Verordnung ist jedoch kein Standalone-Akt, sondern geht Hand in Hand mit der geplanten Richtlinie zur Haftung bei KI-Anwendungen. Der europäische Gesetzgeber sieht in diesem Zusammenhang auch Erneuerungsbedarf für die sog. Machinery Verordnung und die Allgemeine Produktsicherheitsrichtlinie.
Die Aufgabe der Kommission besteht nun darin, die Mitgesetzgeber beim Abschluss der interinstitutionellen Verhandlungen (Trilog) zu unterstützen. Unter der tschechischen Ratspräsidentschaft gelang es im Dezember 2022, die allgemeine Position des Rates hinsichtlich der KI-Verordnung festzulegen. Im Juni 2023 traf sich das Europäische Parlament zu einer ersten politischen Trilogsitzung. Das gemeinsame Ziel von Parlament, Rat und Kommission ist es, bis Ende des Jahres eine politische Einigung zu erzielen.
Anwendungsbereich der geplanten KI-Verordnung
KI findet sich mittlerweile in diversen Anwendungen des Alltags, nicht zuletzt in Chatbots. Es gibt darüber hinaus viele Anwendungen im weitesten Sinne, von der Medizin bis hin zu sicherheitsrelevanten Anwendungen, in denen KI zum Einsatz kommt. Der Anwendungsbereich der KI-Verordnung ist folglich branchenübergreifend gefasst.
Da die KI-Verordnung nicht rechtsspezifisch ist, stellt sich für den Rechtsmarkt nun die Frage, welche Legal Tech-Anwendung auch eine KI-Anwendung ist und damit unter die künftige Regulierung fällt.
Die aktuelle Definition von KI
KI wird in der aktuellen Entwurfsfassung vom Mai 2023 wie folgt definiert:
„Ein System mit künstlicher Intelligenz (KI-System) ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeitet und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen und das physische oder virtuelle Umgebungen beeinflussen kann.“
In der Erstfassung aus 2021 lautete die Definition noch ein wenig anders:
„System der künstlichen Intelligenz (KI-System): Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und die für eine gegebene Reihe von vom Menschen definierten Zielen Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen generieren kann, die die Umgebung, mit der sie interagiert, beeinflussen.“
Um aber sicherzustellen, dass die Definition eines KI-Systems hinreichend klare Kriterien enthält, um KI von anderen „normalen“ Softwaresystemen zu unterscheiden, hat der europäische Gesetzgeber KI in der neueren Entwurfsfassung auf Systeme eingegrenzt, die mit Hilfe von Ansätzen des maschinellen Lernens sowie logik- und wissensbasierten Ansätzen entwickelt wurden. Demnach wären Chatbots wohl als KI im Sinne der KI-Verordnung anzusehen - genauso wie Tools, die beispielsweise Gerichtsentscheidungen auswerten und einem Richter oder einer Richterin eine erste Empfehlung abgeben würden. Auch bei KI-basierten Tools zur automatisierten Vertragserstellung kann angenommen werden, dass es sich um KI handelt.
KI-Systeme dürfen Menschen nicht schaden
Sollte eine Legal Tech-Anwendung der KI-Defintion unterfallen, sind laut aktuellem Entwurf bestimmte Praktiken im Bereich der Künstlichen Intelligenz verboten. So ist das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen physischen oder psychischen Schaden zufügt oder zufügen kann, verboten. Ebenso ist es verboten, ein KI-System in Verkehr zu bringen, in Betrieb zu nehmen oder zu benutzen, das eine Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung ausnutzt. Dieses Verbot bezieht sich insbesondere darauf, das Verhalten einer zu dieser Gruppe gehörenden Person so wesentlich zu beeinflussen, dass dieser Person oder einer anderen Person ein physischer oder psychischer Schaden zugefügt wird oder zugefügt werden kann.
Bei Verstößen gegen dieses Verbot können Geldbußen von bis zu 30 Millionen Euro oder – im Falle von Unternehmen – von bis zu sechs Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden, je nachdem, welcher Betrag höher ist.
So weit, so gut. Die eigentlich spannende Anschlussfrage ist jedoch, wann eine Legal Tech-Anwendung auch eine Hochrisiko-KI-Anwendung ist und damit besonders strengen Vorgaben unterliegen wird?
Der Unterschied zwischen KI und Hochrisiko-KI
Zur Beantwortung der Frage sollte hier die aktuelle Definition (im Entwurf) herangezogen werden: Unabhängig davon, ob ein KI-System in Verkehr gebracht oder in Betrieb genommen wird, fallen unter Hochrisiko-KI vor allem KI-Systeme, von denen eine Bedrohung für
- die Gesundheit,
- die Sicherheit oder
- die Ausübung von Grundrechten
ausgehen kann. Der Anbieter des KI-Systems muss hierbei selbst die Einschätzung vornehmen, ob das von ihm angebotene KI-System ein Hochrisikosystem darstellt.
Kommt der KI-Anbieter fälschlicherweise zu einer anderen Einstufung und bringt das KI-System vor Ablauf der Einspruchsfrist der nationalen Aufsichtsbehörden in Verkehr, ist er hierfür verantwortlich und kann mit Geldbußen belegt werden.
Sollte eine Legal Tech-Anwendung als Hochrisiko-KI einzustufen sein, wäre u. a. zusätzlich die Implementierung von Risikomanagement-Systemen, umfangreichen technischen Dokumentationen und die Protokollierung über die gesamte Lebensdauer des KI-Systems notwendig. Für große Unternehmen mag dies zu stemmen sein, Start-ups würden von diesen Compliance-Anforderungen erdrückt werden. In der aktuellen Entwurfsfassung wird geschätzt, dass Unternehmen oder Behörden, die KI-Anwendungen entwickeln oder nutzen, welche ein hohes Risiko für die Sicherheit oder die Grundrechte der Bürger und Bürgerinnen darstellen, besondere Anforderungen und Verpflichtungen erfüllen müssten. Die Einhaltung dieser Anforderungen würden Kosten von aktuell etwa 6000 bis 7000 Euro mit sich bringen, im Jahr 2025 wären es geschätzt ca. 170.000 Euro. Unabhängig von der Angrenzungsfrage von KI und Hochrisiko-KI sollen von der geplanten KI-Verordnung
- alle Anbieter, die in der Europäischen Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen,
- Nutzer von KI-Systemen, die in der EU ansässig oder niedergelassen sind,
- Anbieter und Nutzer von KI-Systemen, die in einem Drittland ansässig oder niedergelassen sind, wenn der von dem System erzeugte Output in der EU verwendet wird,
- Importeure und Händler von KI-Systemen,
- Produkthersteller, die ein KI-System in Verkehr bringen oder in Betrieb nehmen
- und bevollmächtigte Vertreter von Anbietern, die in der EU niedergelassen sind,
erfasst werden. Damit wird die gesamte Wertschöpfungskette abgedeckt.
Auswirkung auf Legal Tech-Anbieter
Eine abschließende Definition von KI bzw. Hochrisiko-KI ist noch nicht gefunden. Klar ist jedoch, dass viele der Legal Tech-Anwendungen der „einfachen“ KI-Definition unterfallen werden. Offen ist allerdings, ob die sog. „Large Language Models“ aufgrund der vielfältigen Möglichkeiten ihres Einsatzes als Hochrisiko-KI eingestuft werden könnten. Gerade am Beispiel der Large Language Models gehen die Meinungen weit auseinander: Während sie von vielen aufgrund ihres Potenzials als potenziell gefährlich und deshalb unbedingt streng regulierungsbedürftig eingestuft werden, wird von anderen das Gegenteil vertreten und die Notwendigkeit einer Regulierung allgemein angezweifelt. Zunehmend wird allerdings eine vermittelnde Ansicht vertreten, wonach es auf den konkreten Einsatz des Large Language Models ankäme. Diese würde in der Praxis allerdings dazu führen, dass der Einsatz und die Verwendung des Large Language Models permanent geprüft werden müssten.
Die Unsicherheiten in der Definition wirken sich in der Folge potenziell auch auf Haftungsfragen aus. Es gibt daher noch viele offene Fragen, die womöglich erst durch die Richtlinie zur KI-Haftung beantwortet werden können.
Bild: Adobe Stock/Jorge Ferreiro
Dr. Susann Funke ist Co-Founder der LEX AI GmbH und Rechtsanwältin. LEX AI ist ein deutsches Legal Tech-Start-up mit Sitz in Hamburg, das maschinelles Lernen und Künstliche Intelligenz kombiniert mit innovativem Legal Design einsetzt, um das Legal Monitoring bis hin zum Knowledge Management radikal zu verbessern. Ziel von LEX AI ist es, die Kosten und den Aufwand hierfür um bis zu 75 Prozent zu reduzieren.
