Verordnung zu KI – Produktsicherheit

ChatGPT und gene­rell gene­ra­tive KI haben es bis in die Fern­seh­nach­rich­ten geschafft und sind die­ser Tage in aller Munde. Gefor­dert wird von vie­len Sei­ten Regeln für die KI-​​Anwendungen zu set­zen. Dass die EU-​​Kommission bereits am 21. April 2021 einen Geset­zes­ent­wurf für die Regu­lie­rung Künst­li­cher Intel­li­genz (KI) vor­ge­legt hat, und dass seit­dem zwei Jahre ver­gan­gen sind, wird nicht so deut­lich gesagt. Aktu­ell befin­det sich das Geset­zes­vor­ha­ben noch in der Abstim­mung zwi­schen Par­la­ment, Rat und Kom­mis­sion. Bei einem übli­chen Fort­schrei­ten bedeu­tet das ein Inkraft­tre­ten 2025 oder 2026. Das Dilemma liegt darin, dass die Gesetz­ge­bungs­ver­fah­ren nicht mit der tech­no­lo­gi­schen Ent­wick­lung schritt­hal­ten kön­nen.

Ziel der geplan­ten Ver­ord­nung ist es, einen recht­li­chen Rah­men für sichere und ver­trau­ens­wür­dige KI zu schaf­fen. KI-​​Systeme, die die Sicher­heit, die Lebens­grund­la­gen und die Rechte der Men­schen bedro­hen und dem­nach ein inak­zep­ta­bles Risiko ber­gen, wer­den ver­bo­ten. Für KI-​​Systeme mit hohem Risiko gel­ten strenge Anfor­de­run­gen.

 KI-​​Anwendungen kön­nen Risi­ken im Zusam­men­hang mit Dis­kri­mi­nie­rung ber­gen, wenn sie zur Aus­son­de­rung bestimm­ter Per­so­nen­grup­pen füh­ren, bei­spiels­weise in einem KI-​​basierten Bewer­bungs­ver­fah­ren oder bei einer auto­ma­ti­sier­ten Boni­täts­prü­fung. Das kann ins­be­son­dere dann pas­sie­ren, wenn das KI-​​System nicht hin­rei­chend trai­niert oder die Daten­ba­sis unvoll­stän­dig, bzw. qua­li­ta­tiv unzu­rei­chend ist. Die kör­per­li­che Unver­sehrt­heit kann bei KI-​​Anwendungen in Medi­zin, Mobi­li­tät oder Indus­trie in Mit­lei­den­schaft gezo­gen wer­den.

Der Rechts­rah­men, der von der EU-​​Kommission vor­ge­schla­gen wurde, soll gewähr­leis­ten, dass KI-​​Anwendungen sicher und mit dem Wer­te­sys­tem in der EU ver­ein­bar sind und so Ver­trauen schaf­fen. Des­halb soll er für alle Anbie­ter gel­ten, die KI-​​Systeme in der EU in Ver­kehr brin­gen oder in Betrieb neh­men, unab­hän­gig davon, ob diese Anbie­ter in der EU oder in einem Dritt­land ansäs­sig sind (Art. 2 Abs. 1). Die Ver­ord­nung folgt einem risi­ko­ba­sier­ten Ansatz und unter­schei­det zwi­schen Anwen­dun­gen von KI, die ein inak­zep­ta­bles Risiko, ein hohes Risiko und ein gerin­ges oder mini­ma­les Risiko dar­stel­len.

Bei einer Ein­stu­fung unter gerin­gem Risiko genügt es Nut­zern mit­zu­tei­len, dass sie es mit einer KI zu tun haben, dass diese ggfs. eine Emo­ti­ons­er­ken­nung ein­setzt und, wenn das der Fall ist, die KI Dee­pfakes erzeugt, also täu­schend echt wir­kende Bil­der oder Ton­auf­nah­men. Aus­nah­men gibt es im Bereich von Mei­nungs­frei­heit, Kunst und Wis­sen­schaft.

Für KI-​​Systeme mit hohem Risiko schreibt die Ver­ord­nung u. a. ein Risi­ko­ma­nage­ment­sys­tem vor. Trai­nings– Vali­die­rungs– und Test­da­ten­sätze müs­sen Qua­li­täts­kri­te­rien ent­spre­chen, die in Art. 10, Absätze 2 – 5 auf­ge­führt sind und es ist eine tech­ni­sche Doku­men­ta­tion (Art. 11, Abs. 1 und Anhang IV) zu erstel­len. Art. 13 for­dert eine hin­rei­chende Trans­pa­renz und die Bereit­stel­lung von Infor­ma­tio­nen für den Nut­zer. Eben­falls strenge Regeln sol­len für die Auf­sicht von Hochrisiko-​​KI-​​Systemen durch Men­schen und die Gewähr­leis­tung der Cyber­si­cher­heit gel­ten. Wenn sämt­li­che Bedin­gun­gen erfüllt sind wird dies durch das Anbrin­gen des CE-​​Zeichens kennt­lich gemacht.

Als Hochrisiko-​​KI-​​Systeme gemäß Arti­kel 6 Absatz 2 gel­ten vor­läu­fig die in fol­gen­den KI-​​Systeme:

1. Bio­me­tri­sche Iden­ti­fi­zie­rung und Kate­go­ri­sie­rung natür­li­cher Per­so­nen:
2. a) KI-​​Systeme, die bestim­mungs­ge­mäß für die bio­me­tri­sche Echtzeit-​​Fernidentifizierung und nach­träg­li­che bio­me­tri­sche Fer­niden­ti­fi­zie­rung natür­li­cher Per­so­nen ver­wen­det wer­den sol­len;
3. Ver­wal­tung und Betrieb kri­ti­scher Infra­struk­tu­ren:
4. a) KI-​​Systeme, die bestim­mungs­ge­mäß als Sicher­heits­kom­po­nen­ten in der Ver­wal­tung und im Betrieb des Stra­ßen­ver­kehrs sowie in der Wasser-​​, Gas-​​, Wärme– und Strom­ver­sor­gung ver­wen­det wer­den sol­len;
5. All­ge­meine und beruf­li­che Bil­dung:
6. a) KI-​​Systeme, die bestim­mungs­ge­mäß für Ent­schei­dun­gen über den Zugang oder die Zuwei­sung natür­li­cher Per­so­nen zu Ein­rich­tun­gen der all­ge­mei­nen und beruf­li­chen Bil­dung ver­wen­det wer­den sol­len;
7. b) KI-​​Systeme, die bestim­mungs­ge­mäß für die Bewer­tung von Schü­lern in Ein­rich­tun­gen der all­ge­mei­nen und beruf­li­chen Bil­dung und für die Bewer­tung der Teil­neh­mer an übli­cher­weise für die Zulas­sung zu Bil­dungs­ein­rich­tun­gen erfor­der­li­chen Tests ver­wen­det wer­den sol­len;
8. Beschäf­ti­gung, Per­so­nal­ma­nage­ment und Zugang zur Selbst­stän­dig­keit:
9. a) KI-​​Systeme, die bestim­mungs­ge­mäß für die Ein­stel­lung oder Aus­wahl natür­li­cher Per­so­nen ver­wen­det wer­den sol­len, ins­be­son­dere für die Bekannt­ma­chung freier Stel­len, das Sich­ten oder Fil­tern von Bewer­bun­gen und das Bewer­ten von Bewer­bern in Vor­stel­lungs­ge­sprä­chen oder Tests;
10. b) KI-​​Systeme, die bestim­mungs­ge­mäß für Ent­schei­dun­gen über Beför­de­run­gen und über Kün­di­gun­gen von Arbeits­ver­trags­ver­hält­nis­sen, für die Auf­ga­ben­zu­wei­sung sowie für die Über­wa­chung und Bewer­tung der Leis­tung und des Ver­hal­tens von Per­so­nen in sol­chen Beschäf­ti­gungs­ver­hält­nis­sen ver­wen­det wer­den sol­len;
11. Zugäng­lich­keit und Inan­spruch­nahme grund­le­gen­der pri­va­ter und öffent­li­cher Dienste und Leis­tun­gen:
12. a) KI-​​Systeme, die bestim­mungs­ge­mäß von Behör­den oder im Namen von Behör­den ver­wen­det wer­den sol­len, um zu beur­tei­len, ob natür­li­che Per­so­nen Anspruch auf öffent­li­che Unter­stüt­zungs­leis­tun­gen und –dienste haben und ob sol­che Leis­tun­gen und Dienste zu gewäh­ren, ein­zu­schrän­ken, zu wider­ru­fen oder zurück­zu­for­dern sind;
13. b) KI-​​Systeme, die bestim­mungs­ge­mäß für die Kre­dit­wür­dig­keits­prü­fung und Kre­dit­punk­te­be­wer­tung natür­li­cher Per­so­nen ver­wen­det wer­den sol­len, mit Aus­nahme von KI-​​Systemen, die von Klein­an­bie­tern für den Eigen­ge­brauch in Betrieb genom­men wer­den;
14. c) KI-​​Systeme, die bestim­mungs­ge­mäß für die Ent­sen­dung oder Prio­ri­sie­rung des Ein­sat­zes von Not– und Ret­tungs­diens­ten, ein­schließ­lich Feu­er­wehr und medi­zi­ni­scher Not­hilfe, ver­wen­det wer­den sol­len;
15. Straf­ver­fol­gung:
16. a) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den für indi­vi­du­elle Risi­ko­be­wer­tun­gen natür­li­cher Per­so­nen ver­wen­det wer­den sol­len, um das Risiko abzu­schät­zen, dass eine natür­li­che Per­son Straf­ta­ten begeht oder erneut begeht oder dass eine Per­son zum Opfer mög­li­cher Straf­ta­ten wird;
17. b) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den als Lügen­de­tek­to­ren und ähn­li­che Instru­mente oder zur Ermitt­lung des emo­tio­na­len Zustands einer natür­li­chen Per­son ver­wen­det wer­den sol­len;
18. c) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den zur Auf­de­ckung von Dee­pfakes gemäß Arti­kel 52 Absatz 3 ver­wen­det wer­den sol­len;
19. d) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den zur Bewer­tung der Ver­läss­lich­keit von Beweis­mit­teln im Zuge der Ermitt­lung oder Ver­fol­gung von Straf­ta­ten ver­wen­det wer­den sol­len;
20. e) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den zur Vor­her­sage des Auf­tre­tens oder erneu­ten Auf­tre­tens einer tat­säch­li­chen oder poten­zi­el­len Straf­tat auf der Grund­lage des Pro­fils natür­li­cher Per­so­nen gemäß Arti­kel 3 Absatz 4 der Richt­li­nie (EU) 2016/​680 oder zur Bewer­tung von Per­sön­lich­keits­merk­ma­len und Eigen­schaf­ten oder ver­gan­ge­nen kri­mi­nel­len Ver­hal­tens natür­li­cher Per­so­nen oder von Grup­pen ver­wen­det wer­den sol­len;
21. f) KI-​​Systeme, die bestim­mungs­ge­mäß von Straf­ver­fol­gungs­be­hör­den zur Erstel­lung von Pro­fi­len natür­li­cher Per­so­nen gemäß Arti­kel 3 Absatz 4 der Richt­li­nie (EU) 2016/​680 im Zuge der Auf­de­ckung, Ermitt­lung oder Ver­fol­gung von Straf­ta­ten ver­wen­det wer­den sol­len;
22. g) KI-​​Systeme, die bestim­mungs­ge­mäß zur Kri­mi­nal­ana­lyse natür­li­cher Per­so­nen ein­ge­setzt wer­den sol­len und es den Straf­ver­fol­gungs­be­hör­den ermög­li­chen, große kom­plexe ver­knüpfte und unver­knüpfte Daten­sätze aus ver­schie­de­nen Daten­quel­len oder in ver­schie­de­nen Daten­for­ma­ten zu durch­su­chen, um unbe­kannte Mus­ter zu erken­nen oder ver­deckte Bezie­hun­gen in den Daten auf­zu­de­cken;
23. Migra­tion, Asyl und Grenz­kon­trolle:
24. a) KI-​​Systeme, die bestim­mungs­ge­mäß von zustän­di­gen Behör­den als Lügen­de­tek­to­ren und ähn­li­che Instru­mente oder zur Ermitt­lung des emo­tio­na­len Zustands einer natür­li­chen Per­son ver­wen­det wer­den sol­len;
25. b) KI-​​Systeme, die bestim­mungs­ge­mäß von zustän­di­gen Behör­den zur Bewer­tung eines Risi­kos ver­wen­det wer­den sol­len, ein­schließ­lich eines Sicher­heits­ri­si­kos, eines Risi­kos der irre­gu­lä­ren Ein­wan­de­rung oder eines Gesund­heits­ri­si­kos, das von einer natür­li­chen Per­son aus­geht, die in das Hoheits­ge­biet eines Mit­glied­staats ein­zu­rei­sen beab­sich­tigt oder ein­ge­reist ist;
26. c) KI-​​Systeme, die bestim­mungs­ge­mäß von zustän­di­gen Behör­den zur Über­prü­fung der Echt­heit von Rei­se­do­ku­men­ten und Nach­weis­un­ter­la­gen natür­li­cher Per­so­nen und zur Erken­nung unech­ter Doku­mente durch Prü­fung ihrer Sicher­heits­merk­male ver­wen­det wer­den sol­len;
27. d) KI-​​Systeme, die bestim­mungs­ge­mäß zustän­dige Behör­den bei der Prü­fung von Asyl– und Visu­man­trä­gen sowie Auf­ent­halts­ti­teln und damit ver­bun­de­nen DE 7 DE Beschwer­den im Hin­blick auf die Fest­stel­lung der Berech­ti­gung der den Antrag stel­len­den natür­li­chen Per­so­nen unter­stüt­zen sol­len;
28. Rechts­pflege und demo­kra­ti­sche Pro­zesse:
29. a) KI-​​Systeme, die bestim­mungs­ge­mäß Jus­tiz­be­hör­den bei der Ermitt­lung und Aus­le­gung von Sach­ver­hal­ten und Rechts­vor­schrif­ten und bei der Anwen­dung des Rechts auf kon­krete Sach­ver­halte unter­stüt­zen sol­len.

Quelle: M. Diet­zsch; Euro­päi­sche Kom­mis­sion