Starte jetzt deine Bewertung

Biometrie

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Fernbiometrische Identifikation
   Ausnahme: Das KI-System soll ausschließlich zur biometrischen Verifizierungverwendet werden, um zu bestätigen, dass eine spezifische natürliche Persondiejenige ist, für die sie sich ausgibt.
2. Biometrische Kategorisierung basierend auf sensiblen oder geschütztenAttributen (z. B. Rasse, Geschlecht, politische Überzeugungen)
3. Emotionserkennung

KI-Systeme, die Biometrie nutzen, stützen sich auf physische oder verhaltensbezogene Merkmale wie Fingerabdrücke, Gesichtszüge oder Stimmmerkmale, um Personen zu identifizieren, zu gruppieren oder zu analysieren.

Die folgenden Kategorien gelten als hochriskant:

• Biometrische Identifikation (Art. 3(35)): Automatisierte Erkennung durch den Vergleich der biometrischen Daten einer Person mit einer Datenbank zur Feststellung der Identität.
• Fernbiometrische Identifikation (Art. 3(41)): Identifikation von Personen aus der Ferne, ohne deren aktive Beteiligung, durch den Vergleich biometrischer Daten mit einer Referenzdatenbank.
• Biometrische Kategorisierung (Art. 3(40)): Zuordnung von Personen zu bestimmten Kategorien basierend auf ihren biometrischen Daten.
• Emotionserkennung (Art. 3(39)): Ableitung von Emotionen oder Absichten aus biometrischen Daten. Empfindliche biometrische Daten, die geschützte Merkmale wie rassische Herkunft, Gesundheit oder sexuelle Orientierung offenbaren, unterliegen gemäß Erwägungsgrund 54 des EU Al Act und Art. 9(1) der DSGVO strengen Schutzmaßnahmen.

Kritische Infrastruktur

Soll als Sicherheitskomponente im Management oder Betrieb kritischer Infrastrukturen eingesetzt werden, einschließlich der folgenden Bereiche:

1. Kritische digitale Infrastruktur
2. Straßenverkehrsmanagement oder -betrieb
3. Versorgung mit Wasser, Gas, Heizung oder Strom

Systeme, deren Ausfall oder Fehlfunktion potenziell erhebliche Auswirkungen auf die öffentliche Gesundheit, Sicherheit oder die Zuverlässigkeit von essenziellen Dienstleistungen haben, sollten der Hochrisikokategorie zugeordnet werden.

Für die Einordnung als hochriskant gelten insbesondere folgende Kriterien:

Das System ist entscheidend für den sicheren Betrieb und das Management der Infrastruktur.

Ein Fehler im System könnte schwerwiegende Folgen für die Infrastruktur oder deren Nutzer haben (z. B. bei der Bereitstellung von Strom, Wasser oder in der Verkehrssicherheit).

Wichtige Anwendungsbereiche, die in die Hochrisikokategorie fallen könnten:

• Digitale Infrastruktur: KI, die kritische IT-Systeme überwacht oder steuert und deren Ausfall zu massiven Störungen führen könnte.
• Straßenverkehrsmanagement: Kl, die für die Steuerung von Verkehrssystemen verantwortlich ist und deren Fehler zu gefährlichen Verkehrssituationen führen könnte.
• Versorgungsunternehmen: Kl, die den Betrieb von Versorgungsnetzen überwacht, wobei ein Ausfall zu erheblichen Unterbrechungen der Versorgung führen würde.

Bildung oder berufliche Ausbildung

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Bestimmung des Zugangs oder der Zulassung zu Bildungs-oderAusbildungsinstitutionen
2. Zuordnung natürlicher Personen zu bestimmten Institutionen
3. Bewertung von Lernergebnissen, auch zum Zweck der Steuerung desweiteren Lernprozesses
4. Beurteilung des geeigneten Bildungs- oder Ausbildungsniveaus, das einePerson erhalten wird oder auf das sie zugreifen kann
5. Überwachung und Erkennung von verbotenem Verhalten während Prüfungen

KI-Systeme, die in der Bildung und beruflichen Ausbildung eingesetzt werden, gehören gemäß dem EU Al Act zu den hochriskanten Systemen aufgrund der tiefgreifenden Auswirkungen, die ihre Entscheidungen auf die Zukunft der betroffenen Personen haben können.

Beschäftigung, Arbeitnehmerverwaltung oder Zugang zur Selbstständigkeit

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Rekrutierung oder Auswahl von Personen, einschließlich:
   1. Schaltung gezielter Stellenanzeigen
   2. Analyse und Filterung von Bewerbungen
   3. Bewertung von Kandidaten
2. Treffen von Entscheidungen, die die Bedingungen arbeitsbezogenerBeziehungen betreffen
3. Bestimmung der Beförderung oder Beendigung arbeitsbezogenervertraglicher Beziehungen
4. Zuweisung von Aufgaben basierend auf individuellem Verhalten, persönlichen Merkmalen oder Eigenschaften
5. Überwachung und Bewertung der Leistung oder des Verhaltens von Personenin arbeitsbezogenen Beziehungen

Kl-Systeme, die in diesen Bereichen eingesetzt werden, gelten gemäß dem EU Al Act als hochriskant aufgrund ihrer erheblichen Auswirkungen auf die Karrieren und Rechte der betroffenen Personen. Sie werden zum Beispiel angewendet in:

• Rekrutierung und Auswahl: Beeinflussung des Zugangs zu Arbeitsplätzen durch gezielte Anzeigen, Filterung von Bewerbungen und Bewertung von Kandidaten.
• Bedingungen der Beschäftigung: Gestaltung von Entscheidungen zu Gehalt, Arbeitsbedingungen und vertraglichen Vereinbarungen.
• Beförderung oder Beendigung: Automatisierung von Entscheidungen über berufliche Weiterentwicklung oder Vertragsbeendigung, was Bedenken hinsichtlich der Fairness aufwirft.

Zugang zu oder Inanspruchnahme wesentlicher öffentlicher oder privater Dienstleistungen oder Leistungen

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Bewertung der Berechtigung natürlicher Personen für wesentliche öffentliche Sozialleistungen und -dienste, einschließlich Gesundheitsdiensten, sowie die Gewährung, Reduzierung, Widerrufung oder Rückforderung solcher Leistungen und Dienste.
2. Bewertung der Kreditwürdigkeit natürlicher Personen oder

Festlegung ihres Kredit Scores

Ausnahme: Das KI-System soll ausschließlich zum Zweck der Erkennung von Finanzbetrug eingesetzt werden.

KI-Systeme, die den Zugang zu oder den Genuss wesentlicher Dienstleistungen oder Leistungen betreffen, gelten gemäß dem EU Al Act als hochriskant, da sie den Zugang von Individuen zu wichtigen Ressourcen und Chancen direkt beeinflussen. Diese

Systeme werden angewendet in:

• Öffentliche Sozialleistungen und Dienstleistungen: Bewertung der Berechtigung für wesentliche öffentliche Leistungen, wie Gesundheitsversorgung oder finanzielle Unterstützung, sowie Entscheidungen über die Gewährung, Reduzierung, Widerrufung oder Rückforderung solcher Leistungen. Missbrauch oder Fehler können schwerwiegende Folgen für gefährdete Personen haben.
• Kreditwürdigkeit und Kredit Scores: Bewertung der finanziellen Zuverlässigkeit von Individuen oder Festlegung von Kredit Scores, die den Zugang zu Krediten, Wohnraum oder anderen Finanzdienstleistungen bestimmen. Diese Systeme können Vorurteile verstärken oder Chancen einschränken, wenn sie nicht sorgfältig überwacht werden.

Strafverfolgung

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Bewertung des Risikos, dass eine natürliche Person Opfer von Straftaten wird (durch oder im Auftrag von Strafverfolgungsbehörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung von Strafverfolgungsbehörden oder in deren Auftrag)
2. Verwendung als Polygraph oder ähnliche Werkzeuge (durch oder im Auftrag von Strafverfolgungsbehörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung von Strafverfolgungsbehörden)
3. Bewertung der Zuverlässigkeit von Beweismitteln im Verlauf der Untersuchung oder Strafverfolgung von Straftaten (durch oder im Auftrag von Strafverfolgungsbehörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung von Strafverfolgungsbehörden)
4. Bewertung des Risikos, dass eine natürliche Person Straftaten begeht oder rückfällig wird, sei es durch Profiling oder durch andere Methoden der Risikobewertung von natürlichen Personen (durch oder im Auftrag von Strafverfolgungsbehörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung von Strafverfolgungsbehörden)
5. Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder früherem kriminellen Verhalten natürlicher Personen oder Gruppen (durch oder im Auftrag von Strafverfolgungsbehörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung von Strafverfolgungsbehörden)
6. Profiling natürlicher Personen im Verlauf der Entdeckung, Untersuchung oder Strafverfolgung von Straftaten

KI-Systeme, die in der Strafverfolgung eingesetzt werden, gelten gemäß dem EU Al Act als hochriskant aufgrund ihrer erheblichen Auswirkungen auf individuelle Rechte, das öffentliche Vertrauen und die Gerechtigkeit. Diese Systeme werden in folgenden Bereichen angewendet:

• Risikobewertung für Viktimisierung: Hierbei wird die Wahrscheinlichkeit eingeschätzt, dass eine Person Opfer einer Straftat wird. Diese Einschätzungen beeinflussen die Ressourcenzuweisung und die Einführung von Schutzmaßnahmen.

Ein Fehler in dieser Bewertung könnte zu einer ungleichen Behandlung führen. Polygraphen und ähnliche Werkzeuge: Solche Systeme unterstützen Ermittlungen, indem sie die Wahrhaftigkeit von Aussagen bewerten oder Stressanzeichen erkennen. Die Gefahr besteht darin, dass diese Technologien missbraucht oder falsch interpretiert werden können, was zu falschen Ergebnissen führt.

Bewertung der Zuverlässigkeit von Beweismitteln: Die Zuverlässigkeit von Beweismitteln wird während Ermittlungen oder Strafverfolgungen geprüft. Fehler bei dieser Bewertung könnten zu Fehlurteilen führen und die Gerechtigkeit beeinträchtigen.

Risikobewertung für Straftaten oder Rückfälligkeit: In diesem Bereich wird die Wahrscheinlichkeit bewertet, dass eine Person erneut Straftaten begeht. Diese Bewertungen sei es durch Profiling oder durch andere Methoden der Risikobewertung erfordern strenge Schutzmaßnahmen, um Diskriminierung oder ungerechtfertigte Vorurteile zu vermeiden.

Bewertung von Persönlichkeitsmerkmalen und Verhalten: Kl wird genutzt, um Persönlichkeitsmerkmale oder vergangenes kriminelles Verhalten zu analysieren. Diese Art der Analyse muss sorgfältig überwacht werden, um sicherzustellen, dass sie nicht zu unberechtigten Schlussfolgerungen oder Vorurteilen führt. Profiling in Strafsachen: Hierbei wird die Analyse von persönlichen Daten automatisiert, um Verhaltensmuster, Interessen oder Bewegungen zu erkennen. Solche Systeme können das Verhalten von Verdächtigen oder auch Unbeteiligten vorhersagen, was in rechtlichen und ethischen Fragen problematisch sein kann.

Migration, Asyl- oder Grenzkontrollmanagement

Soll in einem der folgenden Bereiche eingesetzt werden:

1. Verwendung als Polygraph oder ähnliche Werkzeuge (durch oder im Auftrag der zuständigen öffentlichen Behörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen)
2. Risikobewertung, einschließlich:

• Sicherheitsrisiko
• Risiko irregulärer Migration
• Gesundheitsrisiko (das von einer natürlichen Person ausgeht, die beabsichtigt, in das Hoheitsgebiet eines EU-Mitgliedstaates einzutreten oder bereits eingetreten ist, bewertet durch oder im Auftrag zuständiger öffentlicher Behörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen)

3. Prüfung von Asylanträgen, Visaanträgen oder Anträgen auf Aufenthaltserlaubnis, einschließlich:

• Zugehörige Beschwerden bezüglich der Berechtigung der Antragsteller
• Bewertungen der Zuverlässigkeit von Beweismitteln (durch oder im Auftrag der zuständigen öffentlichen Behörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen zur Unterstützung der zuständigen öffentlichen Behörden)

4. Erkennung, Identifizierung oder Feststellung natürlicher Personen im Kontext des Migration-, Asyl- oder Grenzkontrollmanagements (durch oder im Auftrag der zuständigen öffentlichen Behörden oder durch Unionseinrichtungen, -organe, -ämter oder -agenturen)

Ausnahme: Das KI-System soll ausschließlich zur Erkennung, Identifizierung oder Feststellung natürlicher Personen zum Zweck der Überprüfung vonReisedokumenten eingesetzt werden.

KI-Systeme, die im Bereich Migration, Asyl und Grenzkontrollmanagement eingesetzt werden, gelten gemäß dem EU Al Act als hochriskant aufgrund ihrer Auswirkungen auf grundlegende Rechte, Sicherheit und den Zugang zu wichtigen rechtlichen Schutzmaßnahmen. Diese Systeme werden in folgenden Bereichen angewendet:

• Polygraphen und ähnliche Werkzeuge: Unterstützung der Behörden bei der Beurteilung der Wahrhaftigkeit oder der Erkennung von Täuschung, was erhebliche Risiken von Ungenauigkeiten birgt, die die Rechte von Individuen und die Ergebnisse beeinflussen könnten.
• Risikobewertung: Bewertung von Sicherheits-, irregulären Migrations- oder Gesundheitsrisiken, die von Personen ausgehen, die in die EU einreisen oder sich darin aufhalten. Eine sorgfältige Überwachung ist erforderlich, um Vorurteile oder ungerechtfertigte Diskriminierung zu vermeiden.
• Antragsbearbeitung: Prüfung von Asyl-, Visum- oder Aufenthaltserlaubnisanträgen sowie die Bewertung der Zuverlässigkeit von Beweismitteln und Bearbeitung verwandter Beschwerden, wobei Fairness und Transparenz entscheidend sind.
• Personenerkennung und -identifikation: Erkennung oder Identifikation von Personen im Kontext der Migration und Grenzkontrolle, was Bedenken hinsichtlich Überwachung, Datenschutz und potenziellem Missbrauch aufwirft.

Verwaltung der Justiz oder demokratischer Prozesse

Soll in einem der folgenden Bereiche eingesetzt werden:

Unterstützung einer gerichtlichen Behörde bei:

1. Recherche und Interpretation von Fakten und dem Gesetz
   1. Anwendung des Gesetzes auf einen konkreten Sachverhalt
   2. Einsatz auf ähnliche Weise zur Unterstützung der alternativen Streitbeilegung (durch eine gerichtliche Behörde oder in deren Auftrag)

2. Beeinflussung des Ausgangs einer Wahl oder eines Referendums oder des Wahlverhaltens natürlicher Personen bei der Ausübung ihres Wahlrechts bei Wahlen oder Referenden Ausnahme: Das KI-System setzt natürliche Personen nicht direkt seiner Ausgabe aus, wie z. B. Tools, die ausschließlich zur Organisation, Optimierung oder Strukturierung politischer Kampagnen aus administrativer oder logistischer Sicht verwendet werden.

KI-Systeme, die für die Verwaltung der Justiz oder demokratischer Prozesse eingesetzt werden, gelten gemäß dem EU Al Act als hochriskant aufgrund ihres potenziellen Einflusses auf Fairness, Vertrauen und die Integrität der Demokratie.

Diese Systeme können in folgenden Bereichen angewendet werden:

Unterstützung der Justiz: Unterstützung der gerichtlichen Behörden durch:

• Recherche und Interpretation von Fakten und Gesetzen.
• Anwendung des Gesetzes auf spezifische Fälle.
• Unterstützung von Prozessen zur alternativen Streitbeilegung.
• Beeinflussung von Wahlen oder Referenden: Gestaltung des Ausgangs von Wahlen, Referenden oder des Wahlverhaltens der Wähler.

Keine der genannten Optionen

Es führt eine eng begrenzte, prozedurale Aufgabe aus.

Es verbessert das Ergebnis einer zuvor durchgeführten menschlichen Tätigkeit.

Es erkennt Entscheidungsmuster oder Abweichungen von vorherigen Mustern, ersetzt oder beeinflusst aber nicht die menschliche Bewertung ohne angemessene menschliche Überprüfung.

Es übernimmt eine vorbereitende Aufgabe für eine Bewertung, die für die zuvor genannten Anwendungsfälle relevant ist.

Keine der oben genannten Optionen.

Systemanbieter (Provider)

Ein Anbieter eines KI-Systems, einschließlich eines allgemeinen KI-Systems, der ein KI-Modell integriert - unabhängig davon, ob das KI-Modell von ihm selbst bereitgestellt und vertikal integriert wird oder von einer anderen Einheit auf der Grundlage vertraglicher Vereinbarungen bereitgestellt wird.

Eine Organisation gilt als Anbieter einer Anwendung, wenn sie:

• Den Namen oder das Markenzeichen anbringt: Den eigenen Namen oder das eigene Markenzeichen auf ein bestehendes KI-System anwendet, das von einer anderen Entität entwickelt wurde.
• Den beabsichtigten Zweck ändert: Die ursprünglich geplante Funktion oder Anwendung eines KI-Systems verändert.
• Wesentliche Änderungen vornimmt (Finetuning): Bedeutende Änderungen an einem hochriskanten KI-System vornimmt,nachdem es auf den Markt gebracht oder in Betrieb genommen wurde, wodurch die Einhaltung des Al Acts beeinflusst wird.

Anwender (Deployer)

Jede natürliche oder juristische Person, öffentliche Behörde, Agentur oder andere Stelle, die ein KI-System unter ihrer Aufsicht verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen, nicht beruflichen Tätigkeit genutzt.

Vertriebspartner (Distributor)

Jede natürliche oder juristische Person in der Lieferkette, die nicht der Anbieter oder der Importeur ist und ein Kl-System auf dem Binnenmarkt der Union verfügbar macht

Importeur

Jede natürliche oder juristische Person, die sich in der Union befindet oder dort ansässig ist und ein KI-System auf den Markt bringt, das den Namen oder das Markenzeichen einer natürlichen oder juristischen Person trägt, die außerhalb der Union ansässig ist.

Autorisierter Vertreter

Jede natürliche oder juristische Person, die sich in der Union befindet oder dort ansässig ist und ein schriftliches Mandat von einem Anbieter eines KI-Systems oder eines allgemeinen KI-Modells erhalten hat, um im Namen des Anbieters die im Rahmen dieser Verordnung festgelegten Verpflichtungen und Verfahren durchzuführen und umzusetzen.

Hersteller

Eine natürliche oder juristische Person, die ein KI-System zusammen mit ihrem Produkt auf den Markt bringt oder in Betrieb nimmt und es unter ihrem eigenen Namen oder Markenzeichen anbietet.