heygrc
Feldnotizenthe heygrc team

Der EU AI Act ist ein Code-Review, ob es dir gefällt oder nicht

Für Hochrisiko-KI-Systeme sind die Verpflichtungen des Gesetzes keine Richtlinien. Es handelt sich um Eigenschaften des laufenden Systems, die in einem Diff entschieden werden.

Es ist verlockend, den EU AI Act als Dokumentationsübung zu behandeln: eine Risikoklassifizierung, eine Konformitätsdatei, ein Ordner mit Richtlinien. Für die Systeme, die er als Hochrisiko einstuft, ist ein Teil davon jedoch keine Dokumentation. Es geht darum, ob das laufende System seine Ereignisse protokolliert, einen Menschen in den Prozess einbindet und seine Genauigkeit und Robustheit gewährleistet - und all das wird im Code entschieden.

Das bedeutet, dass ein normaler Pull Request dich aus der Konformität bringen kann, und die Richtlinien-PDF wird das nicht erkennen.

Welche Verpflichtungen im Diff leben

Mehrere der Hochrisiko-Verpflichtungen sind Eigenschaften des Builds, nicht des Ordners. Artikel 12 (Aufzeichnungspflicht) verlangt die automatische Protokollierung der Ereignisse des Systems über dessen Lebensdauer. Artikel 14 (menschliche Aufsicht) verlangt eine wirksame Möglichkeit für eine Person, einzugreifen. Artikel 10 (Daten und Datenverwaltung) betrifft die Qualität und Verwaltung von Trainings-, Validierungs- und Testdaten. Artikel 15 (Genauigkeit, Robustheit und Cybersicherheit) betrifft die Schutzmaßnahmen, mit denen das System ausgeliefert wird. Jede dieser Anforderungen kann durch eine einzelne Änderung gestärkt oder geschwächt werden, und die Seite, auf der jede davon erscheint, befindet sich in der Framework-Übersicht.

Die Änderung, die die Aufsicht entfernt

Betrachten wir eine Hochrisiko-Berechtigungsentscheidung, die früher für eine menschliche Überprüfung in die Warteschlange gestellt wurde. Eine Änderung beschleunigt den Prozess, indem sie die Ausgabe des Modells oberhalb eines Konfidenzwerts automatisch bestätigt. Das ist eine vernünftige Leistungsoptimierung. Gleichzeitig entfernt sie den Schritt, bei dem eine Person eingreifen konnte, bevor die Entscheidung wirksam wird.

decisions/eligibility.ts+1 -1
const result = await model.score(application)-  return queueForHumanReview(result)+  if (result.confidence > 0.8) return autoDecide(result)  return queueForHumanReview(result)
heygrcEU AI Act Art. 14

Für eine Hochrisiko-Entscheidung ist ein reiner Konfidenzschwellwert allein nicht die wirksame menschliche Aufsicht, die Artikel 14 verlangt. Das Entfernen des konfigurierten Pfads für die menschliche Überprüfung kann die Aufsichtsmaßnahme unwirksam machen, es sei denn, es bleibt eine andere wirksame Möglichkeit zum Eingreifen oder Überschreiben bestehen. Behalten Sie einen echten Pfad für eine Person, um einzugreifen, oder schützen Sie die automatische Entscheidung durch eine überprüfbare, dokumentierte Kontrolle.

Die Richtlinien-PDF wird dich nicht retten

Die Konformität wird anhand des Systems bewertet, nicht anhand des Dokuments, das es beschreibt. Eine Änderung, die die Protokollierung entfernt, die Artikel 12 verlangt, oder die Aufsicht, die Artikel 14 verlangt, bringt das laufende System außer Einklang mit der von Ihnen erstellten Datei, und die Datei weiß nicht, dass die Änderung stattgefunden hat.

Ob ein bestimmtes System Hochrisiko ist und im Geltungsbereich liegt, ist eine Feststellung, die Sie im Rahmen Ihrer eigenen Bewertung treffen müssen. heygrc klassifiziert Ihr System nicht für Sie. Sobald Sie jedoch wissen, dass eine Verpflichtung gilt, wird diese auf Commit-Ebene durchgesetzt, nicht in der Richtlinien-PDF, und genau dort ist heygrc darauf ausgelegt, die Änderung gegen den betroffenen Artikel zu prüfen.

eu-ai-actai-systemscode-reviewregulation