Der Mensch, der noch Nein sagen kann.
Artikel 14 ist der Artikel zur menschlichen Aufsicht im Hochrisiko-Regime. Die Idee: Ein Hochrisiko-KI-System muss echte Mittel bieten, damit die damit beauftragten Personen ihre Aufgabe erfüllen können - verhältnismäßig zum Risiko des Systems und zu seinem Autonomiegrad. Je nach System kann das bedeuten: ausreichend Informationen, um zu beurteilen, was es tut, eine Möglichkeit, ein Ergebnis abzulehnen oder rückgängig zu machen, und eine Möglichkeit, es sicher zu unterbrechen. Eine Richtlinie allein kann dies nicht leisten: Der Anbieter integriert die Maßnahmen in das System, soweit möglich, oder benennt sie für den Betreiber zur Umsetzung. In jedem Fall enden in einem Softwaresystem die Review-Warteschlange, die Überschreibungsaktion und die Stopp-Steuerung als Code, und jede davon kann in einem ganz normalen Pull Request entfernt werden, während das System weiterläuft.
The shapes the same control failure takes.
Menschliche Aufsicht verschwindet selten durch eine einzelne Entscheidung. Sie wird durch Änderungen untergraben, die jeweils wie eine vernünftige Vereinfachung aussehen. Die wiederkehrenden Muster:
Ein Review-Checkpoint wird umgangen oder automatisch bestätigt
Eine Entscheidung, die bisher zur manuellen Prüfung anstand, wird automatisch wirksam, etwa ab einem Vertrauensschwellenwert oder standardmäßig. Wenn dieser Checkpoint die Aufsichtsmaßnahme des Systems war, ist der Punkt, an dem eine Person eingreifen konnte, verschwunden.
Der Überschreibungsweg wird entfernt
Der Reviewer kann Entscheidungen zwar noch einsehen, verliert aber die Aktion, um sie zu überschreiben. Der Review-Schritt bleibt also bestehen, während die Möglichkeit zum Eingreifen leise entfällt.
Die Stopp-Steuerung wird entfernt
Ein Pause-Flag, ein Kill-Switch oder ein Deaktivierungs-Endpunkt wird als ungenutzt gelöscht, sodass es keine Möglichkeit mehr gibt, das System sicher zu unterbrechen, wenn es sich falsch verhält.
Die Aufsichtssicht wird blind
Die Schnittstelle zeigt nicht mehr an, was der Reviewer benötigt, um eine Entscheidung zu beurteilen (Eingabe, Modellversion, Unsicherheit), sodass der Mensch zwar noch im Loop ist, aber nur noch raten kann.
Review wird zu einer Formalität
Ein Massenbestätigungsweg oder eine vorab ausgefüllte Bestätigung ersetzt eine sinnvolle Prüfung durch eine Person und verstärkt so die Automatisierungsverzerrung, vor der der Artikel warnt.
Eine Überschreibungsaktion als toter Code entfernt.
Die Entscheidungen eines Screening-Modells werden in einer Reviewer-Konsole zur Prüfung eingereicht. Dieses Registry definiert die einzigen Entscheidungssteuerungen der Konsole, und die Konsole ist die Aufsichtsoberfläche des Systems: Das Schließen eines Reviews wendet das Ergebnis an. Reviewer bestätigen fast immer, daher wird bei einer Bereinigung die beiden 'ungenutzten' Aktionen entfernt, um die Konsole zu vereinfachen. Jede Entscheidung wird weiterhin geprüft. Die einzige Aktion, die nun ein Review schließt, wendet das Modell-Ergebnis an.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}Damit wird die Fähigkeit des Reviewers entfernt, das Modell-Ergebnis zu überschreiben: Der Review-Schritt bleibt bestehen, aber die Konsole bietet keinen Weg mehr, eine Entscheidung abzulehnen, zu überschreiben oder rückgängig zu machen - nur noch, sie anzuwenden. Art. 14 (menschliche Aufsicht) erwartet, dass die Person, die ein Hochrisiko-System überwacht, eine wirksame Möglichkeit zum Eingreifen hat, nicht nur einen Platz zur Bestätigung. Eine geringe Nutzung der Überschreibungsfunktion zeigt nicht, dass sie unnötig ist; sie existiert für die Ergebnisse, die ein Reviewer ablehnen muss. Stellen Sie eine wirksame Möglichkeit zum Ablehnen, Überschreiben oder Rückgängigmachen des Ergebnisses wieder her, sowie den Eskalationsweg, falls Entscheidungen auf diesem Weg blockiert werden. Ob ein System als Hochrisiko einzustufen ist und in den Anwendungsbereich fällt, obliegt Ihrer eigenen Bewertung.
Aufsicht wird als Fähigkeit geprüft, nicht als Behauptung.
Die Konformität für ein Hochrisiko-System umfasst dessen Maßnahmen zur menschlichen Aufsicht: Die technische Dokumentation beschreibt, wie eine Person das System überwachen und eingreifen kann, und das ausgelieferte System muss diese Mittel tatsächlich bereitstellen. Eine Änderung, die die Überschreibungsaktion, die Stopp-Steuerung oder die Informationen entfernt, die ein Reviewer benötigt, führt dazu, dass das laufende System von der in der Dokumentation beschriebenen Aufsicht abweicht, und dies ist im Diff zur Review- oder Operator-Oberfläche sichtbar.
Ein Review, nicht Ihr Aufsichtsprozess.
heygrc markiert Änderungen, die Art. 14 betreffen, und verweist auf den Artikel, damit die Korrektur im Pull Request erfolgt. Es klassifiziert nicht die Risikostufe Ihres Systems, besetzt nicht Ihre Review-Warteschlange und führt nicht Ihre Konformitätsbewertung durch. Es erkennt den Moment, in dem die Eingriffsmöglichkeit des Menschen entfernt wird - im Diff.