Ein KI-System, das Aufzeichnungen führen muss.
Artikel 12 verlangt von Hochrisiko-KI-Systemen, dass sie die automatische Aufzeichnung von Ereignissen (Logs) über ihren gesamten Lebenszyklus hinweg ermöglichen, sodass ihr Betrieb nachvollzogen und überprüft werden kann. Dies ist das Rückgrat der Rückverfolgbarkeit im Hochrisiko-Regime: Es ermöglicht die Rekonstruktion der Handlungen eines Systems, unterstützt die Marktüberwachung nach der Markteinführung und bildet die Grundlage für Untersuchungen. Und es ist Code, denn ein Ereignis wird nur dann protokolliert, wenn etwas im System dies veranlasst.
The shapes the same control failure takes.
Die Protokollierung wird geschwächt, wenn eine Änderung reduziert, was ein Hochrisiko-KI-System über seinen eigenen Betrieb aufzeichnet. Die wiederkehrenden Muster:
Inference-Protokollierung wird entfernt
Der Aufruf, der jede Entscheidung (Eingaben, Ausgabe, Modellversion) aufzeichnet, wird in einer Bereinigung gelöscht, sodass das System keine Rückverfolgbarkeit mehr liefert, wie sie Art. 12 erwartet.
Wichtige Felder werden aus der Aufzeichnung entfernt
Die Protokollierung bleibt bestehen, erfasst aber nicht mehr die notwendigen Informationen, um eine Entscheidung nachzuvollziehen (welche Version ausgeführt wurde, welche Eingaben verwendet wurden), sodass die Aufzeichnung zwar existiert, aber nicht rückverfolgbar ist.
Ein neuer Hochrisiko-Pfad wird ohne Protokollierung ausgeliefert
Ein neues Modell, eine neue Route oder ein neuer Entscheidungsweg wird hinzugefügt, ohne dass Ereignisse protokolliert werden, sodass ein Teil des Systembetriebs unaufgezeichnet bleibt.
Die Protokollierung erfasst den Systembetrieb nicht mehr vollständig
Die automatische Protokollierung wird so eingeschränkt, dass sie Ereignisse nicht mehr über den gesamten Systembetrieb hinweg erfasst, sodass Lücken in der Rückverfolgbarkeit entstehen, die Art. 12 eigentlich ermöglichen soll.
Die Integrität der Protokolle wird geschwächt
Das Ereignisprotokoll wird editierbar oder an einen Ort verschoben, an dem es verändert werden kann, wodurch sein Wert als zuverlässige Aufzeichnung untergraben wird.
Inference-Protokollierung entfernt, um Kosten zu sparen.
Ein Hochrisiko-Bewertungsmodell protokolliert jede Entscheidung, die es trifft. Das Volumen ist teuer, daher wird in einer Änderung der Protokollierungsaufruf entfernt. Das Modell bewertet weiterhin, es zeichnet jedoch keine Aufzeichnungen mehr darüber auf, was es entschieden hat oder auf welcher Grundlage.
const result = await model.score(application)- await events.record({ model: model.version, input: application.id, result }) return resultDies entfernt die Aufzeichnung darüber, was das Hochrisiko-System entschieden hat und auf welcher Grundlage. Art. 12 (Protokollierung) erwartet eine automatische Aufzeichnung der Systemereignisse über seinen gesamten Lebenszyklus hinweg, sodass sein Betrieb nachvollzogen werden kann. Wenn die Kosten das Problem sind, reduzieren Sie den Umfang der Protokollierung oder die Speicherdauer, behalten Sie aber eine rückverfolgbare Aufzeichnung bei, anstatt sie vollständig zu entfernen. Ob ein System als Hochrisiko eingestuft wird und in den Geltungsbereich fällt, ist Teil Ihrer eigenen Bewertung.
Protokollierung wird als Rückverfolgbarkeit geprüft.
Die Konformitätsprüfung für ein Hochrisiko-System sucht nach der technischen Dokumentation und der Protokollierung, die den Betrieb rückverfolgbar machen: Können Sie nachweisen, was das System getan hat, auf welcher Grundlage, mit welcher Version und über seinen gesamten Lebenszyklus hinweg? Eine Änderung, die diese Protokollierung entfernt oder aushöhlt, ist die Lücke hinter dieser Rückverfolgbarkeit, und sie ist im Diff der Inference- oder Ereignisprotokollierungspfade sichtbar.
Eine Prüfung, keine Konformitätsbewertung.
heygrc markiert Änderungen, die Art. 12 betreffen, und verweist auf den Artikel, damit die Korrektur im Pull Request erfolgt. Es klassifiziert nicht die Risikostufe Ihres Systems oder führt Ihre Konformitätsbewertung durch. Es erkennt den Moment, in dem ein Hochrisiko-System die Aufzeichnung seines Betriebs einstellt, direkt im Diff.