System AI, który musi prowadzić rejestry.
Artykuł 12 wymaga od systemów AI wysokiego ryzyka umożliwienia automatycznego rejestrowania zdarzeń (logów) przez cały okres ich działania, aby ich działanie mogło być śledzone i weryfikowane. Jest to kręgosłup śledzenia w reżimie wysokiego ryzyka: to dzięki niemu można zrekonstruować, co zrobił system, wspiera monitorowanie po wprowadzeniu na rynek i stanowi podstawę dochodzenia. A to jest kod, zdarzenie jest rejestrowane, ponieważ coś w systemie to robi.
The shapes the same control failure takes.
Rejestrowanie zdarzeń słabnie, gdy zmiana zmniejsza to, co system AI wysokiego ryzyka rejestruje na temat własnego działania. Powtarzające się wzorce:
Logowanie inferencji zostało usunięte
Wywołanie rejestrujące każdą decyzję (dane wejściowe, wynik, wersja modelu) zostało usunięte podczas czyszczenia, więc system przestaje generować ślad oczekiwany przez Art. 12.
Kluczowe pola zostały usunięte z rekordu
Logowanie pozostaje, ale przestaje rejestrować to, co jest potrzebne do zrekonstruowania decyzji (która wersja została uruchomiona, jakie dane otrzymała), więc rekord istnieje, ale nie jest śledzalny.
Nowa ścieżka wysokiego ryzyka jest wysyłana bez logowania
Nowy model, trasa lub ścieżka decyzyjna jest dodawana bez rejestrowania zdarzeń, pozostawiając część działania systemu nienagraną.
Logowanie przestaje obejmować działanie systemu
Automatyczne logowanie jest zawężane, więc nie rejestruje już zdarzeń w całym działaniu systemu, pozostawiając luki w śledzeniu, które Art. 12 ma umożliwić.
Integralność logów została osłabiona
Dziennik zdarzeń staje się edytowalny lub jest przenoszony w miejsce, w którym może zostać zmieniony, podważając jego wartość jako wiarygodnego rekordu.
Logowanie inferencji usunięte, aby obniżyć koszty.
Model punktacji wysokiego ryzyka rejestruje każdą podjętą decyzję. Objętość jest kosztowna, więc zmiana usuwa wywołanie logowania. Model nadal punktuje, ale przestaje rejestrować, jakie podjął decyzje i na jakich danych wejściowych.
const result = await model.score(application)- await events.record({ model: model.version, input: application.id, result }) return resultUsunięto zapis tego, jakie decyzje podjął system wysokiego ryzyka i na jakich danych wejściowych. Art. 12 (rejestrowanie zdarzeń) oczekuje automatycznego rejestrowania zdarzeń systemu przez cały okres jego działania, aby jego działanie mogło być śledzone. Jeśli problemem jest koszt, zmniejsz objętość rejestrowanych danych lub okres ich przechowywania, ale zachowaj śledzalny rekord zamiast go usuwać. Czy system jest wysokiego ryzyka i objęty zakresem, to już kwestia własnej oceny.
Rejestrowanie zdarzeń jest sprawdzane pod kątem śledzenia.
Zgodność dla systemu wysokiego ryzyka szuka dokumentacji technicznej i logów, które czynią jego działanie śledzalnym: czy można pokazać, co zrobił system, na jakich danych wejściowych, z jaką wersją, przez cały okres działania. Zmiana, która usunęła lub osłabiła to logowanie, to luka stojąca za tym śledzeniem, i jest widoczna w diffie dotyczącym inferencji lub ścieżki logowania zdarzeń.
Przegląd, a nie ocena zgodności.
heygrc sygnalizuje zmiany dotyczące Art. 12 i cytuje ten artykuł, aby naprawa nastąpiła w pull request. Nie klasyfikuje poziomu ryzyka systemu ani nie przeprowadza oceny zgodności. Wychwytuje moment, w którym system wysokiego ryzyka przestaje rejestrować swoje działanie, na poziomie diffa.