Człowiek, który wciąż może powiedzieć nie.
Artykuł 14 to przepis dotyczący nadzoru człowieka w reżimie wysokiego ryzyka. Idea: system AI wysokiego ryzyka musi zapewniać realne środki osobom wyznaczonym do nadzoru, aby mogły wykonywać swoją pracę, proporcjonalnie do ryzyka systemu i stopnia jego autonomii. W zależności od systemu może to oznaczać dostarczenie wystarczających informacji do oceny jego działań, możliwość odrzucenia lub cofnięcia wyniku oraz bezpieczne przerwanie działania. Samo ustalenie polityki nie zapewni żadnego z tych środków: dostawca wbudowuje je w system tam, gdzie to możliwe, lub identyfikuje je dla wdrożenia przez użytkownika. W każdym razie, w systemie programistycznym kolejka recenzji, akcja nadpisania i kontrola zatrzymania kończą jako kod, a każda z nich może zostać usunięta w zwykłym pull request, podczas gdy system nadal działa.
The shapes the same control failure takes.
Nadzór człowieka rzadko znika w jednej decyzji. Eroduje w zmianach, z których każda wydaje się rozsądnym uproszczeniem. Powtarzające się wzorce:
Punkt kontrolny recenzji jest pomijany lub automatycznie zatwierdzany
Decyzja, która wcześniej czekała na osobę, zaczyna obowiązywać sama, powyżej progu pewności lub domyślnie. Jeśli ta brama była środkiem nadzoru systemu, punkt, w którym osoba mogła interweniować, przestaje istnieć.
Ścieżka nadpisania została usunięta
Recenzent wciąż widzi decyzje, ale traci akcję, która je uchyla, więc krok recenzji pozostaje, ale możliwość interwencji cicho znika.
Kontrola zatrzymania została usunięta
Flaga pauzy, wyłącznik awaryjny lub endpoint dezaktywacji zostaje usunięty jako nieużywany, więc nie ma już sposobu na bezpieczne przerwanie systemu, gdy zachowuje się nieprawidłowo.
Widok nadzoru staje się ślepy
Interfejs przestaje wyświetlać to, czego recenzent potrzebuje do oceny decyzji (dane wejściowe, wersja modelu, niepewność), więc człowiek wciąż jest w pętli, ale może tylko zgadywać.
Recenzja zostaje zredukowana do formalności
Ścieżka masowego zatwierdzania lub wstępnie wypełnione potwierdzenie zastępuje recenzję, którą osoba mogłaby przeprowadzić w sposób istotny, zasilając uprzedzenie automatyzacji, przed którym ostrzega artykuł.
Akcja nadpisania usunięta jako martwy kod.
Decyzje modelu wstępnego są kolejkowane w konsoli recenzenta. Ten rejestr definiuje jedyne kontrole decyzji konsoli, a konsola jest powierzchnią nadzoru systemu: zamknięcie recenzji stosuje wynik. Recenzenci prawie zawsze zatwierdzają, więc podczas czyszczenia usuwane są dwie „nieużywane” akcje, aby uprościć konsolę. Każda decyzja wciąż jest recenzowana. Jedyna akcja, która teraz zamyka recenzję, stosuje wynik modelu.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}To usuwa możliwość odrzucenia wyniku modelu przez recenzenta: krok recenzji pozostaje, ale konsola nie ma już ścieżki do odrzucenia, nadpisania lub cofnięcia decyzji, a jedynie do jej zastosowania. Art. 14 (nadzór człowieka) oczekuje, że osoba nadzorująca system wysokiego ryzyka ma skuteczny sposób interwencji, a nie jedynie miejsce do zatwierdzania. Niskie użycie akcji nadpisania nie dowodzi, że jest ona zbędna; istnieje ona dla wyników, które recenzent musi odrzucić. Przywróć skuteczny sposób odrzucenia, nadpisania lub cofnięcia wyniku oraz ścieżkę eskalacji, jeśli to sposób na zablokowanie decyzji. Czy system jest wysokiego ryzyka i podlega przepisom, to kwestia własnej oceny.
Nadzór jest sprawdzany jako zdolność, a nie oświadczenie.
Zgodność dla systemu wysokiego ryzyka obejmuje środki nadzoru człowieka: dokumentacja techniczna opisuje, jak osoba może monitorować system i interweniować, a dostarczony system musi rzeczywiście zapewniać te środki. Zmiana, która usuwa akcję nadpisania, kontrolę zatrzymania lub informacje potrzebne recenzentowi, powoduje, że działający system odbiega od nadzoru opisanego w dokumentacji, co jest widoczne w diffie interfejsu recenzji lub operatora.
Recenzja, a nie Twój proces nadzoru.
heygrc sygnalizuje zmiany dotyczące Art. 14 i powołuje się na artykuł, aby naprawa nastąpiła w pull request. Nie klasyfikuje poziomu ryzyka Twojego systemu, nie obsadza kolejki recenzji ani nie przeprowadza oceny zgodności. Wychwytuje moment, w którym sposób interwencji człowieka zostaje usunięty, na poziomie diffu.