La persona che può ancora dire di no.
L'articolo 14 è la norma sulla supervisione umana del regime ad alto rischio. L'idea: un sistema di intelligenza artificiale ad alto rischio deve essere dotato di mezzi reali per consentire alle persone incaricate di supervisionarlo di svolgere il proprio compito, in modo proporzionato al rischio del sistema e al suo grado di autonomia. A seconda del sistema, ciò può significare fornire informazioni sufficienti per valutare cosa sta facendo, un modo per rifiutare o invertire un output e un modo per interromperlo in sicurezza. Una semplice policy non può fornire tutto questo: il fornitore deve integrare le misure nel sistema, ove fattibile, o identificarle affinché il deployer le implementi. In ogni caso, in un sistema software, la coda di revisione, l'azione di override e il controllo di arresto finiscono per essere codice, e ciascuno di essi può essere rimosso in una normale pull request mentre il sistema continua a funzionare.
The shapes the same control failure takes.
La supervisione umana non scompare mai in un'unica decisione. Si erode con modifiche che, singolarmente, sembrano semplificazioni ragionevoli. Le forme ricorrenti:
Un punto di controllo di revisione viene bypassato o confermato automaticamente
Una decisione che prima richiedeva l'intervento di una persona inizia a essere applicata automaticamente, al superamento di una soglia di fiducia o per impostazione predefinita. Se quel punto di controllo era la misura di supervisione del sistema, il momento in cui una persona poteva intervenire è sparito.
Il percorso di override viene rimosso
Il revisore può ancora visualizzare le decisioni, ma perde l'azione che permette di annullarne una, quindi il passaggio di revisione rimane, ma la capacità di intervenire scompare silenziosamente.
Il controllo di arresto viene rimosso
Un flag di pausa, un interruttore di emergenza o un endpoint di disabilitazione viene eliminato perché non utilizzato, quindi non esiste più un modo per interrompere in sicurezza il sistema quando si comporta in modo errato.
La visualizzazione della supervisione diventa cieca
L'interfaccia smette di mostrare ciò che il revisore deve valutare per prendere una decisione (l'input, la versione del modello, il livello di incertezza), quindi l'umano rimane nel loop ma può solo indovinare.
La revisione viene diluita in un timbro automatico
Un percorso di approvazione bulk o una conferma precompilata sostituisce una revisione che una persona poteva svolgere in modo significativo, alimentando il bias di automazione di cui l'articolo avverte.
Un'azione di override rimossa come codice non utilizzato.
Le decisioni di un modello di screening vengono messi in coda in una console del revisore. Questo registro definisce gli unici controlli delle decisioni della console, e la console è la superficie di supervisione del sistema: la chiusura di una revisione applica il risultato. I revisori quasi sempre confermano, quindi una pulizia rimuove le due azioni 'non utilizzate' per semplificare la console. Ogni decisione viene comunque revisionata. L'unica azione che ora chiude una revisione applica l'output del modello.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}Questo rimuove la capacità del revisore di annullare l'output del modello: il passaggio di revisione rimane, ma la console non ha più un modo per rifiutare, sovrascrivere o invertire una decisione, ma solo per applicarla. L'Art. 14 (supervisione umana) prevede che la persona incaricata di supervisionare un sistema ad alto rischio abbia un modo efficace per intervenire, non solo un posto da cui approvare. Un uso limitato dell'override non dimostra che non sia necessario: esiste proprio per gli output che un revisore deve rifiutare. Ripristina un modo efficace per rifiutare, sovrascrivere o invertire l'output e il percorso di escalation, se è così che una decisione viene bloccata. Se un sistema è ad alto rischio e rientra nell'ambito di applicazione è una valutazione che spetta a voi.
La supervisione viene verificata come capacità, non come affermazione.
La conformità per un sistema ad alto rischio copre le sue misure di supervisione umana: la documentazione tecnica descrive come una persona può monitorare il sistema e intervenire, e il sistema distribuito deve effettivamente fornire questi mezzi. Una modifica che rimuove l'azione di override, il controllo di arresto o le informazioni necessarie al revisore fa divergere il sistema in esecuzione dalla supervisione descritta nella documentazione, e questo è visibile nel diff della superficie di revisione o operativa.
Una revisione, non il vostro processo di supervisione.
heygrc segnalerà le modifiche che interessano l'Art. 14 e citerà l'articolo affinché la correzione avvenga nella pull request. Non classificherà il livello di rischio del vostro sistema, non gestirà la vostra coda di revisione né eseguirà la vostra valutazione di conformità. Intercetta il momento in cui il modo per intervenire da parte dell'umano viene rimosso, al diff.