Un sistema di IA che deve mantenere i registri.
L'Articolo 12 richiede che i sistemi di IA ad alto rischio consentano la registrazione automatica degli eventi (log) durante il loro ciclo di vita, in modo che il loro funzionamento possa essere tracciato e revisionato. È il pilastro della tracciabilità del regime ad alto rischio: permette di ricostruire cosa ha fatto un sistema, supporta il monitoraggio post-commercializzazione e sostiene le indagini. E tutto questo è codice: un evento viene registrato perché qualcosa nel sistema lo fa.
The shapes the same control failure takes.
La tenuta dei registri si indebolisce quando una modifica riduce ciò che un sistema di IA ad alto rischio registra sul proprio funzionamento. Le forme ricorrenti:
La registrazione delle inferenze viene rimossa
La chiamata che registra ogni decisione (input, output, versione del modello) viene eliminata durante una pulizia, quindi il sistema smette di produrre la traccia prevista dall'Art. 12.
Campi chiave vengono omessi dal registro
La registrazione rimane, ma smette di catturare ciò che serve per ricostruire una decisione (quale versione è stata eseguita, quali input sono stati forniti), quindi il registro esiste ma non è tracciabile.
Un nuovo percorso ad alto rischio viene distribuito senza registrazione
Un nuovo modello, percorso o flusso decisionale viene aggiunto senza registrazione degli eventi, lasciando parte del funzionamento del sistema non registrata.
La registrazione smette di coprire il funzionamento del sistema
La registrazione automatica viene limitata in modo che non catturi più gli eventi in tutto il funzionamento del sistema, lasciando lacune nella tracciabilità che l'Art. 12 intende garantire.
L'integrità dei log viene indebolita
Il registro degli eventi diventa modificabile o viene spostato in un luogo in cui può essere alterato, compromettendo il suo valore come registro fedele.
Registrazione delle inferenze rimossa per ridurre i costi.
Un modello di scoring ad alto rischio registra ogni decisione che prende. Il volume è costoso, quindi una modifica rimuove la chiamata di registrazione. Il modello continua a valutare, ma smette di mantenere qualsiasi registro di cosa ha deciso o con quali input.
const result = await model.score(application)- await events.record({ model: model.version, input: application.id, result }) return resultQuesto rimuove il registro di cosa ha deciso il sistema ad alto rischio e con quali input. L'Art. 12 (tenuta dei registri) richiede la registrazione automatica degli eventi del sistema durante il suo ciclo di vita, in modo che il suo funzionamento possa essere tracciato. Se il problema è il costo, riduci ciò che viene registrato o il livello di conservazione, ma mantieni un registro tracciabile invece di rimuoverlo. Se un sistema è ad alto rischio e rientra nell'ambito di applicazione è una valutazione che spetta a te.
La tenuta dei registri viene verificata come tracciabilità.
La conformità per un sistema ad alto rischio cerca la documentazione tecnica e la registrazione che rendono tracciabile il suo funzionamento: puoi mostrare cosa ha fatto il sistema, con quali input, con quale versione, durante il suo ciclo di vita. Una modifica che rimuove o svuota quella registrazione è il divario dietro quella tracciabilità, ed è visibile nel diff del percorso di inferenza o registrazione degli eventi.
Una revisione, non una valutazione di conformità.
heygrc segnalerà le modifiche che interessano l'Art. 12 e citerà l'articolo in modo che la correzione avvenga nella pull request. Non classificherà il livello di rischio del tuo sistema né eseguirà la tua valutazione di conformità. Cattura il momento in cui un sistema ad alto rischio smette di registrare il proprio funzionamento, direttamente nel diff.