È allettante trattare l'EU AI Act come un esercizio di documentazione: una classificazione del rischio, un file di conformità, una cartella di policy. Per i sistemi che classifica come ad alto rischio, una parte reale non è affatto documentazione. Si tratta di verificare se il sistema in esecuzione registra i suoi eventi, mantiene un essere umano nel loop e garantisce accuratezza e robustezza, e tutte e tre queste condizioni sono decisi nel codice.
Il che significa che una normale pull request può farvi uscire dalla conformità, e il PDF della policy non lo rileverà.
Quali obblighi risiedono nella diff
Diversi obblighi per i sistemi ad alto rischio sono proprietà del build, non del binder. L'Articolo 12 (tenuta dei registri) richiede la registrazione automatica degli eventi del sistema durante il suo ciclo di vita. L'Articolo 14 (sorveglianza umana) richiede un modo efficace per una persona di intervenire. L'Articolo 10 (dati e governance dei dati) copre la qualità e la governance dei dati di addestramento, validazione e test. L'Articolo 15 (accuratezza, robustezza e cybersicurezza) copre le misure di salvaguardia con cui il sistema viene distribuito. Ognuno di questi può essere rafforzato o indebolito da una singola modifica, e la pagina che mostra come ciascuno si applica è nella scomposizione del framework.
La modifica che rimuove la sorveglianza
Consideriamo una decisione di idoneità ad alto rischio che prima veniva messa in coda per la revisione umana. Una modifica la accelera confermando automaticamente l'output del modello al di sopra di un punteggio di confidenza. È un'ottimizzazione delle prestazioni ragionevole. Rimuove anche il passaggio in cui una persona poteva intervenire prima che la decisione avesse effetto.
const result = await model.score(application)- return queueForHumanReview(result)+ if (result.confidence > 0.8) return autoDecide(result) return queueForHumanReview(result)Per una decisione ad alto rischio, una soglia di confidenza da sola non è la sorveglianza umana efficace che l'Articolo 14 richiede. Rimuovere il percorso configurato per la revisione umana può vanificare la misura di sorveglianza, a meno che non rimanga un altro modo efficace per intervenire o sovrascrivere. Mantenere un percorso reale per l'intervento umano, o vincolare la decisione automatica a un controllo documentato e revisionabile.
Il PDF della policy non vi salverà
La conformità viene valutata rispetto al sistema, non al documento che lo descrive. Una modifica che rimuove la registrazione richiesta dall'Articolo 12 o la sorveglianza richiesta dall'Articolo 14 rende il sistema in esecuzione non conforme al file che avete assembleato, e il file non sa che la modifica è avvenuta.
Se un sistema è ad alto rischio e in ambito di applicazione è una determinazione che spetta alla vostra valutazione; heygrc non classifica il vostro sistema per voi. Ma una volta che sapete che un obbligo si applica, questo viene applicato al commit, non al PDF della policy, e lì è dove heygrc è progettato per leggere la modifica rispetto all'articolo che tocca.