Un système d'IA qui doit tenir des registres.
L'article 12 exige que les systèmes d'IA à haut risque permettent l'enregistrement automatique des événements (journaux) tout au long de leur cycle de vie, afin que leur fonctionnement puisse être retracé et examiné. C'est l'épine dorsale de la traçabilité du régime à haut risque : il permet de reconstituer ce qu'un système a fait, soutient la surveillance post-commercialisation et étaye une enquête. Et c'est du code : un événement est journalisé parce que quelque chose dans le système le journalise.
The shapes the same control failure takes.
La tenue de registres s'affaiblit lorsqu'une modification réduit ce qu'un système d'IA à haut risque enregistre sur son propre fonctionnement. Les formes récurrentes :
La journalisation des inférences est supprimée
L'appel qui enregistre chaque décision (les entrées, la sortie, la version du modèle) est supprimé lors d'un nettoyage, de sorte que le système cesse de produire la trace attendue par l'Art. 12.
Des champs clés sont omis dans l'enregistrement
La journalisation reste en place mais cesse de capturer ce qui est nécessaire pour reconstituer une décision (quelle version a été exécutée, quelles données lui ont été fournies), de sorte que l'enregistrement existe mais n'est pas traçable.
Un nouveau chemin à haut risque est déployé sans journalisation
Un nouveau modèle, une nouvelle route ou un nouveau chemin de décision est ajouté sans journalisation des événements, laissant une partie du fonctionnement du système non enregistrée.
La journalisation ne couvre plus le fonctionnement du système
La journalisation automatique est restreinte de sorte qu'elle ne capture plus les événements sur l'ensemble du fonctionnement du système, laissant des lacunes dans la traçabilité que l'Art. 12 vise à permettre.
L'intégrité des journaux est affaiblie
Le journal des événements devient modifiable ou est déplacé à un endroit où il peut être modifié, compromettant sa valeur en tant qu'enregistrement fidèle.
Journalisation des inférences supprimée pour réduire les coûts.
Un modèle de notation à haut risque journalise chaque décision qu'il prend. Le volume est coûteux, donc une modification supprime l'appel de journalisation. Le modèle continue de noter, mais il cesse de conserver un enregistrement de ce qu'il a décidé ou sur quelles entrées.
const result = await model.score(application)- await events.record({ model: model.version, input: application.id, result }) return resultCela supprime l'enregistrement de ce que le système à haut risque a décidé et sur quelles entrées. L'Art. 12 (tenue de registres) exige une journalisation automatique des événements du système tout au long de son cycle de vie, afin que son fonctionnement puisse être retracé. Si le coût est le problème, réduisez ce qui est journalisé ou son niveau de rétention, mais conservez un enregistrement traçable plutôt que de le supprimer. Le fait qu'un système soit à haut risque et concerné relève de votre propre évaluation.
La tenue de registres est vérifiée en tant que traçabilité.
La conformité pour un système à haut risque recherche la documentation technique et la journalisation qui rendent son fonctionnement traçable : pouvez-vous montrer ce que le système a fait, sur quelles entrées, avec quelle version, tout au long de son cycle de vie. Une modification qui supprime ou vide cette journalisation est la faille derrière cette traçabilité, et elle est visible dans le diff de la voie d'inférence ou de journalisation des événements.
Une revue, pas une évaluation de conformité.
heygrc signale les modifications qui concernent l'Art. 12 et cite l'article afin que la correction ait lieu dans la pull request. Il ne classe pas le niveau de risque de votre système ni ne réalise votre évaluation de conformité. Il détecte le moment où un système à haut risque cesse d'enregistrer son fonctionnement, au niveau du diff.