L'humain qui peut encore dire non.
L'article 14 est l'article dédié à la surveillance humaine dans le régime des systèmes à haut risque. L'idée : un système d'IA à haut risque doit offrir des moyens concrets aux personnes chargées de le surveiller pour qu'elles puissent exercer leur rôle, proportionnellement au risque du système et à son degré d'autonomie. Selon le système, cela peut signifier fournir suffisamment d'informations pour évaluer son fonctionnement, un moyen de rejeter ou d'inverser une sortie, et un moyen de l'interrompre en toute sécurité. Une simple politique ne suffit pas : le fournisseur intègre ces mesures dans le système lorsque cela est réalisable, ou les identifie pour que le déploiement les implémente. Dans un système logiciel, la file de révision, l'action de substitution et le contrôle d'arrêt finissent par être du code, et chacun de ces éléments peut être supprimé dans une pull request ordinaire tout en maintenant le système en fonctionnement.
The shapes the same control failure takes.
La surveillance humaine ne disparaît rarement en une seule décision. Elle s'érode par des modifications qui, chacune, semblent être une simplification raisonnable. Les formes récurrentes :
Un point de contrôle de révision est contourné ou automatiquement validé
Une décision qui était soumise à validation humaine commence à s'appliquer automatiquement, au-delà d'un seuil de confiance ou par défaut. Si ce point de contrôle était la mesure de surveillance du système, le moment où une personne pouvait intervenir a disparu.
Le chemin de substitution est supprimé
Le relecteur peut toujours voir les décisions, mais perd l'action permettant d'en inverser une, de sorte que l'étape de révision subsiste alors que la capacité d'intervenir disparaît discrètement.
Le contrôle d'arrêt est supprimé
Un indicateur de pause, un interrupteur d'urgence ou un point de désactivation est supprimé car jugé inutilisé, de sorte qu'il n'existe plus de moyen d'interrompre le système en toute sécurité lorsqu'il fonctionne mal.
La vue de surveillance devient aveugle
L'interface cesse d'afficher ce dont le relecteur a besoin pour évaluer une décision (l'entrée, la version du modèle, l'incertitude), de sorte que l'humain reste dans la boucle mais ne peut que deviner.
La révision est diluée en une simple formalité
Un chemin de validation en masse ou une confirmation pré-remplie remplace une révision que la personne pouvait effectuer de manière significative, alimentant ainsi le biais d'automatisation contre lequel l'article met en garde.
Une action de substitution supprimée en tant que code mort.
Les décisions d'un modèle de filtrage sont mises en file dans une console de relecture. Ce registre définit les seuls contrôles de décision de la console, et la console est la surface de surveillance du système : la fermeture d'une révision applique le résultat. Les relecteurs confirment presque toujours, donc une opération de nettoyage supprime les deux actions « inutilisées » pour simplifier la console. Chaque décision est toujours révisée. La seule action qui ferme désormais une révision applique la sortie du modèle.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}Cela supprime la capacité du relecteur à inverser la sortie du modèle : l'étape de révision reste, mais la console ne propose plus de moyen de rejeter, substituer ou inverser une décision, seulement de l'appliquer. L'article 14 (surveillance humaine) exige que la personne supervisant un système à haut risque dispose d'un moyen efficace d'intervenir, et pas seulement d'un siège pour approuver. Une faible utilisation de la substitution ne prouve pas qu'elle est inutile : elle existe pour les sorties qu'un relecteur doit rejeter. Restaurez un moyen efficace de rejeter, substituer ou inverser la sortie, ainsi que le chemin d'escalade si c'est ainsi qu'une décision est bloquée. Le fait qu'un système soit à haut risque et concerné relève de votre propre évaluation.
La surveillance est vérifiée en tant que capacité, pas comme une affirmation.
La conformité pour un système à haut risque couvre ses mesures de surveillance humaine : la documentation technique décrit comment une personne peut surveiller le système et intervenir, et le système livré doit effectivement fournir ces moyens. Une modification qui supprime l'action de substitution, le contrôle d'arrêt ou les informations dont un relecteur a besoin fait diverger le système en fonctionnement de la surveillance décrite dans la documentation, et cela est visible dans le diff de la surface de révision ou d'exploitation.
Une révision, pas votre processus de surveillance.
heygrc signale les modifications qui concernent l'article 14 et cite l'article afin que la correction ait lieu dans la pull request. Il ne classe pas le niveau de risque de votre système, ne gère pas votre file de révision ni n'effectue votre évaluation de conformité. Il détecte le moment où le moyen pour l'humain d'intervenir est supprimé, au niveau du diff.