El humano que aún puede decir que no.
El Artículo 14 es el artículo de supervisión humana del régimen de alto riesgo. La idea: un sistema de IA de alto riesgo debe incluir medios reales para que las personas asignadas a supervisarlo puedan realizar su trabajo, proporcionales al riesgo del sistema y a su nivel de autonomía. Según el sistema, esto puede significar proporcionar suficiente información para evaluar su funcionamiento, una forma de rechazar o revertir una salida, y una forma de interrumpirlo de manera segura. Una política por sí sola no puede ofrecer nada de esto: el proveedor debe integrar las medidas en el sistema cuando sea viable, o identificarlas para que el implementador las aplique. En cualquier caso, en un sistema de software, la cola de revisión, la acción de anulación y el control de detención terminan siendo código, y cada uno de ellos puede eliminarse en una solicitud de extracción ordinaria mientras el sistema sigue funcionando.
The shapes the same control failure takes.
La supervisión humana rara vez desaparece en una sola decisión. Se erosiona en cambios que, individualmente, parecen simplificaciones razonables. Las formas recurrentes:
Se omite o confirma automáticamente un punto de revisión
Una decisión que antes requería la aprobación de una persona comienza a aplicarse por sí misma, ya sea por encima de un umbral de confianza o por defecto. Si ese punto de control era la medida de supervisión del sistema, el momento en el que una persona podía intervenir ha desaparecido.
Se elimina la ruta de anulación
El revisor aún puede ver las decisiones, pero pierde la acción que permite anular una de ellas, por lo que el paso de revisión permanece mientras que la capacidad de intervenir se desvanece silenciosamente.
Se elimina el control de detención
Una bandera de pausa, un interruptor de apagado o un endpoint de desactivación se elimina por considerarse sin uso, por lo que ya no hay forma de interrumpir el sistema de manera segura cuando funciona incorrectamente.
La vista de supervisión se queda sin información
La interfaz deja de mostrar lo que el revisor necesita para evaluar una decisión (la entrada, la versión del modelo, la incertidumbre), por lo que el humano sigue en el proceso, pero solo puede adivinar.
La revisión se diluye en un sello de goma
Una ruta de aprobación masiva o una confirmación predefinida reemplaza una revisión que una persona podría realizar de manera significativa, alimentando el sesgo de automatización que el artículo advierte.
Una acción de anulación eliminada como código muerto.
Las decisiones de un modelo de cribado se encolan en una consola de revisor. Este registro define los únicos controles de decisión de la consola, y la consola es la superficie de supervisión del sistema: cerrar una revisión aplica el resultado. Los revisores casi siempre confirman, por lo que una limpieza elimina las dos acciones 'sin uso' para simplificar la consola. Cada decisión sigue siendo revisada. La única acción que ahora cierra una revisión aplica la salida del modelo.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}Esto elimina la capacidad del revisor para anular la salida del modelo: el paso de revisión permanece, pero la consola ya no tiene una forma de rechazar, anular o revertir una decisión, solo de aplicarla. El Art. 14 (supervisión humana) exige que la persona que supervisa un sistema de alto riesgo tenga una forma efectiva de intervenir, no solo un lugar desde el que aprobar. El bajo uso de una anulación no demuestra que no sea necesaria; existe para las salidas que un revisor debe rechazar. Restaure una forma efectiva de rechazar, anular o revertir la salida, y la ruta de escalación si esa es la forma en que se bloquea una decisión. Si el sistema es de alto riesgo y está dentro del ámbito de aplicación es algo que debe evaluar usted mismo.
La supervisión se verifica como una capacidad, no como una afirmación.
La conformidad para un sistema de alto riesgo cubre sus medidas de supervisión humana: la documentación técnica describe cómo una persona puede supervisar el sistema e intervenir, y el sistema implementado debe proporcionar realmente esos medios. Un cambio que elimine la acción de anulación, el control de detención o la información que el revisor necesita hace que el sistema en funcionamiento se desvíe de la supervisión descrita en la documentación, y esto es visible en el diff de la superficie de revisión u operador.
Una revisión, no su proceso de supervisión.
heygrc marca los cambios que afectan al Art. 14 y cita el artículo para que la corrección se realice en la solicitud de extracción. No clasifica el nivel de riesgo de su sistema, no gestiona su cola de revisión ni ejecuta su evaluación de conformidad. Detecta el momento en que se elimina la forma en que el humano puede intervenir, en el diff.