Existe un modo de fallo que destruye a los revisores automatizados, y no es perderse un problema real. Es marcar uno falso. La primera vez que una herramienta le dice a un ingeniero que su cambio no cumple y está equivocada, el ingeniero pierde unos minutos. La segunda vez, empieza a sospechar de la herramienta. A la quinta, ignora sus comentarios por sistema, incluido el que tenía razón.
Para un revisor de cumplimiento, esto es el juego completo. Un bot que se silencia no detecta nada, así que la única métrica que realmente importa es con qué poca frecuencia se equivoca.
Un falso positivo es costoso de forma desproporcionada a su tamaño
Un falso positivo no te cuesta un comentario ignorado. Te cuesta la credibilidad de cada comentario posterior. La confianza en un revisor automatizado no es aditiva, es una reputación, y una reputación se destruye más rápido de lo que se construye. Un revisor que se equivoca aunque sea una pequeña fracción del tiempo no es 'bastante bueno'; es una fuente constante de comentarios que enseñan a tu equipo a dejar de leerlos.
Por eso una herramienta de cumplimiento no puede tratar la exhaustividad como la métrica principal. Detectar más no sirve de nada si el proceso es tan ruidoso que la gente lo ignora.
El cumplimiento es más difícil de aciertar que los errores
Un error marcado es verificable: el revisor suele poder ver si el código está mal. Un marcador de cumplimiento pide al revisor que confíe en una segunda cosa que no puede ver directamente: la correspondencia entre este cambio y un control en un marco de trabajo. 'Esto parece incumplir' no es verificable y, por lo tanto, no sirve; es el tipo de salida vaga que entrena a la gente para ignorar la herramienta.
La única forma de hacer que un marcador de cumplimiento sea verificable es citar el control exacto, con el nivel de detalle adecuado, para que el ingeniero pueda comprobar la afirmación. Un hallazgo que diga 'ISO 27001:2022 A.8.15' se puede buscar y confirmar. Un hallazgo que diga 'mejora tu postura de cumplimiento' no se puede, y nunca debería enviarse.
Cómo lo abordamos
Dos compromisos surgen de esto. Primero, cada hallazgo que heygrc genera nombra la cláusula de control específica, para que sea verificable en lugar de una suposición. Segundo, mantenemos el listón en la precisión, es decir, con qué poca frecuencia un hallazgo está mal, en lugar de perseguir una cifra de exhaustividad vanidosa, porque un revisor de cumplimiento que genera confianza vale más que uno que marca todo. Preferimos decir menos y tener razón que marcar más y ser ignorados.
Un revisor de cumplimiento ruidoso es peor que ninguno, porque al menos ninguno no entrena a tu equipo para ignorar la próxima advertencia. heygrc está construido para ser silencioso, específico y correcto, y lo mantenemos en ese estándar.