Esiste un tipo di fallimento che distrugge i revisori automatici, e non è il mancato rilevamento di un problema reale. È la segnalazione di uno falso. La prima volta che uno strumento dice a un ingegnere che la sua modifica non è conforme e ha torto, l'ingegnere perde qualche minuto. La seconda volta, inizia a dubitare dello strumento. Alla quinta, ignora i suoi commenti a priori, compreso quello giusto.
Per un revisore di compliance, questo è l'intero gioco. Un bot silenziato non rileva nulla, quindi l'unica metrica che conta davvero è la frequenza con cui sbaglia.
Un falso positivo costa più di quanto sembri
Un falso positivo non ti costa un commento ignorato. Ti costa la credibilità di ogni commento successivo. La fiducia in un revisore automatico non è additiva, è una reputazione, e una reputazione si distrugge più in fretta di quanto si costruisca. Un revisore che sbaglia anche solo una piccola percentuale di volte non è 'abbastanza buono'; è una fonte costante di commenti che insegnano al tuo team a smettere di leggere.
Per questo uno strumento di compliance non può considerare il recall come la metrica principale. Rilevare di più non serve a nulla se il rilevamento è così rumoroso che le persone lo ignorano.
La compliance è più difficile da gestire rispetto ai bug
Una segnalazione di bug è verificabile: il revisore può spesso vedere se il codice è sbagliato. Una segnalazione di compliance chiede al revisore di fidarsi di una seconda cosa che non può vedere direttamente, cioè il collegamento tra questa modifica e un controllo in un framework. 'Questo sembra non conforme' non è verificabile e quindi inutile; è il tipo di output vago che abitua le persone a ignorare lo strumento.
L'unico modo per rendere una segnalazione di compliance verificabile è citare il controllo esatto, al giusto livello di dettaglio, in modo che l'ingegnere possa controllare l'affermazione. Un riscontro che dice 'ISO 27001:2022 A.8.15' può essere cercato e confermato. Un riscontro che dice 'migliora la tua postura di compliance' non può esserlo, e non dovrebbe mai essere distribuito.
Come la pensiamo noi
Da questa considerazione derivano due impegni. Primo, ogni riscontro segnalato da heygrc indica la clausola di controllo specifica, in modo che sia verificabile e non un'impressione. Secondo, manteniamo l'asticella sulla precisione, cioè la rarità con cui un riscontro è sbagliato, piuttosto che inseguire un numero di recall vanitoso, perché un revisore di compliance che costruisce fiducia vale più di uno che segnalava tutto. Preferiamo dire meno ed avere ragione che segnalare di più e essere ignorati.
Un revisore di compliance rumoroso è peggio di nessuno, perché almeno nessuno non abitua il tuo team a ignorare il prossimo avviso. heygrc è progettato per essere silenzioso, specifico e preciso, e lo teniamo a questo standard.