Istnieje tryb awarii, który niszczy automatycznych recenzentów, i nie polega on na pominięciu prawdziwego problemu. Polega na zgłaszaniu fałszywego. Pierwszy raz, gdy narzędzie informuje inżyniera, że jego zmiana jest niezgodna, a okazuje się, że to błąd, inżynier traci kilka minut. Drugi raz zaczyna podejrzewać narzędzie. Za piątym razem odrzuca jego komentarze z miejsca, w tym ten jeden, który był słuszny.
Dla recenzenta compliance to cała gra. Bot, który został zignorowany, nic nie wykryje, dlatego jedyną metryką, która ostatecznie się liczy, jest to, jak rzadko się myli.
Jeden fałszywy alarm kosztuje więcej, niż się wydaje
Fałszywy alarm nie kosztuje Cię jednego zignorowanego komentarza. Kosztuje Cię wiarygodność każdego kolejnego. Zaufanie do automatycznego recenzenta nie jest addytywne, to reputacja, a reputację łatwiej zniszczyć, niż zbudować. Recenzent, który myli się nawet w niewielkim stopniu, nie jest 'całkiem dobry'; to stałe źródło komentarzy, które uczą Twój zespół, by przestał je czytać.
Dlatego narzędzie compliance nie może traktować przywoływania (recall) jako głównego wskaźnika. Wykrywanie większej liczby problemów jest bezużyteczne, jeśli jest na tyle hałaśliwe, że ludzie je ignorują.
Compliance jest trudniejsze do zrobienia poprawnie niż błędy
Flaga błędu jest weryfikowalna: recenzent często może sprawdzić, czy kod jest błędny. Flaga compliance wymaga od recenzenta zaufania czemuś, czego nie widać bezpośrednio, czyli mapowaniu tej zmiany do kontroli w ramie. 'To wygląda na niezgodne' jest niezweryfikowalne, a zatem bezużyteczne; to rodzaj nieprecyzyjnego wyniku, który uczy ludzi ignorować narzędzie.
Jedyny sposób, by flaga compliance była weryfikowalna, to podanie dokładnej kontroli, na odpowiednim poziomie szczegółowości, aby inżynier mógł sprawdzić twierdzenie. Znalezisko, które wskazuje 'ISO 27001:2022 A.8.15', można sprawdzić i potwierdzić. Znalezisko, które mówi 'poprawia Twoją postawę compliance', nie da się zweryfikować i nigdy nie powinno zostać opublikowane.
Jak my o tym myślimy
Z tego wynikają dwa zobowiązania. Po pierwsze, każde znalezisko zgłoszone przez heygrc podaje konkretny punkt kontroli, aby było weryfikowalne, a nie opierało się na ogólnikach. Po drugie, stawiamy na precyzję, czyli to, jak rzadko znalezisko jest błędne, zamiast gonić za pozornym wskaźnikiem przywoływania, ponieważ recenzent compliance, który buduje zaufanie, jest wart więcej niż ten, który flaguje wszystko. Wolimy mówić mniej i mieć rację, niż flagować więcej i zostać zignorowani.
Hałasliwy recenzent compliance jest gorszy niż jego brak, ponieważ brak przynajmniej nie uczy Twojego zespołu ignorować kolejnego ostrzeżenia. heygrc został zbudowany, aby być cichy, precyzyjny i poprawny, i trzymamy się tego standardu.