De mens die nog steeds nee kan zeggen.
Artikel 14 is het artikel over menselijk toezicht binnen het high-risk regime. Het idee: een high-risk AI-systeem moet voorzien in echte middelen voor de personen die belast zijn met het toezicht, zodat zij hun werk kunnen doen, in verhouding tot het risico van het systeem en de mate van autonomie. Afhankelijk van het systeem kan dit betekenen: voldoende informatie om te beoordelen wat het systeem doet, een manier om een uitvoer af te wijzen of ongedaan te maken, en een manier om het veilig te onderbreken. Een beleid alleen kan dit niet bieden: de leverancier bouwt de maatregelen in het systeem in waar mogelijk, of identificeert ze voor de implementer om uit te voeren. Hoe dan ook, in een softwaresysteem belanden de review-wachtrij, de override-actie en de stopcontrole als code, en elk daarvan kan in een gewone pull request worden verwijderd terwijl het systeem blijft draaien.
The shapes the same control failure takes.
Menselijk toezicht verdwijnt zelden in één beslissing. Het erodeert door wijzigingen die elk als een redelijke vereenvoudiging lijken. De terugkerende patronen:
Een review-controlepunt wordt omzeild of automatisch bevestigd
Een beslissing die voor een persoon in de wachtrij stond, gaat nu vanzelf in werking, boven een vertrouwensdrempel of standaard. Als die poort de toezichtsmaatregel van het systeem was, is het punt waarop een persoon kon ingrijpen verdwenen.
Het override-pad wordt verwijderd
De reviewer kan beslissingen nog steeds zien, maar verliest de actie om een beslissing ongedaan te maken. De review-stap blijft bestaan, maar de mogelijkheid om in te grijpen verdwijnt stilletjes.
De stopcontrole wordt verwijderd
Een pauze-vlag, noodstop of uitschakel-endpoint wordt als ongebruikt verwijderd, zodat er geen manier meer is om het systeem veilig te onderbreken als het verkeerd functioneert.
Het toezichtoverzicht wordt blind
De interface toont niet langer wat de reviewer nodig heeft om een beslissing te beoordelen (de input, de modelversie, de onzekerheid), zodat de mens nog wel in de lus zit, maar alleen kan raden.
Review wordt verwaterd tot een rubberstempel
Een bulk-goedkeuringspad of een vooraf ingevulde bevestiging vervangt een review die een persoon betekenisvol kon uitvoeren, en versterkt zo de automatiseringsbias waar het artikel voor waarschuwt.
Een override-actie verwijderd als dode code.
De beslissingen van een screeningsmodel worden in een reviewer-console in de wachtrij gezet. Deze registry definieert de enige beslissingscontroles van de console, en de console is het toezichtoppervlak van het systeem: het sluiten van een review past de uitkomst toe. Reviewers bevestigen bijna altijd, dus een opschoning verwijdert de twee 'ongebruikte' acties om de console te vereenvoudigen. Elke beslissing wordt nog steeds beoordeeld. De enige actie die nu een review afsluit, past de uitvoer van het model toe.
export const REVIEWER_ACTIONS = { confirm: confirmDecision,- override: overrideDecision,- escalate: escalateToSenior,}Dit verwijdert de mogelijkheid van de reviewer om de uitvoer van het model ongedaan te maken: de review-stap blijft bestaan, maar de console heeft niet langer een pad om een beslissing af te wijzen, te overschrijven of ongedaan te maken, alleen om deze toe te passen. Art. 14 (menselijk toezicht) verwacht dat de persoon die toezicht houdt op een high-risk systeem een effectieve manier heeft om in te grijpen, niet alleen een plek om goedkeuring te geven. Weinig gebruik van een override toont niet aan dat deze niet nodig is; deze bestaat voor de uitvoeren die een reviewer moet afwijzen. Herstel een effectieve manier om de uitvoer af te wijzen, te overschrijven of ongedaan te maken, en het escalatiepad als dat de manier is waarop een beslissing wordt geblokkeerd. Of een systeem high-risk is en binnen de scope valt, is voor uw eigen beoordeling.
Toezicht wordt gecontroleerd als een functionaliteit, niet als een bewering.
Conformiteit voor een high-risk systeem omvat de maatregelen voor menselijk toezicht: de technische documentatie beschrijft hoe een persoon het systeem kan monitoren en ingrijpen, en het geleverde systeem moet deze middelen daadwerkelijk bieden. Een wijziging die de override-actie, de stopcontrole of de informatie die een reviewer nodig heeft verwijdert, zorgt ervoor dat het draaiende systeem afwijkt van het toezicht dat in de documentatie is beschreven, en dit is zichtbaar in de diff naar het review- of operatoroppervlak.
Een review, niet uw toezichtproces.
heygrc markeert wijzigingen die Art. 14 raken en verwijst naar het artikel, zodat de correctie in de pull request kan worden doorgevoerd. Het classificeert niet het risiconiveau van uw systeem, bemant niet uw review-wachtrij en voert geen conformiteitsbeoordeling uit. Het vangt het moment waarop de mogelijkheid van de mens om in te grijpen wordt verwijderd, in de diff.