heygrc
Field notesthe heygrc team

The EU AI Act is a code review, whether you like it or not

For high-risk AI systems, the Act's obligations are not policy. They are properties of the running system, decided in a diff.

Het is verleidelijk om de EU AI Act als een documentatieoefening te behandelen: een risicoclassificatie, een conformiteitsdossier, een map met beleidsdocumenten. Voor de systemen die het als hoogrisico classificeert, is een echt deel ervan helemaal geen documentatie. Het gaat erom of het draaiende systeem zijn gebeurtenissen logt, een mens in de lus houdt en zijn nauwkeurigheid en robuustheid behoudt, en al deze drie worden in code bepaald.

Wat betekent dat een normale pull request je uit conformiteit kan halen, en het beleids-PDF dat niet zal opmerken.

Welke verplichtingen leven in de diff

Verschillende van de hoogrisicoverplichtingen zijn eigenschappen van de build, niet van de binder. Artikel 12 (registratieplicht) vereist automatische logging van de gebeurtenissen van het systeem gedurende de levensduur ervan. Artikel 14 (menselijk toezicht) vereist een effectieve manier voor een persoon om in te grijpen. Artikel 10 (data en databeheer) dekt de kwaliteit en governance van trainings-, validatie- en testdata. Artikel 15 (nauwkeurigheid, robuustheid en cybersecurity) dekt de beveiligingsmaatregelen die het systeem meegeleverd worden. Elk van deze kan worden versterkt of verzwakt door een enkele wijziging, en de pagina over hoe elk van deze verschijnt, staat in de framework-opsplitsing.

De wijziging die toezicht verwijdert

Overweeg een hoogrisicobeslissing die voorheen in de wachtrij stond voor menselijke beoordeling. Een wijziging versnelt dit door de uitvoer van het model automatisch te bevestigen boven een vertrouwensscore. Het is een redelijke prestatieoptimalisatie. Het verwijdert ook de stap waarbij een persoon kon ingrijpen voordat de beslissing van kracht werd.

decisions/eligibility.ts+1 -1
const result = await model.score(application)-  return queueForHumanReview(result)+  if (result.confidence > 0.8) return autoDecide(result)  return queueForHumanReview(result)
heygrcEU AI Act Art. 14

Voor een hoogrisicobeslissing is een vertrouwensdrempel op zichzelf niet de effectieve menselijke toezicht waar Artikel 14 om vraagt. Het verwijderen van de geconfigureerde menselijke beoordelingsroute kan de toezichtmaatregel tenietdoen, tenzij er een andere effectieve manier blijft om in te grijpen of te overschrijven. Houd een echte route aan voor een persoon om in te grijpen, of koppel de automatische beslissing aan een beoordelbare, gedocumenteerde controle.

Het beleids-PDF zal je niet redden

Conformiteit wordt beoordeeld op basis van het systeem, niet op basis van het document dat het beschrijft. Een wijziging die de logverplichting van Artikel 12 of het toezicht van Artikel 14 verwijdert, brengt het actieve systeem buiten de lijn met het bestand dat je hebt samengesteld, en het bestand weet niet dat de wijziging heeft plaatsgevonden.

Of een gegeven systeem hoogrisico is en binnen de scope valt, is een beoordeling die je zelf moet maken, heygrc classificeert je systeem niet voor je. Maar zodra je weet dat een verplichting van toepassing is, wordt deze afgedwongen bij de commit, niet bij het beleids-PDF, en daar is heygrc op gebouwd om de wijziging te controleren tegen het artikel dat het raakt.

eu-ai-actai-systemscode-reviewregulation