Antwoord schriftelijke vragen : Antwoord op vragen van de leden Kathmann en Mutluer over het onbetrouwbare algoritme dat jongeren als crimineel bestempelt
Vragen van de leden Kathmann en Mutluer (beiden GroenLinks-PvdA) aan de Minister van Justitie en Veiligheid en de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelatie over het onbetrouwbare algoritme dat jongeren als crimineel bestempelt (ingezonden 24 januari 2025).
Antwoord van Staatssecretaris Struycken (Justitie en Veiligheid), mede namens de Staatssecretaris
van Binnenlandse Zaken en Koninkrijksrelaties (ontvangen 6 maart 2025). Zie ook Aanhangsel
Handelingen, vergaderjaar 2024–2025, nr. 1296.
Vraag 1
Bent u bekend met het bericht «Onbetrouwbaar algoritme bestempelt jongeren als toekomstig
crimineel» (Follow the Money, 20 januari)?1
Antwoord 1
Ja.
Vraag 2
Kunt u volledig uitleggen wat het doel en de functie is van het Preselect Recidive-algoritme?
Hoe hangt dit samen met andere risicotaxatie-instrumenten?
Antwoord 2
Met het risicotaxatie-instrument Preselect Recidive wordt van jongeren die door de
politie als verdachte worden verhoord een eerste inschatting gemaakt van het risico
op herhaling. Deze inschatting wordt gemaakt met behulp van een wetenschappelijk gevalideerd
analysemodel met informatie die bekend is bij de politie. In dit model zitten variabelen
als eerdere politiecontacten, gepleegde delict(en) en leeftijd en geslacht van de
jongere. De uitkomst van de Preselect Recidive wordt gebruikt bij de afweging in het
zogenaamde afstemmingsoverleg «ZSM» ten aanzien van de vraag of verdere risicotaxatie
voor de jongere noodzakelijk is. Er is bij de toepassing van de Preselect Recidive
dus altijd sprake van een besluit door mensen, niet door een algoritme, waarbij ook
andere informatie over de jongere wordt gebruikt. In het artikel van Follow the Money wordt de indruk gewekt dat de uitkomst van dit instrument bepalend is voor het vervolgtraject
van een jeugdige verdachte. Dit is niet het geval. Het instrument wordt meegewogen
bij de vraag of verdere risicotaxatie voor de jongere nodig is.
Voor een verdere toelichting op het doel en de functie van risicotaxatie-instrumenten
in het algemeen en van de Preselect Recidive in het bijzonder, verwijs ik naar de
brief van 6 maart 2025, waarin ik op verzoek van de vaste commissie voor Justitie
en Veiligheid een reactie heb gegeven op het artikel van Follow the Money.In het antwoord op vraag 3 ga ik in op andere risicotaxatie-instrumenten en de samenhang
met de Preselect Recidive.
Vraag 3
Welke soortgelijke instrumenten worden ook ingezet in de jeugdstrafrechtketen? Kunt
u toelichten welke rol deze spelen, de relevante documentatie delen, en de systemen
opnemen in het Algoritmeregister?
Antwoord 3
Diverse risicotaxatie-instrumenten uit de jeugdstrafrechtketen zijn gebundeld in het
Landelijk Instrumentarium Jeugdstrafrechtketen (LIJ). Het gaat daarbij, naast de Preselect
Recidive, om de volgende instrumenten:
– Halt-signaleringsinstrument.Het Halt-signaleringsinstrument (Halt-SI) wordt door Halt ingezet om een zo compleet
mogelijk beeld te krijgen van de jongere en diens omstandigheden. De uitkomsten geven
inzicht in het recidiverisico, risicofactoren voor recidive en een eventueel zorgelijke
psychosociale ontwikkeling bij een jongere. De uitkomst wordt gebruikt om vast te
stellen of doorverwijzing naar hulpverlening nodig is en om te bepalen welke modules
en leeropdrachten ingezet moeten worden.
– Ritax.Met behulp van de Ritax wordt het Dynamisch Risico Profiel (DRP) in kaart gebracht.
Dit risicoprofiel geeft een overzicht van de dynamische risico- en beschermende factoren
die van invloed zijn op de kans dat de jongere opnieuw met politie en justitie in
aanraking komt. Door de Raad voor de Kinderbescherming wordt Ritax gebruikt om een
advies te formuleren ten aanzien van het vervolgtraject van een jeugdige verdachte.
Aan de hand van het DRP kan worden onderzocht of schorsing van de voorlopige hechtenis
van de jongere mogelijk is. Ook kan bekeken worden welke gedragsinterventie of jeugdreclasseringstoezicht
passend is. De jeugdreclassering gebruikt de Ritax voor het opstellen van een plan
van aanpak voor de jongere, een tussenevaluatie en een eindevaluatie.
– Module Zorg. De Module Zorg is onderdeel van de Ritax. Naast het inschatten van relevante risico-
en beschermende factoren, worden in de Module Zorg signalen van zorgwekkende opgroei-
en opvoedsituaties in kaart gebracht. De Module Zorg heeft een signaalfunctie voor
ketenpartners.
Een uitgebreide omschrijving van de inhoud en werking van de verschillende instrumenten
is te vinden in de Handleiding LIJ (zie bijlage 1).
Een van de doelstellingen van het LIJ als geheel is informatiedeling en een eenduidige
werkwijze van ketenpartners. Ketenpartners bouwen waar mogelijk voort op informatie
die al eerder in de keten verzameld is. Dit scheelt tijd en voorkomt dat jongeren
en ouders steeds weer dezelfde vragen moeten beantwoorden.
Er zijn Rijksbrede afspraken om eind 2025 ten minste alle hoog risico AI-systemen
in het Algoritmeregister te publiceren. Ik wil transparant zijn over de risicotaxatie-instrumenten
uit de jeugdstrafrechtketen en deze in het Algoritmeregister publiceren. De Ritax,
het meest uitgebreide instrument uit het LIJ, is in 2023 door de Raad voor de Kinderbescherming
opgenomen in het Algoritmeregister. Deze publicatie wordt voor eind 2025 aangevuld
met de aanvullende Module Zorg. De Politie voert de Preselect Recidive in 2025 op
in het Algoritmeregister. Voor Halt-SI wordt door JenV, in samenwerking met Halt,
bezien of dit een hoog risico of impactvol algoritme betreft. Indien dit het geval
is worden met Halt afspraken gemaakt over opname in het Algoritmeregister in 2025.
Vraag 4
Hoe worden het Dynamisch Risico Profiel (DRP) en het Algemeen Recidive Risico (ARR)
berekend? Welke rol spelen deze profielen in het jeugdrecht?
Antwoord 4
Het Algemeen Recidive Risico
Het ARR is de uitkomst van het instrument Preselect Recidive. Het ARR geeft de geschatte
kans dat een jongere opnieuw met politie en justitie in aanraking komt vanwege het
plegen van een delict. Voor het vaststellen van het ARR («laag», «midden» of «hoog»)
wordt gebruik gemaakt van statische (onveranderbare) risicofactoren. De variabelen
uit het model zijn te vinden in hoofdstuk 3 van de Handleiding LIJ, deze wordt voor
de volledigheid meegezonden (zie bijlage 1).
Het ARR wordt gebruikt bij de afweging in het zogenaamde afstemmingsoverleg ZSM ten
aanzien van de vraag of verdere risicotaxatie voor de jongere noodzakelijk is. Naast
het gepleegde delict en het ARR wordt hierbij ook gebruik gemaakt van andere informatie
over de jongere die op dat moment bij de ketenpartners bekend is. Het ARR is daarmee
altijd ondersteunend aan menselijke besluitvorming. De rol van de Preselect Recidive
en het ARR in de jeugdstrafrechtketen wordt toegelicht in de beantwoording van vraag
17, in de genoemde brief van 6 maart 2025 en de Handleiding LIJ (bijlage 1).
Het Dynamisch Risico Profiel
Het DRP is de uitkomst van de Ritax en wordt berekend door een optelsom van risico-
en beschermende factoren van een jongere, gemeten op negen (leef)domeinen, zoals gezin,
geestelijke gezondheid en agressie. Ieder domein kent diverse items, waarbij de professional
vraagt naar onderwerpen zoals «Ernst/heftigheid van conflicten tussen gezinsleden»,
«Stemming» en «Meldingen van gewelddadig gedrag». De totaalscores per domein (domeinscore)
worden berekend door de scores van de verschillende items uit de betreffende domeinen
bij elkaar op te tellen. Het DRP vormt samen met het ARR een indicator om toe te leiden
naar passende interventies die door de Raad voor de Kinderbescherming of de Jeugdreclassering
worden geadviseerd aan OM, de rechter en/of ten behoeve van het plan van aanpak voor
toezicht en begeleiding van de Jeugdreclassering.
Voor een verdere uitleg over de berekening van het DRP verwijs ik u naar de Handleiding
LIJ die voor de volledigheid wordt meegezonden (bijlage 1). De rol van de Ritax en
het DRP in de jeugdstrafrechtketen wordt toegelicht onder vraag 3.
Vraag 5
Klopt het dat u overwogen hebt Preselect uit werking te nemen? Waarom heeft het gebruik
van het algoritme toch doorgang gevonden? Geldt dit ook voor soortgelijke instrumenten?
Antwoord 5
Ten tijde van oplevering van het meeste recente validatieonderzoek (2023), is met
ketenpartners besproken of het instrument nog voldoende betrouwbaar was voor toepassing
in de praktijk. Destijds is geconcludeerd dat dit het geval was. Wel werd van belang
geacht dat doorontwikkeling zo snel mogelijk plaatsvindt vanwege een afname in de
voorspelkracht (zie vraag 27 voor een toelichting op het doorontwikkeltraject van
de Preselect Recidive). Voor deze afweging is onder meer gekeken naar de impact op
de jeugdstrafrechtketen, en daarmee de jongeren, indien het instrument tijdelijk niet
meer gebruikt wordt en het voldoen aan de geldende wet- en regelgeving rondom toepassing
van dergelijke instrumenten. Ook de afgenomen voorspelkracht van het instrument is
meegewogen. Aangezien deze nog steeds acceptabel is volgens internationale standaarden,
is geoordeeld dat het instrument nog steeds van meerwaarde is voor de praktijk (zie
toelichting in de alinea hieronder over het gestructureerd professioneel oordeel).
In de eerder genoemde brief van 6 maart 2025 beschrijf ik daarnaast dat de huidige
versie van Preselect Recidive grotendeels voldoet aan de vijf voorwaarden zoals gesteld
door de Autoriteit Persoonsgegevens (AP) en hierdoor nog op een verantwoorde wijze
kan worden gebruikt tot de nieuwe versie wordt ingevoerd. In de afweging om de Preselect
Recidive te blijven gebruiken wordt ook de waarde van dit instrument voor de praktijk
meegenomen. Uit onderzoek blijkt namelijk dat een voorspelling op basis van een gestructureerd
professioneel oordeel (een combinatie van de professionele blik en een instrument)
beter is dan een voorspelling op basis van een ongestructureerde klinische blik (zie
vraag 17). Zonder een instrument ontstaat er een risico op tunnelvisie, waarmee de
rechtsgelijkheid in het geding komt.
Voor de overige instrumenten van het LIJ wordt ook periodiek een validatieonderzoek
uitgevoerd. Indien de resultaten van deze onderzoeken hier aanleiding toe geven, of
wijzigingen in wet- en regelgeving, worden de instrumenten herzien.
Vraag 6
Waaruit blijkt dat Preselect voldoet aan wetenschappelijke normen en betrouwbaar genoeg
is om gebruikt te worden in besluitvorming die kwetsbare jongeren aangaat?
Antwoord 6
Wetenschappelijke normen voor risicotaxatie-instrumenten kunnen betrekking hebben
op: (a) theoretische onderbouwing, (b) betrouwbaarheid en (c) de predictieve validiteit.
a. Preselect Recidive heeft een stevige theoretische basis: de variabelen die onderdeel
uitmaken van het instrument zijn ruimschoots theoretisch en empirisch onderbouwd in
de wetenschappelijke literatuur.2
b. De betrouwbaarheid van instrumenten kan afnemen door een verschil in inschatting tussen
personen die het instrument hanteren. Dit speelt niet bij de Preselect Recidive omdat
dit instrument automatisch vanuit de politiesystemen gevuld wordt. De uitkomst van
de Preselect Recidive wordt wel met betekenisvolle menselijke tussenkomst toegepast.
c. De predictieve validiteit van een instrument heeft betrekking op hoe vaak een juiste
voorspelling wordt gemaakt met een instrument. De predictieve validiteit van Preselect
Recidive is in meerdere studies onderzocht en is vergelijkbaar met instrumenten die
wereldwijd worden ingezet. De predictieve validiteit van de Preselect Recidive was
bij ontwikkeling hoog volgens internationale standaarden.3 In het laatste validatieonderzoek was dit acceptabel, en daarmee één van de redenen
voor doorontwikkeling (zie het antwoord vraag 27).
Vraag 7
Kunt u alle documentatie over de ontwikkeling, technische werking en toepassing van
dit algoritme delen met de Kamer?
Antwoord 7
Ik verwijs naar de Handleiding LIJ in bijlage 1. Hierin staat de ontwikkeling/opbouw,
werking en toepassing van het algoritme beschreven (hoofdstuk 1 en 3).
Daarnaast verwijs ik naar diverse publicaties van Van der Put (Universiteit van Amsterdam).
In deze publicaties staat de (statistische) ontwikkeling van de Preselect Recidive
uitgewerkt:
– Van der Put, C. E (2012). Preselect Recidive.4
– van der Put, C. E. (2014). Youth actuarial risk assessment tool (Y-ARAT) the development
of an actuarial risk assessment instrument for predicting general offense recidivism
on the basis of police records. Assessment, 21(3), 340–351.5
– Van der Put, C.E. (2015). Ontwikkeling en validatie Preselect Recidive. Beschikbaar
via:6
– Van der Put, C.E. (2023). Validatie Preselect Recidive.7
Vraag 8
Is er een Privacy Impact Assessment (PIA) uitgevoerd voor het gebruik van Preselect?
Wat waren de resultaten van deze PIA en is daar opvolging aan gegeven? Wanneer is
voor het laatst een PIA uitgevoerd op Preselect en wanneer is de eerstvolgende PIA
voorzien?
Antwoord 8
In 2025 wordt een gegevensbeschermingseffectbeoordeling (GEB/DPIA) uitgevoerd, als
onderdeel van het implementatieproces van de herziene Preselect Recidive. Zie ook
het antwoord op vraag 27 voor een toelichting op de herziening van de Preselect Recidive.
Eerder is nog geen (D)PIA uitgevoerd voor de Preselect Recidive. De risicotaxatie-instrumenten
die de politie gebruikt zijn ten tijde van ingebruikname getoetst in het kader van
de toen geldende wettelijke privacykaders. De Preselect Recidive dateert uit 2013.
Een (D)PIA, sinds 2018 verplicht, wordt door politie uitgevoerd in geval van de ingebruikname
van een nieuw of vernieuwd instrument. De politie heeft in 2023 wel een toets gedaan
op de kwaliteit van bronnen die gebruikt worden voor hun risicotaxatie-instrumenten
in brede zin. Hier kwamen geen onregelmatigheden uit naar voren die aanleiding gaven
tot aanpassing van de Preselect Recidive.
Vraag 9
Welke instanties maken gebruik van Preselect? Kunt u per instantie uitleggen met welk
doel het algoritme wordt toegepast?
Antwoord 9
Ik verwijs u naar mijn antwoord op vraag 3 en de genoemde brief van 6 maart 2025.
Vraag 10
Hoe zorgt u ervoor dat instanties die Preselect momenteel gebruiken om voorspellende
lijsten met verdachte jongeren op te stellen, deze werkwijze zo snel mogelijk stopzetten?
Antwoord 10
Preselect Recidive is ontwikkeld om in te schatten of aanvullende risicotaxatie nodig
is voor een jeugdige verdachte in het strafrecht. De Preselect Recidive mag uitsluitend
gebruikt worden op het ZSM-overleg en niet voor andere doeleinden. Waar eerder in
de praktijk is gesignaleerd dat risicotaxatie-instrumenten of scores werden hergebruikt
of toegepast in niet daarvoor bedoelde processen, zijn door de politie maatregelen
genomen om dit te stoppen. Met politie worden periodiek overleggen gevoerd over onder
andere de juiste toepassing van de Preselect Recidive.
Vraag 11
Is er één standaard vastgesteld voor het verantwoorde gebruik van Preselect? Zo ja,
kunt u deze delen? Zo niet, kunt u deze zo snel mogelijk ontwikkelen?
Antwoord 11
Ja, er is één standaard vastgesteld voor het verantwoorde gebruik van de Preselect
Recidive. Ik verwijs u naar de Handleiding LIJ (bijlage 1) voor een gedetailleerde
beschrijving.
Vraag 12
Op basis van welke factoren berekent Preselect een score voor jongeren? Kunt u een
lijst maken van alle bronnen die het algoritme raadpleegt?
Antwoord 12
De Preselect Recidive wordt gevuld op basis van het landelijke bedrijfsprocessensysteem
van de Politie (BVI). Hieruit wordt informatie gehaald zoals het totaal aantal incidenten
waarbij de jongere de rol van verdachte heeft, de leeftijd van de jongere ten tijde
van het eerste delict en het totaal aantal incidenten waarbij de jongere de rol van
betrokkene heeft. Voor een volledig overzicht verwijs ik u naar hoofdstuk 3 van de
Handleiding LIJ.
Vraag 13
Worden registraties van verdenkingen die nooit zijn bewezen of hebben geleid tot vrijspraak
ook meegerekend in de risicoscore van een jongere?
Antwoord 13
Bij een sepot onterecht verdachte of vrijspraak wordt de registratie niet meer meegerekend in de risicoscore van de
jongere. Tevens worden registraties die ouder zijn dan vijf jaar verwijderd (conform
artikel 8, zesde lid Wet politiegegevens) en hierdoor niet meegenomen in de berekening.
Vraag 14
Hoe voorkomt u dat er ongelijke behandeling plaatsvindt bij hetzelfde misdrijf door
het gebruik van het algoritme?
Antwoord 14
Met de Preselect Recidive wordt op basis van een wetenschappelijk getoetst en genormeerd
model een inschatting gemaakt of verdere risicotaxatie noodzakelijk is bij de jeugdige
verdachte. Deze inschatting wordt gemaakt op basis van diverse factoren uit het politieregistratiesysteem
(zie hoofdstuk 3 van de Handleiding LIJ voor de lijst met variabelen). Bij jongeren
die eenzelfde delict plegen, maar op andere variabelen die voorspellend zijn voor
recidive anders scoren (bijvoorbeeld het aantal eerdere registraties van de betreffende
jongere in de rol van verdachte), volgt mogelijk een andere uitkomst van de Preselect
Recidive. Hierbij is er geen sprake van een ongelijke behandeling ten nadele van de
jongere, maar van een afweging over de meest passende interventie om het risico op
recidive te beperken. De afweging over het vervolg en het advies van de Preselect
Recidive hierbij is maatwerk, de uitkomst van het instrument is ondersteunend aan
menselijke beoordeling. Bovendien versterkt juist de combinatie van de professionele
blik en een objectief gestructureerd instrument een uniforme werkwijze en daarmee
gelijkere bejegening. De toepassing van een instrument verkleint de kans dat het eigen
interpretatiekader van professionals een (grote) rol speelt in het besluit over het
vervolgtraject van de jeugdige verdachte.
Vraag 15
Vindt u het terecht dat variabelen als «omstander» of «huisgenoot» als risicofactor
kunnen worden beschouwd in het Preselect-algoritme? Zo ja, kunt u aangeven hoe u dat
relateert aan het concept «afgeleide schuld»?
Antwoord 15
Als een ARR-score wordt opgesteld, dan is de jongere inmiddels zelf in de rol van
verdachte bekend bij politie. De Preselect Recidive wordt dus alleen afgenomen als
een jeugdige zelf verdacht wordt van een strafbaar feit. Daarnaast weten we uit de
wetenschappelijke literatuur dat blootstelling aan crimineel gedrag dan wel (ervaren)
druk om mee te participeren risicofactoren zijn voor recidive. Dat blijkt ook uit
onderzoeken uitgevoerd op politiegegevens. In het huidige model zijn deze variabelen
(aantal registraties rol betrokken («omstander») en aantal registraties medebewoners
rol verdachte («huisgenoot»)) opgenomen.
Voor de instrumenten van het LIJ wordt daarbij altijd kritisch gekeken naar de samenstelling
van de instrumenten. Indien blijkt dat variabelen uit het model achterwege gelaten
kunnen of moeten worden dan gebeurt dit ook. Voor alle variabelen uit het model wordt
dit heroverwogen in de doorontwikkeling van de Preselect Recidive. Daarbij wordt ook
afgewogen of er belangrijke informatie wordt gemist voor een passende behandeling.8
Het concept afgeleide schuld9 speelt hier geen rol: de Preselect Recidive geeft een advies over de noodzaak van
aanvullende risicotaxatie en niet over schuldbepaling dan wel de benodigde strafmaat.
Bovendien spelen variabelen als «omstander» of «huisgenoot» pas een rol als de jongere
zelf wordt verdacht van een strafbaar feit en de Preselect Recidive wordt toegepast.
Vraag 16
Op welke data is Preselect getraind? Is deze data zuiver en voldoende representatief?
Is er gecontroleerd voor (onbewuste en/of systematische) vooroordelen in de trainingsdata?
Antwoord 16
De Preselect Recidive maakt gebruik van statische (onveranderbare) risicofactoren.
Bij het bepalen van deze factoren is gebruik gemaakt van twee (willekeurige) steekproeven
in de data, waarbij de ene steekproef is gebruikt om Preselect Recidive op te ontwikkelen
en de andere steekproef om deze te valideren.10 Deze data zijn afkomstig uit het landelijke bedrijfsprocessensysteem van de politie
(BVI).
De kwaliteit van een dataset is altijd afhankelijk van de kwaliteit van ingevoerde
data. Dat is voor de Preselect Recidive niet anders dan voor andere instrumenten.
Pakkans en prevalentie van de doelgroep spelen ook een rol bij de representativiteit
van de data. Daarom worden instrumenten van het LIJ periodiek geëvalueerd en ook tussentijds
wordt continue afgewogen of er voldoende gerechtvaardigd belang en empirische onderbouwing
is van het model.
Vraag 17
Deelt u de zorgen dat een algoritme in grote mate sturend kan zijn voor de betrokken
(politie)medewerker die een casus beoordeelt? Hoe wordt waardevolle menselijke tussenkomst
gegarandeerd?
Antwoord 17
Ik begrijp de zorg want het instrument geeft inderdaad mede richting aan het besluit,
maar met betekenisvolle menselijke tussenkomst en het gebruik van diverse informatiebronnen
ondervangen we dat er automatische en eenzijdige besluitvorming plaatsvindt. Dat gebeurt
als volgt.
Betekenisvolle menselijke tussenkomst is een essentieel onderdeel in de opvolging
van de Preselect Recidive. De inschatting van laag, midden of hoog risico (het ARR)
is een van de informatiebronnen waar de het afstemmingsoverleg ZSM gebruik van maakt.
In dit overleg wordt met de diverse betrokken professionals door het Openbaar Ministerie
op basis van deze verschillende informatiebronnen besloten welk vervolg de jeugdige
verdachte krijgt. Uit onderzoek blijkt dat een voorspelling op basis van een gestructureerd
professioneel oordeel (een combinatie van de professionele blik en een instrument)
beter is dan een voorspelling op basis van een ongestructureerde klinische blik.11 Daarmee is de combinatie die op het ZSM-overleg wordt gehanteerd, namelijk een professioneel
oordeel aangevuld met de analyse door een instrument, een meer betrouwbare manier
waarop een besluit genomen kan worden dan uitsluitend op basis van het oordeel van
de professional.
Vraag 18
Met welke regelmaat wordt de werking en het gebruik van Preselect onafhankelijk doorgelicht?
Kunt u alle bij u bekende onderzoeken naar dit algoritme delen met de Kamer?
Antwoord 18
De doelstelling van het LIJ is om instrumenten eens in de vijf jaar te valideren.
Deze termijn biedt de mogelijkheid om tot voldoende respondenten (jongeren) te komen
waarbij het instrument is afgenomen, om vervolgens valide uitspraken te kunnen doen.
Ook wordt hiermee aangesloten bij de termijn van drie tot vijf jaar voor recidivemetingen,
zoals gehanteerd door het WODC en/of het CBS. Daarnaast worden alle instrumenten of
aanpassingen daaraan steeds voorgelegd aan een onafhankelijke toetsingscommissie.
Voor de Preselect Recidive heeft dit langer geduurd, vanwege vertraging in het leveren
van de benodigde data. Zie onder vraag 7 welke documenten ik hierover met u deel.
Vraag 19
Wat is het percentage valspositieven dat Preselect oplevert? Hoe vaak komt het voor
dat een jongere ten onrechte een te hoge of lage score wordt toebedeeld?
Antwoord 19
Het bepalen van valspositieven of -negatieven is complex, omdat:
– de Preselect Recidive geen «ja/nee» uitkomst heeft, maar een indeling in drie groepen
(laag, midden en hoog risico) aangezien ook voor de groep met een laag risico de inschatting
is dat er nog enige kans op recidive is, en;
– het bepalen van causaliteit ingewikkeld is omdat hiervoor gecontroleerd moet worden
voor een eventueel ingezette interventie.
De score wordt altijd bezien in het geheel van andere beschikbare informatie en heeft
geen één-op-één-relatie met de gekozen interventie. Aan de Preselect Recidive score
is geen direct gevolg gekoppeld; zie ook het antwoord op vraag 17.
Vraag 20
Waarom staat het algoritme niet opgenomen in het Algoritmeregister? Kunt u alsnog
het algoritme zo snel als mogelijk volledig transparant in het Algoritmeregister opnemen?
Antwoord 20
In 2025 registreert de politie het algoritme van de Preselect Recidive in het Algoritmeregister.
Vraag 21
Gaat u ouders, jongeren en jeugdrechtadvocaten voortaan altijd informeren als en hoe
Preselect is toegepast in de besluitvorming? Op welke termijn en op welke manier gaat
u dit doen?
Antwoord 21
Ja, dat zal ik in 2025 doorvoeren voor alle jongeren bij wie de Preselect Recidive
wordt afgenomen. Nu gebeurt dat al bij een deel van de jongeren, namelijk bij de jongeren
voor wie de Raad voor de Kinderbescherming een onderzoek doet. Ik wil voor deze ontwikkeling
aanhaken bij al bestaande voorzieningen om jongeren, ouder(s)/verzorger(s) en andere
betrokken zo laagdrempelig mogelijk te informeren.
Vraag 22
Bent u bereid om een inschatting te (laten) maken of jongeren onrechtmatig of incorrect
zijn geprofileerd door het gebruik van Preselect? Kunt u de eventuele gevolgen die
dit heeft gehad ook inschatten?
Antwoord 22
Door voor de instrumenten uit het LIJ periodiek te toetsen of aanpassing nodig is,
breng ik in kaart of de instrumenten werken zoals beoogd en voldoen aan wet- en regelgeving.
In het IAMA dat uitgevoerd wordt voor de herziene Preselect Recidive is bovendien
specifiek aandacht voor het naleven van de grondrechten en daarmee onder andere het
risico op profilering bij de inzet van algoritmes. Waar nodig stuur ik bij. Het is
echter inherent aan risicotaxatie-instrumenten dat deze geen perfecte schatting geven.
De Preselect Recidive wordt daarom nooit gebruikt als automatische doorverwijzing,
maar er is altijd sprake van betekenisvolle menselijke tussenkomst. Bovendien kan
er op verschillende momenten in de jeugdstrafrechtketen bijgestuurd worden indien
het ingezette traject toch te zwaar of te licht blijkt.12 Hiermee wordt ook voorzien in bijsturing op casusniveau. Een inschatting geven is
daarnaast complex, omdat de Preselect Recidive in de besluitvorming niet de enige
factor is die wordt meegewogen.
Vraag 23
Gaat u jongeren, ouders en jeugdrechtadvocaten in staat stellen om bezwaar te maken
als zij vermoeden dat het algoritme heeft geleid tot een verkeerde uitkomst?
Antwoord 23
Zoals ook is toegelicht in het antwoord op vraag 17, liggen verschillende informatiebronnen
ten grondslag aan de beslissing welk vervolg een jeugdige verdachte krijgt. Er is
dus geen besluitvorming op basis van enkel de uitkomst van de Preselect Recidive.
Ik zie daarom geen aanleiding om het bezwaar maken tegen een beslissing vanwege de
uitkomst van de Preselect Recidive mogelijk te maken.
Vraag 24
Deelt u de conclusie van de vier wetenschappers van de Radboud Universiteit dat «de
voorspellende waarde van Preselect beperkt [is] en voor jongeren riskante gevolgen
[kan] hebben»?
Antwoord 24
De voorspellende waarde van Preselect is vergelijkbaar met instrumenten die wereldwijd
worden toegepast om recidive te voorspellen; zie ook het antwoord op vraag 6. Omdat
de voorspellende waarde nooit perfect is, is de uitkomst van het instrument nooit
leidend. Preselect Recidive wordt gebruikt om te adviseren of aanvullende risicotaxatie
nodig is. Daarmee deel ik de conclusie niet dat dit riskante gevolgen kan hebben voor
een jeugdige verdachte, maar juist helpt te komen tot een goed passende interventie.
Vraag 25
Kunt u het onderzoek van de Universiteit van Amsterdam uit 2023, waaruit naar eigen
zeggen blijkt dat de voorspellende waarde van Preselect laag is, delen met de Kamer?
Antwoord 25
Ja, zie mijn antwoord op vraag 7 voor de gevraagde publicatie.
Vraag 26
Hoe is er opvolging gegeven om de tekortkomingen die de Algemene Rekenkamer in 2022
constateerde bij de inzet van algoritmes in het jeugdrecht? Zijn alle aanbevelingen
geïmplementeerd?13
14
Antwoord 26
Voor het antwoord op de vraag verwijs ik u naar het «Verantwoordingsonderzoek 2023
Ministerie van Justitie en Veiligheid» van de Algemene Rekenkamer.15 Hieruit is gebleken dat de aanbevelingen naar tevredenheid van de Algemene Rekenkamer
zijn opgevolgd en dat het aandachtspunt16 dat de Algemene Rekenkamer meegaf, is komen te vervallen. De aanbevelingen en vereisten
die hieruit naar voren kwamen, worden nu standaard meegenomen in de ontwikkeling rondom
alle instrumenten van het LIJ waaronder de Preselect Recidive.
Vraag 27
Op welke manier wordt Preselect nu doorontwikkeld? Kunt u de Kamer blijvend informeren
over het gebruik en de doorontwikkeling van het algoritme?
Antwoord 27
Voor de Preselect Recidive is het meest recente valideringsonderzoek in 2023 uitgevoerd.
Met dit onderzoek is getoetst of het instrument nog werkt zoals beoogd. Hieruit bleek
dat een aanpassing van het model zoals ontwikkeld in 2013 noodzakelijk was, vooral
op de volgende punten:
– het verhogen van de predictieve validiteit (voorspelkracht) door een aanpassing van
het onderliggend statistische model;
– het opnieuw inschatten van een juiste subgroep-indeling (wanneer wordt de kans op
recidive op laag, midden of hoog geschat), en;
– onderzoeken in hoeverre de variabelen uit het model nog (empirisch) verantwoord zijn.
Vervolgens heeft de Universiteit van Amsterdam in opdracht van mijn ministerie in
2024 een vervolgonderzoek uitgevoerd naar de benodigde aanpassingen. Dit onderzoek
dient als uitgangspunt voor de verbeteringen die in 2025 worden doorgevoerd, zoals
hierboven genoemd. Daartoe behoort het aanscherpen van de bestaande kwaliteitscyclus,
zoals de standaard periodieke evaluaties, het uitvoeren van een Data protection impact assessment (DPIA) en een Impact Assessment Mensenrechten en Algoritmes (IAMA), het herinrichten
van taken en verantwoordelijkheden en het verbeteren van de informatievoorziening
aan jongeren, ouder(s)/verzorger(s). Over de voortgang van de doorontwikkeling zal
ik de Kamer in de tweede helft van 2025 informeren.
Vraag 28
Kunt u deze vragen afzonderlijk van elkaar en zo spoedig mogelijk beantwoorden?
Antwoord 28
Met bovenstaande beantwoording verwacht ik aan uw verzoek te hebben voldaan.
Ondertekenaars
-
Eerste ondertekenaar
T.H.D. Struycken, staatssecretaris van Justitie en Veiligheid -
Mede namens
F.Z. Szabó, staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties
Bijlagen
Gerelateerde documenten
Hier vindt u documenten die gerelateerd zijn aan bovenstaand Kamerstuk.