Tags

Stelling: Kortom, dataverwerking is alleen zinvol als hypotheses die verbanden proberen te bewijzen tussen interessante sociale verschijnselen in een – niet vergeten: aanwijsbaar! – logisch verband, gebaseerd op de vakliteratuur. Als – om een voorbeeld te noemen – algoritmes met vastgelegde data vanuit een totaal ander onderzoek geassocieerd worden ogenschijnlijk fraudegedrag, die nog niet getoetst en gecontroleerd zijn, zoals in de Toeslagencrisis, dan schiet je met die algoritmes als techniek niets op. Want dán worden verbanden gelegd die niet logischerwijs uit die literatuur ontwikkeld zijn en als onderzoekbaar mogen worden geopperd: dat kan alleen als wetenschappelijke hypotheses dat verband hebben aangebracht. Men met algoritmes alléén gaat maar wat aanrommelen; het effect daarvan werd zichtbaar door of tijdens de Toeslagenpraktijken. Onderstaande tekst laat dus niets zien van die traditionele maar geldige onderzoeksmethodiek.

Data aan de macht (Philip Droge, Futures/fd, 7-9-21)

Het is verleidelijk om de toekomst te voorspellen met algoritmes. Hoe erg is het wanneer we ons leven laten leiden door big data?

Slimme algoritmes

Kunstmatige intelligentie neemt ingrijpende besluiten in ons leven. Daarmee groeit de behoefte aan inzicht in die besluitvorming. Pagina 28

Facebook als goudmijn

Het sociale platform kent ons soms beter dan we ons zelf kennen. Onderzoekers doen er hun voordeel mee. Pagina 32

https://fd.nl/-/1407500/data-aan-de-macht-ggh1caRzkFzf

Ja, het maakt uit als we niet begrijpen hoe algoritmes werken ((John Zerilli, Tech en media, Futures/fd, 7 aug 

Moet je slimme algoritmes helemaal begrijpen voor je ze kunt inzetten? Nee, klinkt het in de wereld van big tech: zolang ze maar werken. Maar zo simpel is het niet, betoogt een Britse filosoof.

Je solliciteert naar een baan via een onlineportal en wordt gevraagd een recent cv te uploaden, maar krijgt al snel een e-mail dat ‘we de procedure met u helaas niet zullen voortzetten’. Je had er al een beetje rekening mee gehouden; het doet even pijn, maar na een paar dagen ben je wel over de teleurstelling heen.

Als je je toch afvraagt waarom je bent afgewezen, heb je aan één reden misschien niet gedacht: dat je uit de procedure bent gegooid door een algoritme dat zichzelf heeft geleerd om kandidaten te selecteren op geslacht, achternaam of etniciteit – met andere woorden, op factoren die niets met je geschiktheid voor die baan te maken hebben. Ook als je niet tot de mensen behoort die vrezen dat robots ooit de mensheid aan zich zullen onderwerpen, maakt dit kleine voorbeeld duidelijk dat de opkomst van machinelearning risico’s met zich meebrengt die zelfs de meest enthousiaste technologieadept zorgen zouden moeten baren.

Het systeem werkt als het ‘juiste’ adviezen geeft. Maar wat als er geen juist advies bestaat?

Moeilijk te doorgronden

Machinelearning, ook wel afgekort tot ML, is maar één vorm van kunstmatige intelligentie (AI), maar wel het gebied waarop momenteel het meest intensief onderzoek wordt gedaan. Eén variant, de zogeheten supervised ML, wordt al breed ingezet: bij personeelswerving, maar ook in het strafrecht en de strafrechthandhaving, bij kredietbeoordeling, dierenwelzijn, grenscontrole en immigratie, geneeskunde, fraudeopsporing, belastingontduiking, weersvoorspellingen — eigenlijk in iedere situatie waarin je de uitkomst graag wilt kunnen voorspellen.

*Het is geen kwestie van ‘moeilijk te doorgronden’, maar simpelweg helemaal fout wat er met die algoritmes allemaal is gebeurd.

ML leidt nu al vaak tot techno-utopische vergezichten en toekomstdromen, maar de meeste ML-systemen staan nog in de kinderschoenen. We zijn nog ver verwijderd van werkelijk intelligente machines — of het nu gaat om het uit elkaar kunnen houden van jonge poesjes of de ontwikkeling van ‘slimme’ beeldherkenningssystemen. Maar dat betekent niet dat we achterover kunnen leunen of de vele belangrijke keuzes kunnen ontwijken waar deze technologie ons nu al mee confronteert.

Iedere deskundige op dit gebied zal je vertellen dat de ‘redeneringen’ van ML-systemen per definitie moeilijk te doorgronden zijn, vooral die van de diepe neurale netwerken (DNN’s), een bijzondere groep ML-systemen, waarvoor de verwachtingen hooggespannen zijn. In het jargon van de ML-gemeenschap zijn het ‘black boxes’, mechanismen waarvan de werking, ook voor experts, adembenemend complex en ondoorgrondelijk is. Maar is dat een probleem? Moeten we ons zorgen maken over de ondoorgrondelijkheid van systemen die menselijke beslissingsprocessen automatiseren, als die systemen aanwijsbaar betere besluiten nemen dan wij: nauwkeuriger, minder bevooroordeeld, efficiënter?

*Soortgelijke onzin.

In de wereld van big tech hoor je vaak de volgende redenering: er zijn zo veel systemen die we niet helemaal begrijpen, maar wat maakt het uit als we er wat aan hebben? Het zou juist idioot zijn om eerst helemaal te willen begrijpen hoe iets werkt voordat je het gebruikt.

Dat geldt zeker in de geneeskunde, waar we van veel levensreddende geneesmiddelen vaak niet helemaal begrijpen waarom ze effectief zijn.

In het reliabilisme (een stroming binnen de kennisleer) zegt men dat een overtuiging — in dit geval dat de beslissing van een ML-systeem betrouwbaar is — gerechtvaardigd is als die overtuiging wordt ondersteund en gevormd door een betrouwbaar proces, zelfs als je niet kunt uitleggen waarom dat proces betrouwbaar is. Neem de juryrechtspraak: de beraadslaging van de jury is een black box (de juryleden hoeven hun persoonlijke beslissing aan niemand uit te leggen), maar men gaat ervan uit dat de juryuitspraak de uitkomst is van een betrouwbaar beraadslagingsproces, en dat die uitleg dus niet nodig is.

  • De mens zal altijd enigerlei vorm van uitleg over de beredenering willen

Rekenmachine

Vergelijk nu een gewone rekenmachine eens met een systeem dat het risico moet inschatten dat een veroordeelde crimineel na zijn straf terugvalt in crimineel gedrag, zoals in de Verenigde Staten veel wordt gebruikt. De uitkomsten van een rekenmachine zijn zo betrouwbaar dat het niet nodig lijkt om de werking ervan helemaal te begrijpen.

Bij de inschatting van het recidiverisico ligt dat totaal anders. Als dit instrument een gedetineerde tot ‘hoog risico’ bestempelt, zal de gedetineerde noch de reclassering daar vrede mee hebben als die geen inzicht heeft in de factoren die deze uitkomst hebben bepaald en in hoe die tegen elkaar zijn afgewogen. Dat komt doordat een dergelijke risico-inschatting per definitie onnauwkeurig is. Deze is de uitkomst van een berekening met een aantal statistische kansen, op basis van beperkte informatie van mogelijk matige kwaliteit, die geselecteerd is op basis van vooraf bepaalde, vastliggende waarden.

Maar als zo’n recidivekansberekening nu eens veel meer op een rekenmachine zou lijken? Stel dat er een onfeilbare recidivecalculator zou bestaan? Zouden we dan nog willen weten ‘hoe het werkt’?

Geen eenduidig juist advies

Om die vraag te beantwoorden moeten we dieper nadenken over de vraag wat we bedoelen met een ‘betrouwbaar’ geautomatiseerd besluitvormingssysteem. Het voor de hand liggende antwoord is dat zo’n systeem meestal ‘juiste’ adviezen geeft. Maar als er nu geen eenduidig juist advies bestaat? Als we hooguit kunnen hopen dat er één juiste manier bestaat om tot een advies te komen — één correcte manier om met een aantal gegevens om te gaan?

Dit doet zich vaak voor in het recht, de politiek en de ethiek. Daar leiden concurrerende waarden en ethische kaders vaak tot zeer uiteenlopende conclusies over de juiste handelwijze. Ondubbelzinnig juiste uitkomsten komen zelden voor; er bestaan alleen correcte manieren om ze te rechtvaardigen. Daarom is het praten over ‘betrouwbaarheid’ een dubieuze kwestie. Voor veel van de meest controversiële toepassingen van ML, met de ingrijpendste morele gevolgen, betekent het ‘weten’ dat een geautomatiseerd systeem goed werkt hooguit dat we de redenen voor de beslissingen van het systeem kennen en goed genoeg vinden.

Maar als er nu wél vraagstukken zijn waarop maar één antwoord mogelijk is? En als van een ML-systeem nu kan worden aangetoond dat het in bijna 100% van die gevallen de juiste beslissing neemt, hebben we die achterliggende verklaring dan nog nodig? Zou het ons dan uitmaken hóé het aan zijn antwoord komt, als het net als een rekenmachine altijd het juiste antwoord geeft?

Het is verleidelijk om te denken van niet, maar bij iets langer nadenken blijkt dat niet houdbaar. We accepteren de uitkomst van een rekenmachine niet klakkeloos omdat er maar één goed antwoord bestaat, maar omdat, welke achterliggende procedure het machientje ook toepast, er geen risico bestaat dat door de uitkomst een persoon onrechtvaardig wordt behandeld. Een rekenmachine kan geen antidiscriminatiewetgeving overtreden, haar bevoegdheid overschrijden of irrelevante factoren meewegen. Maar een orakelachtige recidivevoorspeller die correct uitrekent of iemand in aanvaring met de politie zal komen, kan dat toch doen op een manier die een persoon benadeelt.

Altijd vorm van uitleg

Ook als je denkt dat een ML-systeem het altijd bij het rechte eind heeft en altijd binnen de grenzen van de wet blijft, kan het nog op allerlei manieren mensen benadelen. Stel, je bent een hr-medewerker en moet met twee collega’s een nieuwe medewerker selecteren uit in totaal dertig sollicitanten. We nemen aan dat één kandidaat er met kop en schouders boven uitsteekt. Dan zou de sollicitatieprocedure die kandidaat uiteindelijk moeten selecteren.

Misschien verdeel je het werk als volgt: je verdeelt de dertig sollicitaties willekeurig in drie stapels van tien, geeft er een aan je beide collega’s en houdt de laatste voor jezelf. Ieder maakt een longlist van drie kandidaten. Daarna stellen jullie in overleg uit de gecombineerde longlist van negen kandidaten een shortlist van vijf samen. Er volgen sollicitatiegesprekken en de beste kandidaat krijgt de baan.

Bij een andere, omslachtiger methode beoordeelt iedere hr-medewerker alle dertig sollicitaties en maakt een longlist van vijf; dat leidt tot een gecombineerde longlist van vijf (als jullie het 100% eens zijn) tot vijftien (als jullie het totaal oneens zijn). We gaan ervan uit dat de topkandidaat bij ieder van jullie op de longlist staat; dan is er een gecombineerde longlist van maximaal dertien kandidaten. Daarna is de procedure hetzelfde — jullie maken een shortlist van vijf en na de sollicitatiegesprekken krijgt de beste kandidaat de baan. Dezelfde kandidaat die ook uit de kortere procedure zou zijn gekomen.

Beide procedures vormen een soort algoritme, en beide leiden tot een correcte uitkomst. Dus welk algoritme moet je kiezen? De snelle versie is verleidelijk, maar er is een probleem. Die is zeker sneller, maar procedureel oneerlijk. Stel dat in je eigen stapel toevallig de tien beste kandidaten zaten, onder wie de topkandidaat, en dat dus in de andere twee stapels de zwakkere broeders zaten. Het eerste algoritme zou zeven van de sterke kandidaten al in de longlistfase elimineren, maar de zwakkere juist in de procedure houden (want die zaten in de twee andere stapels). Op de shortlist van vijf staan waarschijnlijk drie kandidaten van jouw stapel goede kandidaten, maar de twee andere kandidaten zijn veel zwakker dan twee willekeurige andere die ook uit de ‘sterke’ stapel hadden kunnen komen. Dat betekent dat in het eerste algoritme de topkandidaat het in de gespreksronde opneemt tegen twee zwakke broeders, terwijl twee andere sterke zijn geëlimineerd. Er is iets misgegaan. Dat de topkandidaat toch zou hebben gewonnen, doet niet ter zake. Het gaat erom dat het eerste algoritme twee andere sterke kandidaten benadeelt.

Het lijkt me dat we allemaal heel graag willen weten hóé onze superslimme ML-systemen tot hun besluit komen, ongeacht hun voorspellende kracht en of ze zich aan de wet houden. Dat komt doordat de kans dat hun beslissingen ons benadelen niet wordt bepaald door gradaties van fouten of nauwkeurigheid. De mens zal altijd enigerlei vorm van uitleg over de beredenering willen.

[Auteur:

John Zerilli is filosoof, met als specialisatie cognitieve wetenschappen, kunstmatige intelligentie en recht. Bron: Aeon Vertaling: Hans Scholten]

CV John Zerilli

John Zerilli begon als advocaat, maar houdt zich tegenwoordig vooral bezig met kunstmatige intelligentie, computerwetenschap en de juridische en ethische uitdagingen van opkomende voorspellende technologieën. Hij publiceerde dit jaar het boek ‘A Citizen’s Guide to Artificial Intelligence’.

https://fd.nl/futures/1406225/ja-het-maakt-uit-als-we-niet-begrijpen-hoe-algoritmes-werken-hgh1caRzkFzf