Tags

Expert | Axel Arnbak is advocaat bij De Brauw Blackstone Westbroek, Expert/fd, 7-2-19

‘Hoe succesvoller wetenschap en technologie voortschrijden, hoe ondoorzichtiger en obscuurder zij worden’. Naarmate de tijd vordert, lijkt deze diepzinnige uitspraak van de Franse filosoof Bruno Latour, uit 1999, onze hypertechnologische wereld alsmaar beter te beschrijven. De kunstmatige intelligentie (AI) van zelflerende computersystemen destilleert opzienbarende inzichten uit gigantische bergen inputdata. Tegelijkertijd lukt het ontwikkelaars van AI-systemen en wetenschappers vaak niet om vooraf te voorspellen of achteraf te verklaren hoe zelflerende systemen zulke bovenmenselijke prestaties leveren. Sterker nog: steeds vaker hoor je dat uitlegbaarheid van de werking van AI-systemen aan gewone stervelingen een rem zou vormen op de voorspellende kracht van AI.’

De eerste zin: ‘Hoe succesvoller wetenschap en technologie voortschrijden, hoe ondoorzichtiger en obscuurder zij worden’ is zeker niet op voorhand juist te noemen, want waarom zou de vooruitgang van wetenschap en technologie ondoorzichtigheid en obscuriteit bevorderen of versterken? Dat is zeker geen vanzelfsprekendheid of automatisme. Het hangt namelijk van de mens zelf of van de programmeur af. Het meest voor de hand liggende argument is natuurlijk dat zowel wetenschappelijke vorming als technologische innovaties kunnen worden ‘vermarkt’ en dus winst en omzet kunnen opleveren en dat is ook het uitgesproken businessmodel van de sociale mediaindustrie. Zolang de wet- en regelgeving iets niet uitdrukkelijk verbieden blijf je met nieuwe technologie en dan met name algoritmen gewoon verdienen en zoveel mogelijk ook, want anders ben je een dief van je eigen (bedrijfs)portemonnee. Veel winst en omzet ‘scoren’ levert statuswinst op.

Een tweede kanttekening is natuurlijk dat wat kunstmatige intelligentie (AI) als zelflerend computersysteem helemaal geen zelflerend systeem is wat alles wordt in het brein ofwel harde schijf van het apparaat ingevoerd. Alleen patronenherkenning en zeker van een erg groot volume, kunnen machines veel sneller opsporen of vinden dat welke menselijke hersenen dan ook, maar dat heeft niets met (menselijke) intelligentie te maken aangezien intelligentie wordt gekenmerkt door kennisopnamecapaciteit en creatief verbanden – wat anders dan algoritmische patronen – kunnen leggen. Daarom is de naam of het woord kunstmatige intelligentie misleidend: een zelfstandig leervermogen is geen sprake want alle data worden ingebracht en de algoritme is alleen in staat om de trucjes die ontwikkeld (door de programmeur), getraind en dus op die wijze ingevoerd worden, uit te voeren. In geen enkele krant of aanverwant medium ben ik tegen voorbeelden aangelopen waarbij sprake zou kunnen zijn van ‘eigen’ op zichzelf staande intelligentie zoals de menselijke intelligentie autonoom kan functioneren als die mens een normale jeugd heeft meegemaakt waarbij de traditionele scholingsmogelijkheden zijn doorlopen.

Dat ‘van zelflerende computersystemen destilleert opzienbarende inzichten uit gigantische bergen inputdata’ is ook alleen te verklaren doordat menselijke hersenen niet in staat zijn om tot diezelfde inzichten te komen die de computer wel kan, want daarop zijn menselijke hersenen niet getraind (In Japan leren kinderen vandaag om alle kennis uit willekeurige boeken in zich op te nemen door alleen alle boeken in de handen te nemen en als een telefoonboek alle bladzijden te openen zoals je dat met de duim doet om snel naar de juiste eerste letter van een achternaam te zoeken. Waarom is die methode vermoedelijk geïntroduceerd op die Japanse scholen? Omdat ze klaarblijkelijk ontdekt hebben (ik kan geen link aanleveren want weer niet waar ik opname kan vinden die ik op tv heb gezien) en weet dat letters en zinnen (of hele teksten) energieën zijn die de dragers zijn van die kennis. Het klinkt wat hocuspokus achtig, maar daar kan ik ook niets aan doen. Je kunt je dus op die manier je veel sneller ontwikkelen dan dat je hele boeken zoals op school moet bestuderen of uit je hoofd te leren, maar binnen één middag de boeken in je handen vast te houden en de energie te leren voelen. Klaar is kees. Het heeft natuurlijk ook te maken met de gave van telepathie zoals dat vroeger in spionage werd aangeleerd zodat inbraken plegen niet meer nodig was. En dat soort ‘kunstjes’ kan een computer bijvoorbeeld niet.

Tot slot van deze eerste alinea, de laatste zin: ‘Sterker nog: steeds vaker hoor je dat uitlegbaarheid van de werking van AI-systemen aan gewone stervelingen een rem zou vormen op de voorspellende kracht van AI.’ Nou begrijp ik niet wat hier staat, maar ik weet dat zelf informatici geen uitleg kunnen geven omdat ze die techniek wel gevonden hebben, maar geen idee welke opbouw of systematiek er achter de schermen werkzaam zijn. Er wordt ook altijd een vergelijking gemaakt met artsen die ook niet kunnen uitleggen waarom het hart zo werkt als het wekt en hoe de hersenen precies werken. Dat hoort nog steeds tot de geheimen des levens en daarmee zullen we moeten (leren) leven.

Zwarte doos

Toch beginnen wetgevers en rechters het recht als werktuig te gebruiken om de ‘zwarte doos’ van technologie en wetenschap open te breken. De strenge Europese privacywet AVG en baanbrekende rechterlijke uitspraken verlangen transparantie van inputdata en uitlegbaarheid van besluiten die door machines worden genomen. Of het nu gaat om zelfrijdende auto’s, beleggingsbeslissingen of automatische gezichtsherkenning op straat, innovatie en recht liggen op ramkoers. In tegenstelling tot het veelgehoorde determinisme van ontwikkelaars en Latour – de technologie werkt nu eenmaal zo, dus vergeet het maar met je uitlegbaarheid – zal het recht uitlegbaarheid afdwingen. Althans, in Europa.

Met deze intentie om via AVG transparantie en uitlegbaarheid te bevorderen is de EU natuurlijk goed en nuttig bezig omdat iedereen meer transparantie wenst en niet privégegevens zomaar doorgesluisd wil zien naar commerciële bedrijven die er een slaatje uit willen slaan. Maar voorlopig zal het effect nul komma nul zijn omdat zelfs de programmeurs niet begrijpen hoe die technische mogelijkheden (van algoritmen) werken en waarom ze zo werken. Daarom kan ook geen mens tot heden uitleggen hoe het in elkaar zit. Maar de Amerikanen maken er geen probleem van omdat de bevolking begrijpt dat het een businessmodel te geworden waarmee het bbp sterk oploopt en voor China geldt dat de overheid en de ‘partij’ er hun voordeel mee halen omdat de controle over de bevolking en vooral op minderheidsgroepen op deze wijze gegarandeerd is (en wordt). De EU doet zou deze wedstrijd kunnen winnen door democratische waarden te accenturen maar ook proberen uit te vinden waarom die algoritmen zo werken zoals ze werken.

Dat innovatie en recht op ramkoers liggen is natuurlijk logisch omdat de burger niet van geheimzinnige zaken houdt en alles verklaarbaar moet zijn. Maar omdat ook de overheid en rechterlijke macht geen idee heeft wat ze met die zelfrijdende auto’s aan moeten, behalve dan juridisch vast te leggen waar de directe verantwoordelijkheden liggen – wat nog een enorme klus zal blijken te zijn – en wie dus aansprakelijk kan worden gesteld bij ongelukken. Maar als het gaat om algoritmen om het klimaat te beheersen of om een nieuwe wapenwedloop te verhinderen (door alle digitaal ingebouwde mogelijkheden van wapentuig onklaar te maken) of hoe armoede te bestrijden, dan heeft de overheid een machtig instrument om al die ‘zware dossiers’ effectief aan te pakken.

Sinds het bestaan van computers maken wetenschappers zich zorgen over de zwarte doos van technologie. De pionierende cyberneticus Ross Ashby ontwikkelde in 1956 het concept dat de mens weliswaar de input en de output van een machine kent, maar dat de interne werking steeds obscuurder wordt. Toch zijn de recente ontwikkelingen in AI wezenlijk anders. De algoritmes die in ‘machine learning’ liggen besloten zijn namelijk niet langer een reeks door mensen ontworpen regels die tot een besluit leiden, zoals software die automatisch checkt of persoonsgegevens op een uitkeringsaanvraag voorkomen in een databank met fraudeurs. Tegenwoordig herkent AI geheel zelf (‘deep learning’) of onder begeleiding (‘supervised machine learning’) patronen uit al die data. De zelflerende software zet die patronen vervolgens om in vaak onverklaarbare besluitvorming: de computer zegt ‘nee’, dus geen uitkering.

Nogmaals moet worden herhaald dat het concept dat de mens weliswaar de input en de output van een machine kent, maar dat de interne werking steeds obscuurder wordt, onjuist is omdat de aanname verkeerd is. Ook de mens en zelfs de programmeur kent de interne werking niet (zoals het genoemde voorbeeld van de arts die vol raadsels zit ten aanzien van de menselijke hersenwerking). Onze wetenschappelijke kennis schiet op dat vlak te kort, volledig te kort. Dat moet geaccepteerd worden, maar de huidige wetenschapper is bijna verslaafd geraakt aan de exponentiele ontwikkeling van groei op alle wetenschapsgebieden en denkt sluipenderwijs dat hij alles weet, maar dat is een illusie.

Een andere kanttekening kan geplaatst worden bij ‘Tegenwoordig herkent AI geheel zelf (‘deep learning’) of onder begeleiding (‘supervised machine learning’) patronen uit al die data afleidbaar zijn, maar daar geloof ik persoonlijk niets van. Van die ‘zelfherkenning’ kan alleen sprake zijn als daarvan al een precedent bestaat en anders niet. In een eerdere fase van ontwikkeling is dus al een verband gelegd dat voor de programmeurs of wetenschappers geheel nieuw waren en waar ze nooit aan gedacht hadden, omdat het in hun ogen een ‘toevallig’ resultaat was. Maar op dit vlak bestaat geen toeval (wanneer wel eigenlijk?) aangezien het geprogrammeerde denken van de computer heel anders werkt dan het menselijk denken, dat via geleerde kennis, creativiteit en logica werkt, en dat zijn onbekenden voor de computer. En daarmee is de cirkel rond.

‘Zelflerende software prefereert efficiency en optimalisatie boven rechtvaardigheid en twijfel’

Zelflerende software prefereert efficiency en optimalisatie boven rechtvaardigheid en twijfel. Dat kan controversiële en ongelijkheid versterkende beslissingen opleveren, zoals bij de geheime vrouwonvriendelijke AI-recruitmenttool van Amazon. Maar het kan ook levens redden. Neurowetenschappers publiceerden in ‘Nature’ (maart 2018) Nobelprijswaardig onderzoek, waarin zij zelflerende software loslieten op 1104 diagnoses van hersentumoren. De software ontdekte voorheen onbekende tumorsoorten én in 12,6% van de gevallen kwam de diagnose van de arts en machine niet overeen, waarvan in 92,8% van die gevallen de diagnose van de computer accurater was.

De eerste zin van deze alinea is een bevestiging van mijn voorafgaande stelling dat die beide werelden fundamenteel in denken verschillen. Daarom werkt de software alleen op basis van efficiency en optimalisatie zoals ook de schaakcomputer werkt, maar de mens werkt met emotie, rechtvaardigheid en twijfel, om van creativiteit maar te zwijgen. Fundamentele verschillen en daarom staan juristen ook vol vragen raadsels hoe de computer aan bepaalde uitkomsten komt, want dat valt niet na te trekken vanwege de andere ‘machinerie’ van die computer. Daarom zal – om een ander praktisch voorbeeld te noemen – de jurist of advocaat ook nooit adviezen of uitkomsten kunnen komen waartoe een zelflearning wetboekgetraind computer of robot zou kunnen komen. De jurist begrijpt niets van dergelijke uitkomsten. Maar artsen, zo las ik in NRC over medische algoritmen ook niet. Daarom kan volgens mijn logica de computerrobot nooit een specialist vervangen want die kent alleen patronen en oh wee als die computer wordt geconfronteerd met afwijkende patronen die hij nooit eerder heeft aangetroffen.
Dat betekent een automatisch ‘technisch knockout’. Hoezo de computer slimmer dan de mens? Haal je de koekoek.

De rest van voorgaande alinea lap ik dus ook aan mijn laars omdat ik inmiddels als buitenstaander wel weet dat alle conclusies zoals ‘92,8% van die gevallen de diagnose van de computer accurater’ zou zijn, ongeloofwaardig is want dan zijn verkeerde data gebruikt van andere patiënten. Het gaat immers steeds om bestaande data die alsnog in een heel andere setting van patiënten gebruikt. Zo worden op alle fronten van algoritmen nog erg veel fouten gemaakt. Iedere krantenlezer kan dat weten want er wordt gelukkig steeds meer over geschreven.

In dit tumorenonderzoek was sprake van ‘supervised machine learning’. ‘Deep learning’ gaat nog een stap verder. Dat wordt bijvoorbeeld toegepast bij beeldherkenning. Ontwikkelaars laten dan hun basisalgoritmes los op, zeg, tien miljard foto’s om personen of objecten te identificeren. De software is zo ontworpen dat de software zelf in fases de foto’s steeds specifieker classificert, van ruwe vormen tot op het niveau van beeldpixels. Aan het einde van de rit belooft de software bijvoorbeeld om voor de mens onherkenbare personen via AI alsnog te identificeren. Vanuit dit principe plaatst de Chinese overheid momenteel twee camera’s per inwoner(!), om zo permanente beeldherkenning van burgers te verkrijgen.

Ook hierbij worden veel fouten gemaakt vanwege het experimenteerstadium. En ook valt te lezen dat er nog tientallen jaren overheen gaan voordat betrouwbare informatie beschikbaar komt.

Onderzoekers van het bureau voor militaire technologie van het Amerikaanse leger, DARPA, stellen dat de voorspellende waarde van AI afneemt, als je deep learning software zo moet inrichten dat mensen de patroonherkenning kunnen begrijpen. Waar het Amerikaanse leger en de Chinese overheid nu nog ongecontroleerd hun gang kunnen gaan, overtreed je in Europa de wet.
De EU zit op dit vlak op de juiste koers.

Want als je in Europa geautomatiseerd persoonsgegevens analyseert, geeft privacywet AVG de betrokken persoon het recht op een verklaring van de systeemlogica en de mogelijkheid tot correctie en verwijdering van persoonsgegevens. En in een recente zaak over de geautomatiseerde WOZ-waardebepaling van een woning formuleerde de Hoge Raad een nu al historische nieuwe rechtsregel: bij zulke geautomatiseerde besluitvorming ‘moet het bestuursorgaan zorgdragen voor de inzichtelijkheid en controleerbaarheid van die keuzes, aannames en gegevens.’ DARPA voorzag al dat Amerikaanse technologie lastig te slijten zou zijn in Europa, dus heeft het in 2016 een reusachtig onderzoeksprogramma opgezet onder de titel ‘Explainable AI’. Het model van het winnende onderzoeksteam moet binnenkort klaar zijn, wordt in 2020 getest en moet in 2021 gereed zijn.

Heilige graal

Het verenigen van uitlegbaarheid en voorspelbaarheid is de heilige graal om AI en vooral deep learning te laten landen in de samenleving. Hierbij ligt de sleutel in het onderscheid tussen de testfase (vooraf niet uitlegbaar) en implementatie (achteraf wel verklaarbaar) en transparantie.

Zo is het maar net.

Hoe dat ook zij, twintig jaar na dato lijkt Latour’s uitspraak de toekomst van AI in China en de VS te voorspellen. Gelukkig biedt het recht in Europa bescherming tegen obscure AI.

Ik ben me bewust dat ik met deze blog tegen de mainstream inga, maar dat is niet mijn probleem. Ik kan nu een serie kanttekeningen plaatsen waartoe ik een jaar geleden nog niet in staat zou zijn geweest. Maar ik heb ook ontdekt dat de Nederlandse kwaliteitskranten gelukkig ons zo goed informeren dat het mogelijk blijkt te zijn om een logica in dit ‘veld’ van de algoritme te ontdekken waarmee het voor mij ook mogelijk was om door alle sciencefictionfilms (zoals ook The Matrix) heen te prikken. Mijn intuïtief bracht me tot de conclusie dat al die kassuccessen van Hollywood neerkwamen op volkomen foutieve fantasieën. We zijn bang gemaakt en met nuchter verstand kunnen we nu het nieuws en actualiteit beter volgen, en ons niet meer laten misleiden door het gevaar van algoritmen en de hele branche van AI/KI. En het is te gek voor woorden dat de tech-grootmachten zulke winsten weten te boeken door alle sluitwegen te bewandelen en zo zich aan normale wetgeving weten te onttrekken. Alle regeringen ter wereld zijn er ingestonken en bieden hen maximale ruimte om miljardairs te worden terwijl de aarde en vooral het arme deel crepeert. Hoe asociaal kun je het willen hebben?

[Axel Arnbak is advocaat bij De Brauw Blackstone Westbroek en onderzoeker aan het Instituut voor Informatierecht, Universiteit van Amsterdam. Reageer via expert@fd.nl]

https://fd.nl/opinie/1288367/recht-en-rechtspraak-waarborg-tegen-oncontroleerbare-kunstmatige-intelligentie

Advertisements