Oskar van der Wal is presenting, on July 15th in Seattle, our new work on

The Birth of Bias: : A case study on the evolution of gender bias in an English language model

Authors: Oskar van der Wal, Jaap Jumelet, Katrin Schulz & Willem Zuidema

Venue: Gender Bias workshop @NAACL.

Abstract:
Detecting and mitigating harmful biases in modern language models are widely recognized as crucial, open problems. In this paper, we take a step back and investigate how language models come to be biased in the first place. We use a relatively small language model, using the LSTM architecture trained on an English Wikipedia corpus. With full access to the data and to the model parameters as they change during every step while training, we can map in detail how the representation of gender develops, what patterns in the dataset drive this, and how the model’s internal state relates to the bias in a downstream task (semantic textual similarity). We find that the representation of gender is dynamic and identify different phases during training. Furthermore, we show that gender information is represented increasingly locally in the input embeddings of the model and that, as a consequence, debiasing these can be effective in reducing the downstream bias. Monitoring the training dynamics, allows us to detect an asymmetry in how the female and male gender are represented in the input embeddings. This is important, as it may cause naive mitigation strategies to introduce new undesirable biases. We discuss the relevance of the findings for mitigation strategies more generally and the prospects of generalizing our methods to larger language models, the Transformer architecture, other languages and other undesirable biases.

 

Full paper is here.
Blog post: here (latest version).

In: ILLC Magazine (13 december 2009)

Jelle Zuidema
Sometimes it is research that you completely disagree with that inspires you the most, especially if it is close to what you worked on yourself. In 2001, the journal Science published a paper titled “Evolution of Universal Grammar”, by mathematical biologists Martin Nowak and Natalia Komarova, together with computer scientist and linguist Partha Niyogi. The paper concerned mathematical models of language learning and evolution and showed, the authors claimed, that there must be quite detailed, innate knowledge of language for successful communication to be possible at all in a population. It strongly supported the nativist camp in the big debate in linguistics about whether and to what extent language is innate.

The math in the paper is very elegant – and it was a lot of fun to play around again with differential equations and bifurcations – but the problem with it, I found, is that the model is completely wrong. In the year following its publication, I spent a lot of time and energy in understanding where exactly it went awry. It is interesting to see how many people uncritically accept conclusions from papers with lots of math and the right rhetoric, even if very few of them, I am convinced, have actually bothered to go through the derivations.

For me, two earlier inspirations were crucial to discover the error in the Science paper. The first was the research of my MSc advisor, theoretical biologist Paulien Hogeweg. She always emphasized that in every model, implicit assumptions are made, and advocated a “multi-modelling” approach where one tries to design multiple models of the same empirical phenomenon. By comparing the behaviour of these different models, you often find surprising differences and discover hidden assumptions that you might want to reconsider. I think this is still an important message in cognitive science and linguistics, where too often researchers are too much in love with their own little models and fail to see the problematic assumptions hidden behind fancy notation.

The second inspiration was the work of my later PhD advisor, linguist Simon Kirby. He studied the first “iterated learning” models. His work helped me realize that language learning is a very special kind of learning problem, because the target of learning is not God-given, so to speak, but the result of the learning that occurred in earlier generations. That implies that the language that children need to learn reflects the learning biases of earlier generations of learners. This point may seem quite trivial, but it turns out that much of the formal work in learnability theory and many of the verbal arguments for the “poverty of stimulus” or “critical period” are put on their heads when you realize what it really means. By building a computational iterated learning model that closely resembled the mathematical model from the Science paper, and closely analyzing the quite different outcomes, I figured out that the error in the original paper was that it assumed a wrong upper bound.

I have moved on, of course – after spending perhaps a bit too much time on the nitty-gritty details of computational and mathematical models that few people really care about. One inspiration in the last few years stands out as a motivation for me to sometimes look up from such obscure modelling and consider the big questions instead, and that is Jared Diamond’s book Guns, Germs, and Steel , in which he describes how the enormous differences in power and technology between people on earth have come about since Homo Sapiens emerged in Africa. I have tried to make everybody I know read this book. It might be wrong in many details, but the overarching story is totally convincing to me; it showed me that sometimes it is research that you completely agree with that inspires you the most – but only if it is far beyond what you have worked on yourself.

References:
[1] J. Diamond. Guns, Germs, and Steel: The Fates of Human Societies , W.W. Norton & Company, 1997.
[2] S. Kirby. “Spontaneous Evolution of Linguistic Structure: An Iterated Learning Model of The Emergence of Regularity and Irregularity”, IEEE Transactions on Evolutionary Computation 5 (2): 102–110, 2001.
[3] J.D. van der Laan, L. Lhotka, and P. Hogeweg. “Sequential Predation: A Multi-Model Study”, Journal of Theoretical Biology 174 : 149-167, 1995.
[4] M.A. Nowak, N. Komarova, and P. Niyogi. “Evolution of Universal Grammar”, Science 291 : 114-118, 2001. Science 291: 114-118, 2001.

In: Nederland in Ideeën, 2019

Jelle Zuidema, Taaltechnoloog, cognitiewetenschapper, Universiteit van Amsterdam

Mijn zoon van 6 zit stevig in de waarom-fase. Waarom eten we we vanavond wéér sperziebonen? Maar waaróm moeten we ook af en toe groente eten? Maar waaróm zijn groente gezond? Waarom heeft mijn lijf vitamines nodig? Waarom is dat gewoon zo? Zo’n lawine van waarom-vragen leidt steevast terug naar waar hij begon: Maar pappa, waarom eten we vanavond sperziebonen?

 

Als ouder kan ik daar soms wanhopig van worden, maar voor mij als wetenschapper is ‘waarom’ waar het allemaal om draait. En voor mij als betrokken burger is de nieuwsgierigheid naar het waarom achter het waarom achter het waarom de sleutel tot het oplossen van de problemen van onze tijd.

 

De kranten staan bijvoorbeeld bol van berichten over het fenomeen “nepnieuws”, waarbij de wereld van de algoritmes – waarin ook ik mijn onderzoek doe – vaak als grote boosdoener en soms als redder in nood wordt gezien. Bij de stroom van berichten over nepnieuws denk ik vooral: er mogen wel wat meer vragen worden gesteld over de achterliggende redenen, en de redenen die daar weer achterliggen. Dus niet alleen: Waarom verspreiden en delen mensen nepnieuws, en waarom geloven mensen nepnieuws? Maar ook: Waarom vertrouwen mensen überhaupt op informatie uit de media? Waarom zijn journalisten over het algemeen betrouwbaar? Waarom is het van belang voor nieuwsorganisaties om betrouwbaar gevonden te worden?

 

Uiteindelijk leidt deze lawine van waarom-vragen tot reflectie op fundamentele vragen over de diersoort mens. Over waarom de mens in de evolutie op grote schaal is gaan communiceren via taal, waarom wij in ons dagelijks leven meestal gewoon de waarheid spreken, en waarom wij ook vrijwel altijd geloofd worden. Dat zijn vragen die op het eerste gezicht nogal academisch zijn, maar bij nadere beschouwing heel relevant voor het nadenken over oplossingen voor het nepnieuws-probleem.

 

In de antwoorden van de wetenschap op die vragen vind je namelijk steeds een paar elementen terug. Element 1: vertrouwen ontstaat makkelijker in de evolutie als gesprekspartners niet anoniem zijn, maar elkaar kunnen herkennen en leugenaars dus risico lopen op reputatieschade. Element 2: vertrouwen ontstaat als de interacties tussen gesprekspartners niet eenmalig zijn, maar er een gerede kans is om dezelfde partner opnieuw tegen te komen. Element 3: vertrouwen ontstaat makkelijker als communiceren niet gratis is, maar als communiceren ook echt wat kost voor de spreker (en dan het liefst een beetje kostbaarder is voor de leugenaars).

 

Als je met die inzichten in het achterhoofd kijkt naar de moderne sociale media en massamedia, is het wat minder verrassend dat de betrouwbaarheid onderuit gaat, want juist deze drie elementen zijn in de massacommunicatie en sociale media onder druk komen te staan: gesprekspartners op sociale media zijn vaak anoniem, nieuwsconsumenten hoppen vrijelijk heen en weer tussen verschillende media, en het creëren en verspreiden van teksten en beelden kost vrijwel niets. En ik vermoed dan ook dat belangrijke stappen in het terugdringen van nepnieuws bestaan uit het, zoveel als mogelijk, terugdringen van anonimiteit en het bevorderen van herhaalde interacties tussen journalist en lezer, en tussen lezers onderling, en zorgen dat de financiële prikkels het nieuws de goede kant op duwen. Een journalistiek platform als ‘De Correspondent’, net als vergelijkbare initiatieven in andere landen, is een prachtig voorbeeld van hoe je dat kunt organiseren in de huidige tijd.

 

Mijn zoontje gaat intussen gewoon door met zijn vragen. Waarom moet ìk als eerste onder de douche? Waarom is het kinderbedtijd? Waarom ga jij nog niet slapen? Waarom moeten kinderen vroeger gaan slapen dan grote mensen? Soms vraag ik wel eens af waarom hij zoveel vragen stelt, en dan realiseer ik me snel dat hij erfelijk belast is. Op mijn schoolrapport uit 1988 staat een extra opmerking van mijn klasseleraar: “De leraren vragen of je wat minder wilt vragen!”. Ik hoop dat mijn zoon in zijn schoolloopbaan vooral docenten gaat treffen die het vragen stellen van harte aanmoedigen.

 

 

 

Uit: Mark Geels, Tim van Opijnen (Eds.), Nederland in ideeën – Dit is het mooiste ooit. Amsterdam: Maven

Jelle Zuidema

 

Zien doe je een klein beetje met je ogen, maar vooral toch met je hersenen. Doordat je ogen aan de lopende band heen en weer springen, je hoofd en lichaam steeds in beweging zijn en je tientallen keren per minuut je ogen even sluit bij het knipperen, verandert het beeld dat op je netvlies valt voortdurend, zelfs als de wereld om je heen even stil staat. Als je dat allemaal zou merken zou zelfs het wijdse, stabiele uitzicht vanaf een hoge bergtop aandoen als een psychedelisch art-house film.

 

Gelukkig verwerken onze hersenen de inkomende signalen door voornamelijk op zoek te gaan naar informatie in het beeld die niet te voorspellen was op basis van wat je al wist over je omgeving en je eigen bewegingen. De hersenen ontvangen dus niet een objectieve weergave van de buitenwereld, maar construeren een eigen wereld die min of meer consistent is met de maalstroom aan waarnemingen. Zien is hard werken!

 

Een van de consequenties van die actieve rol is dat de hersenen ook dingen kunnen zien die er helemaal niet zijn. En dat geldt net zo zeer op het basale niveau van waarneming van kleuren (denk aan the dress), hoeken en vormen, als op het niveau van complete gebeurtenissen, dromen en verhalen.  Die onwerkelijke, grenzeloze maar toch zichtbare wereld is soms mooier dan de echte maar begrensde wereld.

 

Voor wie mooie beelden wil creeeren schept dat natuurlijk mogelijkheden. Dat geldt allereerst voor de beeldende kunst, maar de meest fascinerende kunstvorm, voor mij als taalwetenschapper, is literatuur, waar lettertjes op papier bij de lezer een oneindige rijke beleving op kunnen roepen, inclusief prachtige vergezichten, intense emoties en diepe inzichten. Literatuur is een kunstvorm die met een minimale interface — in essentie zwarte inktvlekjes op een witte achtergrond — de lezer toegang geeft tot een virtuele wereld waarin verbijsterend veel van de ervaringen uit de echte wereld mogelijk zijn, en meer. Het oude, vertrouwde boek is, wel beschouwd, hightech van de bovenste plank!

 

Literatuur heeft die kracht doordat het vernuftig gebruik maakt van een aantal complexe systemen in de mens die in de evolutie voor heel andere doeleinden zijn ontstaan. Allereerst is daar het visuele systeem, dat de mens in grote lijnen deelt met andere dieren. De inktvlekjes in een boek zijn georganiseerd in letters of karakters. Het schrift is waarschijnlijk een paar keer uitgevonden, voor het eerst zo’n 5.000 jaar geleden in het midden oosten, en daarna geevolueerd tot de verschillende alfabetten en karaktersystemen die de wereld nu rijk is. Die schriftsystemen verschillen, maar ze hebben ook belangrijke overeenkomsten in hun gebruik van basale vormen (lijntjes, hoeken, bochten, kruisjes) waar ons visueel systeem, om heel andere redenen, in gespecialiseerd is. Door die bijna-optimale aanpassing aan het visueel systeem, kun je, als je eenmaal hebt leren lezen, een woord in minder dan 200 milliseconden herkennen en met je ogen doorspringen naar het volgende woord in een zin.

 

Vervolgens is er het taalsysteem dat, eenmaal verworven, ons in staat stelt om van tienduizenden verschillende woorden razendsnel een betekenis te vinden, en die woordbetekenissen te combineren om de betekenis van zinnen en hele teksten te bepalen. Dat taalvermogen bestaat minstens al een paar honderdduizend jaar en mogelijk, in een of andere vorm, al een paar miljoen jaar, maar is uniek voor de mens. De vraag hoe taal is ontstaan in evolutie, en met welke functie, is nog een groot mysterie.

 

Tenslotte maakt literatuur gebruik van onze redeneervermogens om de wereld om ons heen te begrijpen, en in het bijzonder onze sociale cognitie en ons vermogen na te denken over de gedachten van anderen. Veel van die redeneervermogens delen we met andere diersoorten. Vooral in het redeneren over de gedachten van anderen lijken we echt te excelleren in het dierenrijk. Lezers van boeken (en kijkers van films) kunnen prima snappen dat personage 1 niet weet dat personage 2 heeft meegeluisterd toen personage 3 aan personage 4 vertelde over wat A heeft gedaan. De lezer heeft daarmee 5e orde gedachten-over-gedachten (en de auteur van het boek zelfs 6e orde!); chimpansees lijken in experimenten niet verder te komen dan 3e orde.

 

Literatuur is dus een parasitair systeem, dat op oneigenlijke wijze gebruik maakt van die nuttige systemen van waarneming, taal en redeneren, en in het proces de lezer onvergetelijke ervaringen kan bezorgen. Soms zijn die ervaringen mooier, treuriger of spannender dan wat je in het echte leven mee maakt. Sommige van mijn levendigste jeugdherinneringen zijn van ervaringen in de werelden gecreeerd door Roald Dahl, Thea Beckman, Tonke Dragt, J.R. Tolkien en Karl May. Allemaal zogen ze hun verhalen volledig uit de duim, al was het vaak weer op basis van de boeken van anderen. Karl May, zo leerde ik later, was zelfs nooit in Amerika geweest. Zijn gedetailleerde beschrijvingen van de landschappen in het wilde westen waren voor mij zo gaan leven dat ik lange tijd heb gedacht dat dat het mooiste was wat ik ooit had gezien. Dat duurde tot ik zelf in de Rocky Mountains was. Toen bleken de uitzichten nog mooier dan ik me had voorgesteld.

 

Uit: M. Geels & T. van Opijnen (Eds.), Nederland in ideeën – Dit wil je weten (pp. 256–258). Maven. 2014.

Jelle Zuidema

Cognitiewetenschapper aan de Universiteit van Amsterdam

 

Ik kom uit een familie van taalpuristen. Zo’n familie waar de gesprekken op familiefeestjes niet gaan over de teloorgang van het Nederlandse voetbal, de economie of het weer, maar over de teloorgang van het Nederlands. Waar men elkaar ooit Kuitenbrouwer’s Turbotaal kado deed (of soms zelfs cadeau), en meer recentelijk de boekjes van Paulien Cornelissen. Het bezoek komt op zo’n feestje binnen (niet langs), de kadootjes worden meegebracht (niet meegenomen), en hoewel we steeds iets ouder zijn dan (niet als) de vorige keer, is het weer net zo gezellig als (niet dan) toen. Onderwijl of intussen (maar niet ondertussen) geniet iedereen van een hapje en een drankje, totdat alle gasten wordt (niet worden) verzocht huiswaarts te keren. Een bijzonder nest dus.

 

Met zo’n achtergrond was het even schrikken toen ik als student kennis maakte met het wetenschappelijk perspectief op taalfouten. Kort door de bocht: ze bestaan niet. Voor taalwetenschappers is taal een systeem van conventies, van regels en van uitzonderingen, dat voortdurend in beweging is. Spelling, grammatica, uitspraak – het zijn allemaal razend interessante fenomenen in het hoofd van de taalgebruiker (en we willen graag weten hoe ze werken), maar er bestaat geen objectieve norm waar taal aan zou moeten voldoen. Uit beleefdheid voor de collega’s van de afdeling Taalbeheersing – en studenten die tot leraar Nederlands worden opgeleid – maken we soms een onderscheid tussen het prescriptieve en het descriptieve perspectief op taalregels. Maar als je een klein beetje dieper graaft, dan is snel duidelijk dat er geen sprake is van een gelijkwaardige taakverdeling tussen prescriptivisten en descriptivisten: de normen van de taalpurist zijn in de beschrijving van de taalwetenschapper slechts subjectieve oordelen van een zelfbenoemde elite, arbitraire conventies zonder objectieve rechtvaardiging. En dan zijn ze vaak ook nog eens inconsistent met elkaar.

 

Op het populaire blog voor taalwetenschappers, LanguageLog, zijn met regelmaat vermakelijke stukjes te lezen over de bizarre regels die in handboeken voor correct taalgebruik worden geformuleerd, en vaak door de auteurs van de handboeken zelf vervolgens op grote schaal worden geschonden. Taalpuristen, zo lijkt het, veronderstellen impliciet een daadwerkelijk bestaande Ware Taal, een systeem van exacte regels die helaas, helaas, niet bij iedereen bekend zijn. Wat dat betreft heeft de taalpurist wel iets weg van een kind met een onzichtbaar vriendje, of een fundamentalistisch gelovige die een direct lijntje naar het opperwezen meent te hebben. De werkelijkheid is namelijk dat talen slechts bestaan in de ontelbare interacties tussen miljoenen taalgebruikers, waar kennis van die talen overgedragen wordt van generatie op generatie terwijl er voortdurend en door iedereen stukjes bij worden gemaakt, veranderd of vergeten. In die wirwar van taaluitingen kunnen we heel duidelijk systemen herkennen – de talen Nederlands, Frans, en Swahili bijvoorbeeld – maar die systemen zijn ’emergent’ en hebben geen keiharde grenzen en keiharde regels. Taal is wat dat betreft vergelijkbaar met een hogedrukgebied of een tropische storm: ook die ontstaan in de interactie tussen talloze delen, hebben geen ontwerper, baas of scherpe grenzen, maar hebben niettemin heel reëele gevolgen. En je kunt ze prima een naam geven, herkennen op een luchtfoto en vervolgens weer zien veranderen en oplossen in iets anders.

 

Dat er überhaupt taalregels zijn – en dat staat niet ter discussie – en dat taalgebruikers zo’n sterk gevoel hebben voor het correct of incorrect toepassen daarvan is op zich weer een fascinerend onderzoeksonderwerp voor de taalwetenschap. Het wijst ons er nog eens op dat taal meer functies heeft dan alleen voor het uitwisselen van informatie. Taal markeert ook groepsidentiteit, en doet dat juist in de diepste krochten van het taalsysteem, waar buitenstaanders de grootste moeite hebben om alle details goed te krijgen. Door net het verkeerde woord te kiezen uit een reeks bijna-synoniemen (gaaf, cool, vet, dope), door een miniem accent in je uitspraak, een tussen-n te weinig of een d in plaats van een dt in de spelling waar het voor de uitspraak of het begrip niets uitmaakt, plaats je jezelf buiten de groep. Studies met baby’s van maar een paar maanden oud laten zien dat ook zij al onbekenden met een bekend accent meer vertouwen dan onbekenden met een vreemd accent. Vanuit evolutionair perspectief is dat eigenlijk niet heel verrassend: het doet denken aan studies naar zangvogels, waar het mannetje met zijn complexe liedje een vrouwtje moet overtuigen dat hij in een goed nest is opgegroeid.

 

De les voor het dagelijks leven van dit perspectief op taalfouten hangt af van je positie. Zit je in een sollicitatiecommissie, dan kun je je voornemen de kandidaat met de beste relevante vaardigheden aan te nemen, en niet iemand die op het gymnasium en de tennisclub zich de taal van de elite heeft eigen gemaakt. Ben je zelf de sollicitant, dan kun je je maar beter knarsetandend (of knarsentandend) onderwerpen aan de terreur van de taalregels die gelden in de groep waar je bij wilt horen. Daarbij is het misschien prettig dat je de taalpuristen stilletjes een beetje uit kan lachen om hun afwijking en onzichtbare vriendjes. Misschien zegt taalpurisme nog het meeste over de taalpuristen zelf: in ieder geval weet je alvast hoe hun familiefeestjes eruit zien.

 

Dieuwke Hupkes en ik zijn onlangs geinterviewd door Willem Schoonen van Trouw. Het resultaat verscheen afgelopen zaterdag in de krant (met een kop waar ik niet zo blij mee was):

2020 – Laat kunstmatige intelligentie vooral haar eigen gang gaan (Willem Schoonen)

Ik ben trouwens lang geleden ook al twee keer geinterviewd door Trouw over mijn onderzoek naar de Evolutie van Taal (adhv computermodellen):

2014 – Ooit kunnen we zeggen wat taal is (Marieke Kolkman; ook hier)

2010 – Theorieen over taal ontkracht (Sander Becker)

In 2007 schreef ik een populair-wetenschappelijk artikel voor Blind over De evolutie van taal.

De evolutie van taal

In 2013 schreef ik dit optimistische stukje voor “Nederland in Ideeen“.

Honderdduizend jaar nuttig geklets

Aan geschiedenis ontsnap je maar moeilijk. Geschiedenis is een verplicht vak op lagere en middelbare scholen, er zijn mooie geschiedenisprogramma’s op televisie en radio, mooie tijdschriften en eindeloos veel historische fictie- en non-fictieboeken in de boekwinkels. We hadden zelfs bijna een Nationaal Historisch Museum gehad om de veronderstelde achteruitgang van het historisch besef een halt toe te roepen. De pleitbezorgers van geschiedenis denken vaak in eerste instantie aan de geschiedenis van de Europese staten – hun oorlogen, hun koningen, hun politici van de afgelopen paar duizend jaar.

Steeds vaker gaat het gelukkig ook over ideeën en cultuur: de wetenschappelijke revolutie, de burgerrechten, het feminisme, de islam. Maar zelden heeft de geschiedenislobby het over het echt grote verhaal – de geschiedenis van de mensheid, het ontstaan van taal, cultuur, beschaving en staten. En dat terwijl in die Big History misschien wel de belangrijkste les voor onze toekomst ligt.

Want wie is opgegroeid in een van de naoorlogse Europese welvaartsstaten, is opgegroeid met het bizarre idee dat vrede, welvaart, recht, democratie en vooruitgang de norm zijn. En wie met dat verwachtingspatroon de wereld in gaat is een gemakkelijk slachtoffer voor een cultuurpessimisme dat leidt tot een passiviteit die het wereld-verbeteren in de weg staat. Een beetje meer kennis van wat de mensheid bereikt heeft in de laatste paar honderdduizend jaar is een fantastisch tegengif tegen dat pessimisme.

Honderd jaar geleden was de democratie, inclusief vrouwenkiesrecht, nog niet ingevoerd. Duizend jaar geleden leefde het gros van de mensen in bittere armoede, onderhevig aan frequente oorlogen, rechteloos en ondergeschikt aan een kleine elite. Tienduizend jaar geleden leefden we allemaal nog als jagers-verzamelaars in stateloze samenlevingen, zonder land-bouw, zonder koningen, zonder schrift. En ruim honderdduizend jaar geleden onderscheidde de mens zich nog maar nauwelijks van andere apen: geen kunst, geen complexere technologie en mogelijk zelfs nog geen taal. En bedenk, in die honderdduizend jaren leefden er maar zo’n vijfduizend generaties. Er zouden maar een paar extra bladzijden nodig zijn in de Bijbel om de opsommingen van voorvaderen van Jezus uit te breiden tot de biologische stamvader van alle mensen!

Wetenschappelijk onderzoek in de laatste decennia heeft een hoop duidelijk gemaakt over wat er in de afgelopen paar honderdduizend jaar gebeurd is, en hoe de mensheid zich zo razendsnel heeft kunnen ontwikkelen. Bijna maandelijks worden er nieuwe ontdekkingen gemeld. Het beeld dat er oprijst uit archeologisch en genetisch onderzoek is dat mensachtigen zich tot één miljoen jaar geleden duidelijk, maar slechts in beperkte mate onderscheidden van andere apen. Pas vanaf ruim honderdduizend jaar geleden gaat Homo sapiens zich opvallend afwijkend gedragen. De oudste vondsten van kralen en kettingen zijn van rond die tijd. De schitterende rotstekeningen van Lascaux dateren van zo’n veertigduizend jaar geleden. Tienduizend jaar geleden werd de landbouw uitgevonden en werd Amerika bevolkt, zesduizend jaar geleden ontstonden de eerste vormen van geschreven taal, vijfduizend jaar geleden bouwde de mens de piramides, en de rest is, tja…, geschiedenis.

Wat zit er achter die enorme versnelling van de ontwikkelingen? Veel wetenschappers denken dat het ontstaan van taal een centrale rol heeft gespeeld, in combinatie met het mechanisme van culturele evolutie. Taal is zo’n belangrijk ingrediënt in de verklaring omdat taal een medium biedt om kennis en afspraken te delen en door te geven aan volgende generaties. En taal biedt ons brein een medium om gedachten te vormen en te onthouden die zonder taal letterlijk niet denkbaar zijn.

De sociale innovaties (handel, recht, staatsvorming) en technologische innovaties (landbouw, gereedschap, kleding) van de afgelopen honderdduizend jaar waren nooit mogelijk geweest zonder dat er eerst talen in de populaties waren ontstaan waarmee informatie over grote afstanden en tijdspannes gedeeld en gecombineerd kon worden.

Taal is bovendien zelf onderhevig aan culturele evolutie: net als met evolutie in de biologie, is het zinnig om over taal na te denken in termen van overerving (elke generatie leert taal van de vorige), variatie en natuurlijke selectie (de best aangepaste woorden, klanken en regels overleven). Het vermogen van taal om zich via het mechanisme van culturele evolutie aan te passen aan de eigenaardigheden van de mens lijkt een belangrijke rol te spelen in de verklaring voor hoe taal in relatief korte tijd, en met maar weinig biologische aanpassingen, zo complex heeft kunnen worden en zo’n centrale rol heeft kunnen spelen in de geschiedenis van de mensheid.

De wetenschap begint dus te doorgronden waar de mens vandaan komt, en hoe we het zover hebben weten te schoppen. Cruciaal zijn taal als communicatiemiddel en de voortdurende verandering van taal (inclusief de dag die je wist dat zou komen). En cruciaal is de uitwisseling van ideeën om te komen tot grote technologische innovaties, die altijd het resultaat zijn van vele kleine innovaties. En cruciaal is ten slotte communicatie voor het vinden van win-winsituaties in hoe we de samenleving organiseren, zodat we niet allemaal voortdurend in strijd leven en ieder apart op de savanne op zoek moeten naar bessen, wortels of prooien om op te eten, maar samenwerken, de taken verdelen en de ander wat gunnen.

Zo bekeken is er best reden voor cultuuroptimisme. De wereld is nog steeds grondig aan het veranderen. Sommige veranderingen zijn ten goede, sommige ten kwade. Maar de mechanismen die de afgelopen honderdduizend jaar een enorme netto verandering ten goede hebben veroorzaakt – informatieoverdracht en communicatie via taal – zijn juist in onze tijd weer enorm versterkt door de opkomst van het internet. Eigenlijk is de grootste bedreiging voor de toekomst de onverschilligheid van de westerse mens ten aanzien van de verworvenheden van honderdduizend jaar culturele evolutie. De burgerrechten, vrouwen- en homo-emancipatie, het recht op privacy, het internationaal recht, het open internet, de ontwikkelingssamenwerking, de nivellering, de milieubescherming en het vrije onderzoek verdienen bewondering én bescherming waar nodig, en niet het moedeloze schouderophalen van de cultuurpessimist. Voor wie het geluk heeft gehad met al die verworvenheden op te groeien, is het noodzakelijk een beetje meer te weten van het grotere verhaal achter de geschiedenis om dat weer in te zien.

On an old laptop, I found back my little paper “Rule learning in recurrent networks“, which I wrote in 1999 for my “Connectionism” course at Utrecht University.

I trained an SRN on the contextfree language AnBn, with 2<n<14, and checked what solutions it learned. Results might have seemed o.k. at first glance, but I quickly realized that average next symbol prediction is a terrible performance metric here — which made me skeptical for many years of connectionist papers that only reported this metric. My SRN really had only learned to predict its input (say A when you receive A), but that is correct some 85% of the time.

In a simple experiment where I trained a network on a single string, A4B4, I did learn that implementing a counter is quite simple in SRNs. And that convinced me that a real solution should really be in the SRN’s hypothesis space, which made me quite skeptical for many years (and until today) about claims that neural networks were fundamentally unable to learn symbolic structure. Rodriguez (2001, Neural Computation) later published a paper that showed that quite convincingly.

 

Nice (but slightly scary) to see how much I agree with 24 year old me…