Niet explainable by design, maar explainable by hard work

Dieuwke Hupkes en ik zijn onlangs geinterviewd door Willem Schoonen van Trouw. Het resultaat verscheen afgelopen zaterdag in de krant (met een kop waar ik niet zo blij mee was):

2020 – Laat kunstmatige intelligentie vooral haar eigen gang gaan (Willem Schoonen)

trouw

Ik ben trouwens lang geleden ook al twee keer geinterviewd door Trouw over mijn onderzoek naar de Evolutie van Taal (adhv computermodellen):

2014 – Ooit kunnen we zeggen wat taal is (Marieke Kolkman; ook hier)

2010 – Theorieen over taal ontkracht ()

De evolutie van taal

In 2007 schreef ik een populair-wetenschappelijk artikel voor Blind over De evolutie van taal.

De evolutie van taal

De geboorte van een kind is natuurlijk elke keer een wondertje – menig toekomstig ouder zal zich bij het bekijken van de echo’s verontrust hebben afgevraagd of zo’n wormvormige foetus inderdaad tot een echt mens zal uitgroeien. Als het mormeltje eenmaal ter wereld is gekomen zijn de ouders al een stukje gerustgesteld. De ooms en tantes zien de overduidelijke gelijkenis met vader, of de moeder, of allebei, en het gehuil klinkt al wel half menselijk. Maar ja, de grijpreflex in de handjes en voetjes maakt ‘m toch weer meer een klein aapje. Eigenlijk ga je pas een poosje na de eerste verjaardag de echt fundamentele verschillen zien tussen mens en dier: het kindje stopt met kruipen op vier poten en gaat lopen op twee benen, stopt met brabbelen en begint met praten. Niet voor niets zijn beide eerste keren een magisch moment voor de ouders – door te praten krijgen zij eindelijk een inkijkje in de rijke innerlijke wereld van het kind en door te lopen wordt de leefwereld van het kind met grote stappen groter.

Chimpanseepappa’s en mamma’s moeten het stellen zonder deze bijzondere ervaringen. Even wil een chimpanseekind wel op zijn achterste benen staan, maar zijn anatomie – net als die van andere mensapen – maakt het een onprettige houding en tot het einde van zijn leven loopt een aap daarom met handen en voeten. Ook de communicatie blijft beperkt; weliswaar kennen chimpansees in het wild en in gevangenschap een scala aan betekenisvolle gebaren, gezichtsuitdrukkingen en kreten, het combineren van signalen om complexere boodschappen mee over te brengen ligt, voor zover we nu weten, buiten hun bereik. Zelfs adoptiechimpanseetjes die worden opgevoed door menselijke pleegouders met een batterij van trucs om ze taal bij te brengen, komen niet veel verder dan het leren gebruiken van enkele tientallen symbolen.

Wat is er zo bijzonder aan mensenkinderen dat zij wel en chimpansees en andere dieren niet een communicatiesysteem kunnen leren met de complexe combinatoriek van taal? En hoe is dat verschil ontstaan? Die vragen staan in de cognitiewetenschappen, biologie en taalkunde de laatste jaren weer volop in de belangstelling. Door genetisch en archeologisch onderzoek is het duidelijk dat de gemeenschappelijke voorouder van mensen en chimpansees, de ons nauwst verwante mensaap, zo’n 5 of 6 miljoen jaar geleden leefde. Omdat van alle apensoorten de mens de enige is met een complexe, combinatorische taal, is het ook vrij algemeen aanvaard dat die voorouder geen taalvermogen had. Ergens in de laatste 5 miljoen jaar – in de periode dat er allerlei mensachtigen ontstonden zoals AustralopithecusNeanderthalerHomo Ergaster en ten slotte, zo’n 200.000 jaar geleden, Homo Sapiens – is er dus iets belangwekkends gebeurd met de voorouders van de mens. Was dat een langzame evolutie met heel veel kleine stapjes, of een revolutie, een Big Bang?

Revolutie

Volgens een hoop invloedrijke wetenschappers is het antwoord simpel – maar helaas zijn hun simpele antwoorden telkens weer anders. Philip Lieberman lanceerde in 1984 de theorie dat de lage positie van de menselijke adamsappel het grote verschil maakt; daardoor zouden wij veel meer verschillende klanken kunnen maken, en alle complexiteit van taal volgt dan vanzelf. Taalkundige Derek Bickerton beweerde in 1990 dat er één radicale mutatie in de genen van de proto-mens het grote verschil heeft gemaakt en de mens in een klap van een simpele proto-taal naar een aangeboren vermogen voor complexe grammatica heeft gebracht. Neurowetenschapper Terrence Deacon zag in zijn bestseller van 1997 het vermogen om woorden een abstracte, ‘symbolische’ betekenis te geven – los van concrete ervaringen, maar meer in relatie tot andere woorden – als de cruciale stap. Apenonderzoeker Michael Tomasello beargumenteerde in 2000 dat het essentiële verschil tussen apen en mensen ligt in de coöperatieve basishouding van de mens en het vermogen om de gemeenschappelijke aandacht op een object of gebeurtenis te vestigen, bijvoorbeeld door met je vinger te wijzen en de wijzende vinger of de blik van de ander te volgen (iets waar chimpansees, opvallend genoeg, heel slecht in zijn).

Langzamerhand dringt het besef door dat we er met zulke Big Bang-theorieën niet gaan komen. Menselijke taal verschilt op talloze, subtiele manieren van communicatie bij dieren, en het menselijk vermogen voor het leren van taal hangt op allerlei subtiele manieren samen met andere leervermogens, die we bijvoorbeeld inzetten bij het leren van muziek, rekenen, navigeren, en, wie weet, ook lopen. Theorievorming over de evolutie van taal moet beginnen met een grondige analyse van die verschillen en overeenkomsten, met een studie van wat er aangeboren en aangeleerd is, en met een analyse van de rol die biologische en culturele evolutie daarin kunnen hebben gespeeld.

In 2002 schreef ‘s werelds bekendste taalkundige, Noam Chomsky, samen met twee bekende biologen, Marc Hauser en Tecumseh Fitch, een artikel voor het tijdschrift Science, waarin zij probeerden wat helderheid te scheppen over hoe het onderzoek naar de evolutie van taal vorm zou moeten krijgen. Daarin besteedden ze veel aandacht aan wat eigenlijk dooddoeners zouden moeten zijn: bij het onderzoek naar de cognitieve mechanismen voor taalverwerving en -gebruik is het interessant vast te stellen welke mechanismen uniek voor mensen en uniek voor taal zijn (en dus geen rol spelen in andere dieren of in andere cognitieve taken van mensen); zulke ‘comparatieve’ beweringen – dit of dat aspect is uniek voor de mens – moeten gebaseerd zijn op grondig, empirisch en comparatief onderzoek. Het drietal noemde die nader te bepalen dubbel unieke verzameling mechanismen de Faculty of Language in the Narrow sense (FLN).

Ook Chomsky en consorten konden vervolgens de verleiding niet weerstaan om alweer een Big Bang-hypothese voor te stellen: de FLN, speculeren zij, zou wel eens alleen kunnen bestaan uit het vermogen tot recursie. Dat is de kunst om zinsdelen van een bepaald type, onderdeel te maken van een groter zinsdeel van hetzelfde type. Dus, de man en de hond zijn allebei van het type ‘naamwoordelijk deel’, maar de man die de hond bijt is dat ook, en alle drie kunnen ze gecombineerd worden met het ‘werkwoordelijk deel’ wil een blokje om. Recursie stelt ons in staat om lange, complexe zinnen te maken zoals de man die de hond die de kat bijt slaat wil een blokje om.

Kleine stapjes

Het artikel in Science en de recursiehypothese maakten een storm van reacties los, waaronder zeer persoonlijke aanvallen op Chomsky van zijn voormalige studenten en bewonderaars Ray Jackendoff en Steven Pinker. Jackendoff en Pinker geloven in een geleidelijke evolutie van het menselijk taalvermogen. Het tweetal verdedigt het andere uiterste van een Big Bang – zij denken dat er in talloze kleine stapjes genetische veranderingen hebben plaats gehad die de mens hebben geperfectioneerd voor het verstaan, begrijpen, analyseren, leren, produceren en uitspreken van taal. De drijvende kracht, in hun theorie, was de efficiënte communicatiemogelijkheden die taal ons biedt, waardoor onze overlevings- en voortplantingskansen vergroot worden. Zulke genetische veranderingen die verbeteringen brengen heten ‘adaptaties’. Eigenlijk weet de wetenschapper Chomsky ook wel beter, suggereerden zij verder nog, maar de aanname van heel veel genen voor taal laat ook ruimte voor genetisch bepaalde verschillen in taalvermogen tussen mensen, en dat kan de ultralinkse politicus Chomsky niet over zijn hart verkrijgen.

Jackendoff en Pinker stelden een lange lijst op met onderzoeksresultaten die hun theorie zouden moeten onderbouwen, maar eigenlijk gaan die allemaal over verschillen tussen mens en dier, en niet direct over genen of evolutionaire veranderingen. Evolutiebiologen zijn sowieso niet zo enthousiast over theorieën die ieder gevonden verschil meteen gelijkstellen aan een evolutionaire adaptatie – verschillen kunnen immers ook toevallig of als neveneffect van een echte adaptatie ontstaan – maar in het geval van taal zijn er extra redenen om daar heel voorzichtig mee te zijn. De reden is dat we onze taal leren van anderen, bijvoorbeeld onze ouders, die hun taal weer van anderen hebben geleerd enzovoort. Dat heet ‘culturele overdracht’ en het opent de theoretische mogelijkheid voor de taal zelf om zich aan te passen aan de taalleerder en taalgebruiker, in plaats van andersom, zoals onder meer onderzocht door de Schotse taalkundige Simon Kirby. Talen veranderen voortdurend, maar aspecten van taal die moeilijk te leren of te gebruiken zijn – complexe verbuigingen, moeilijk onderscheidbare klanken – zullen sneller weer verloren gaan dan aspecten die juist makkelijk overgedragen worden. Zo kunnen toevallige gevoeligheden van de mens, bijvoorbeeld voor bepaalde klanken, door de cultureel overgedragen taal ‘ontdekt’ worden en behouden blijven. Het eindresultaat is dat het lijkt alsof het menselijke gehoor bijzonder goed aangepast is aan zijn taal, terwijl oorzaak en gevolg eigenlijk andersom liggen en er geen enkele reden is om dit te classificeren als een adaptatie.

Jackendoff en Pinker geven geen bewijzen die zulke alternatieve verklaringen uitsluiten en genetisch onderzoek heeft tot op heden slechts één gen opgeleverd dat een rol speelt in het menselijk taalvermogen. Dat gen heet FOXP2 en is in 2001 ontdekt door een team van genetici waaronder Cecilia Lai en Simon Fisher uit Oxford. Zij publiceerden in het tijdschrift Nature hun analyse van het DNA van een Engelse familie, waarvan alles al wees op een genetische aandoening van het taalvermogen. Uit stamboomonderzoek was al gebleken dat leden van minstens drie generaties de verschijnselen hadden, volgens een typisch patroon van overerving van een gen met een dominanteen een recessieve versie – net als Mendel dat in de negentiende eeuw in zijn experimenten met erwtenplanten had vastgesteld. De familieleden met de aandoening hebben moeite met grammatica, vervoegingen en verbuigingen, maar ook met gecontroleerde bewegingen van hun lippen en tong, die nodig zijn voor spraak maar slechts indirect met taal te maken hebben. Door die variatie van symptomen geldt ook FOXP2 niet als een hard bewijs voor evolutionaire adaptatie voor taal.

Al met al is er veel af te dingen op zowel de stapsgewijze scenario’s van Jackendoff en Pinker als op de Big Bang-theorieën van Chomsky en anderen – er zijn simpelweg te weinig harde bewijzen. Wat deze wetenschappers gemeen hebben is dat ze op basis van hun zeer respectabele onderzoek naar taal met grote stappen ook meteen een theorie over taalevolutie willen poneren. Maar de studie van evolutie is een serieus veld en net als andere wetenschapsgebieden vereist onderzoek naar de evolutie van taal een combinatie van zorgvuldige experimenten om hypotheses te toetsen, wiskundig modelleren om de samenhang van een theorie te evalueren en hard nadenken over de relatie met resultaten uit gerelateerde vakgebieden. Dat is slecht nieuws voor mensen die onmiddellijk antwoorden willen hebben op hun intrigerende vragen, maar goed nieuws voor ambitieuze wetenschappers in dit vakgebied omdat er nog veel te ontdekken valt.

Honderdduizend jaar nuttig geklets

In 2013 schreef ik dit optimistische stukje voor “Nederland in Ideeen“.

Honderdduizend jaar nuttig geklets

Aan geschiedenis ontsnap je maar moeilijk. Geschiedenis is een verplicht vak op lagere en middelbare scholen, er zijn mooie geschiedenisprogramma’s op televisie en radio, mooie tijdschriften en eindeloos veel historische fictie- en non-fictieboeken in de boekwinkels. We hadden zelfs bijna een Nationaal Historisch Museum gehad om de veronderstelde achteruitgang van het historisch besef een halt toe te roepen. De pleitbezorgers van geschiedenis denken vaak in eerste instantie aan de geschiedenis van de Europese staten – hun oorlogen, hun koningen, hun politici van de afgelopen paar duizend jaar.

Steeds vaker gaat het gelukkig ook over ideeën en cultuur: de wetenschappelijke revolutie, de burgerrechten, het feminisme, de islam. Maar zelden heeft de geschiedenislobby het over het echt grote verhaal – de geschiedenis van de mensheid, het ontstaan van taal, cultuur, beschaving en staten. En dat terwijl in die Big History misschien wel de belangrijkste les voor onze toekomst ligt.

Want wie is opgegroeid in een van de naoorlogse Europese welvaartsstaten, is opgegroeid met het bizarre idee dat vrede, welvaart, recht, democratie en vooruitgang de norm zijn. En wie met dat verwachtingspatroon de wereld in gaat is een gemakkelijk slachtoffer voor een cultuurpessimisme dat leidt tot een passiviteit die het wereld-verbeteren in de weg staat. Een beetje meer kennis van wat de mensheid bereikt heeft in de laatste paar honderdduizend jaar is een fantastisch tegengif tegen dat pessimisme.

Honderd jaar geleden was de democratie, inclusief vrouwenkiesrecht, nog niet ingevoerd. Duizend jaar geleden leefde het gros van de mensen in bittere armoede, onderhevig aan frequente oorlogen, rechteloos en ondergeschikt aan een kleine elite. Tienduizend jaar geleden leefden we allemaal nog als jagers-verzamelaars in stateloze samenlevingen, zonder land-bouw, zonder koningen, zonder schrift. En ruim honderdduizend jaar geleden onderscheidde de mens zich nog maar nauwelijks van andere apen: geen kunst, geen complexere technologie en mogelijk zelfs nog geen taal. En bedenk, in die honderdduizend jaren leefden er maar zo’n vijfduizend generaties. Er zouden maar een paar extra bladzijden nodig zijn in de Bijbel om de opsommingen van voorvaderen van Jezus uit te breiden tot de biologische stamvader van alle mensen!

Wetenschappelijk onderzoek in de laatste decennia heeft een hoop duidelijk gemaakt over wat er in de afgelopen paar honderdduizend jaar gebeurd is, en hoe de mensheid zich zo razendsnel heeft kunnen ontwikkelen. Bijna maandelijks worden er nieuwe ontdekkingen gemeld. Het beeld dat er oprijst uit archeologisch en genetisch onderzoek is dat mensachtigen zich tot één miljoen jaar geleden duidelijk, maar slechts in beperkte mate onderscheidden van andere apen. Pas vanaf ruim honderdduizend jaar geleden gaat Homo sapiens zich opvallend afwijkend gedragen. De oudste vondsten van kralen en kettingen zijn van rond die tijd. De schitterende rotstekeningen van Lascaux dateren van zo’n veertigduizend jaar geleden. Tienduizend jaar geleden werd de landbouw uitgevonden en werd Amerika bevolkt, zesduizend jaar geleden ontstonden de eerste vormen van geschreven taal, vijfduizend jaar geleden bouwde de mens de piramides, en de rest is, tja…, geschiedenis.

Wat zit er achter die enorme versnelling van de ontwikkelingen? Veel wetenschappers denken dat het ontstaan van taal een centrale rol heeft gespeeld, in combinatie met het mechanisme van culturele evolutie. Taal is zo’n belangrijk ingrediënt in de verklaring omdat taal een medium biedt om kennis en afspraken te delen en door te geven aan volgende generaties. En taal biedt ons brein een medium om gedachten te vormen en te onthouden die zonder taal letterlijk niet denkbaar zijn.

De sociale innovaties (handel, recht, staatsvorming) en technologische innovaties (landbouw, gereedschap, kleding) van de afgelopen honderdduizend jaar waren nooit mogelijk geweest zonder dat er eerst talen in de populaties waren ontstaan waarmee informatie over grote afstanden en tijdspannes gedeeld en gecombineerd kon worden.

Taal is bovendien zelf onderhevig aan culturele evolutie: net als met evolutie in de biologie, is het zinnig om over taal na te denken in termen van overerving (elke generatie leert taal van de vorige), variatie en natuurlijke selectie (de best aangepaste woorden, klanken en regels overleven). Het vermogen van taal om zich via het mechanisme van culturele evolutie aan te passen aan de eigenaardigheden van de mens lijkt een belangrijke rol te spelen in de verklaring voor hoe taal in relatief korte tijd, en met maar weinig biologische aanpassingen, zo complex heeft kunnen worden en zo’n centrale rol heeft kunnen spelen in de geschiedenis van de mensheid.

De wetenschap begint dus te doorgronden waar de mens vandaan komt, en hoe we het zover hebben weten te schoppen. Cruciaal zijn taal als communicatiemiddel en de voortdurende verandering van taal (inclusief de dag die je wist dat zou komen). En cruciaal is de uitwisseling van ideeën om te komen tot grote technologische innovaties, die altijd het resultaat zijn van vele kleine innovaties. En cruciaal is ten slotte communicatie voor het vinden van win-winsituaties in hoe we de samenleving organiseren, zodat we niet allemaal voortdurend in strijd leven en ieder apart op de savanne op zoek moeten naar bessen, wortels of prooien om op te eten, maar samenwerken, de taken verdelen en de ander wat gunnen.

Zo bekeken is er best reden voor cultuuroptimisme. De wereld is nog steeds grondig aan het veranderen. Sommige veranderingen zijn ten goede, sommige ten kwade. Maar de mechanismen die de afgelopen honderdduizend jaar een enorme netto verandering ten goede hebben veroorzaakt – informatieoverdracht en communicatie via taal – zijn juist in onze tijd weer enorm versterkt door de opkomst van het internet. Eigenlijk is de grootste bedreiging voor de toekomst de onverschilligheid van de westerse mens ten aanzien van de verworvenheden van honderdduizend jaar culturele evolutie. De burgerrechten, vrouwen- en homo-emancipatie, het recht op privacy, het internationaal recht, het open internet, de ontwikkelingssamenwerking, de nivellering, de milieubescherming en het vrije onderzoek verdienen bewondering én bescherming waar nodig, en niet het moedeloze schouderophalen van de cultuurpessimist. Voor wie het geluk heeft gehad met al die verworvenheden op te groeien, is het noodzakelijk een beetje meer te weten van het grotere verhaal achter de geschiedenis om dat weer in te zien.

Recurrent network learning AnBn

On an old laptop, I found back my little paper “Rule learning in recurrent networks“, which I wrote in 1999 for my “Connectionism” course at Utrecht University.

I trained an SRN on the contextfree language AnBn, with 2<n<14, and checked what solutions it learned. Results might have seemed o.k. at first glance, but I quickly realized that average next symbol prediction is a terrible performance metric here — which made me skeptical for many years of connectionist papers that only reported this metric. My SRN really had only learned to predict its input (say A when you receive A), but that is correct some 85% of the time.

In a simple experiment where I trained a network on a single string, A4B4, I did learn that implementing a counter is quite simple in SRNs. And that convinced me that a real solution should really be in the SRN’s hypothesis space, which made me quite skeptical for many years (and until today) about claims that neural networks were fundamentally unable to learn symbolic structure. Rodriguez (2001, Neural Computation) later published a paper that showed that quite convincingly.

zuidema99fig3-srn

 

Nice (but slightly scary) to see how much I agree with 24 year old me…

 

 

Word & Sentence Representations and Responsible AI

There currently is much discussion (finally!) about the need to study the social consequences of the widespread adoption of natural language processing technology, and to pay much more attention to ethics in our education. One important issue there is the effects of racial, sexist and other biases present in the data that we train our NLP algorithms on. Are the AI systems we build as biased as humans are? Or even worse? Does that lead to real world consequences?

These are difficult questions, in turns out. But if identifying bias is hard, fixing it is even harder. Simple fixes trying to balance the dataset often don’t well, because the accuracy of our systems drops when data are rmoved or artificial data is added.

There is an interesting parallel between the need to both identify and correct bias (w.r.t. ethnicity, gender, sexual orientation, religion, class, education), and the quest to try to identify and influence how modern deep learning systems represent linguistic category information (number, gender, determinacy, animacy, case etc). In this post I would like to explore the extent to which the approach we have been developing for the latter, can be applied to also achieve the former.

Diagnostic classification

Let’s start with that prior work. The approach we have developed to answer linguistic questions about deep learning system is called ‘Diagnostic classification’. The idea that we train a deep learning model — henceforth the ‘target model’ — for some natural language task, for instance, for predicting the next word in a sentence. With current techniques (e.g., two layer LSTMs, a clever training regime, and enormous datasets) we have become really good at that task. But what linguistic information is the deep learning model using to make its excellent predictions?

To figure that out we have tried all the visualization and ‘ablation’ tricks (i.e., systematically damaging the trained network and see what happens) from the literature, but found that they are only of limited use. LSTMs and other deep learning models are (i) high dimensional, and (ii) highly nonlinear. This means that visualization is of little use, because the solutions the LSTM finds have information distributed over hundreds or thousands of dimensions, which our eyes cannot track all at once. Moreover, the solutions often involve interactions between parts, such that the function of a part typically is a different one for each configurations of the other parts; knocking out components one by one is therefore not likely to reveal what is really going on.

The solution we found (inspired by lots of earlier work from other groups, and in parallel to other groups) is to develop a series of meta-models to help figure out the inner workings of the target model. The function of the meta-models is in the first place to diagnose what is going on, and often these models are classifiers (although sometime they are regressors or models producing complex, structured output); hence, we refer to them as diagnostic classifiers.

We published the first paper on diagnostic classifiers in 2016 (introducing the term), where we focused on networks trained to perform simple arithmetics — with only addition, substraction and brackets. In 2017 we published a paper on the same task that used diagnostic classifiers on the same task, but went on to use the insights gained to change the training regime. By adding closeness to the nearest symbolic solution to the loss function, we managed to ‘guide’ the target network to even better performance (“symbolic guidance“).

Our latest paper, to be presented at the upcoming BlackboxNLP workshop, applies the whole framework to language modelling. We build on the work of Linzen et al (2016) and Gulordava et al. (2018), who studied the ability of LSTM-based language models to learn about number agreement and other syntactic dependencies between words in a sentence.

 

References

Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. 2016. Assessing the ability of lstms to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, 4:521–535.
Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. 2018. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), volume 1, pages 1195–
1205.

Hupkes et al. 2016, 2017, 2018

Other resources

The Mexican restaurant example is mentioned here:
https://blog.conceptnet.io/posts/2017/conceptnet-numberbatch-17-04-better-less-stereotyped-word-vectors/

The Science paper on gender and other biases is discussed and link to here:
https://joanna-bryson.blogspot.com/2017/04/we-didnt-prove-prejudice-is-true-role.html

And here are some general resources on ethics & AI (in particular week 6: Fairness) https://github.com/sblodgett/ai-ethics

Outnumbered (https://www.amazon.com/Outnumbered-Exploring-Algorithms-Control-Lives/dp/147294741X)

Experiential, Distributional and Dependency-based Word Embeddings have Complementary Roles in Decoding Brain Activity

Samira Abnar, Rasyan Ahmed, Max Mijnheer, Willem Zuidema

CMCL’18

We evaluate 8 different word embedding models on their usefulness for predicting the neural activation patterns associated with concrete nouns. The models we consider include an experiential model, based on crowd-sourced association data, several popular neural and distributional models, and a model that reflects the syntactic context of words (based on dependency parses). Our goal is to assess the cognitive plausibility of these various embedding models, and understand how we can further improve our methods for interpreting brain imaging data.

We show that neural word embedding models exhibit superior performance on the tasks we consider, beating experiential word representation model. The syntactically informed model gives the overall best performance when predicting brain activation patterns from word embeddings; the GloVe distributional method gives the overall best performance when predicting in the reverse direction (words vectors from brain images). Interestingly, however, the error patterns of these different models are markedly different. This may support the idea that the brain uses different systems for processing different kinds of words. Moreover, we suggest that taking the relative strengths of different embedding models into account will lead to better models of the brain activity associated with words.

Language, art and music are extremely revealing about workings of the human mind

I was interviewed by Gisela Govaart about my research. The interview is published online here.

***

Language, art and music are extremely revealing about workings of the human mind” – An interview with Jelle Zuidema
by Gisela Govaart, January 2016

Jelle Zuidema is assistant professor in cognitive science and computational linguistics at the Institute for Logic, Language and Computation. He does research on these topics, coordinates the Cognition, Language and Computation lab and supervises five PhD and several MSc students there. He teaches in the interdisciplinary master’s programs Brain & Cognitive Sciences (MBCS), Artificial Intelligence, and Logic, and coordinates the Cognitive Science track in the MBCS. Jelle was the organizer of the SMART CS events from 2011 until 2015.

Jelle Zuidema

“I started my studies with two programs in parallel at the University of Utrecht: Liberal Arts – where I focused on Literature – and Artificial Intelligence. In my final two years I dropped Liberal Arts, because I decided I needed to specialize; I got my degree in AI, with a specialization in Theoretical Biology. My thesis was on Evolution of Language, so it was a rather weird mix. I was first interested in evolution, and then my supervisor suggested: since you have this background in computational linguistics and logic, why don’t you look at the evolution of language. So it was a bit accidental, but immediately things started to fall into place, and I got really excited about the topic, and decided that I wanted to do my PhD on that as well. For my PhD I moved first briefly to Paris, and then I was in Brussels for two years, in the group of Luc Steels. After two years Brussels I moved to Edinburgh, and I actually got my PhD degree from the University of Edinburgh in the group of Simon Kirby.”

Continue reading