Het vinden van de juiste persoon

Samenvatting

We maken kennis met een nieuwe manier van zoeken: naar personen in plaats van naar web-documenten. Daarnaast leren we hoe de kwaliteit van een zoekmachine wordt opgemeten en wat daar allemaal bij komt kijken.

Zoeken naar personen

Zoekmachines als Google en Yahoo geven webpaginas terug als antwoord op een zoekvraag. Vaak is datgene wat je zoekt niet direct een pagina maar kan je datgene waarnaar je op zoek bent wel weer op een webpagina vinden. Bijvoorbeeld, hoe oud de zangeres Madonna is.

Een veel voorkomende informatiebehoefte is dat je een persoon in je omgeving zoekt die je kan helpen bij XXX. In het Engels wordt dit vaak expert search en ook wel people search genoemd. In essentie is het heel simpel: je typt woorden in die een bepaald onderwerp goed beschrijven en je krijgt een lijstje met personen terug. Hiervan denkt de zoekmachine dat deze mensen expert zijn of een grote interesse hebben in het ingevoerde onderwerp.

Probeer het zelf eens op de zoekmachine naar tweede kamerleden. Neem als zoektermen "Nederland", "Marokko" en "ik". Wie komen bij zowel Nederland als Marokko naar boven? Zijn dat nou experts op die twee gebieden?

Evaluatie: wanneer is een zoekmachine goed?

Van een zoekmachine wil je dat ie vindt waar jij naar zoekt, dat op de eerste pagina met zoekresultaten toont, en liefst zo hoog mogelijk. Zoekmachines doen hier erg hun best voor en natuurlijk proberen ook websites erg hoog in de Google-rangorde te komen, zeker als ze wat willen verkopen.

Hoe kun je nou de kwaliteit van een zoekmachine opmeten en daarmee bijvoorbeeld verschillende zoekmachines vergelijken? Hie zijn verschillende maten voor ontwikkeld die ook echt door Google, Yahoo en alle anderen gebruikt worden. We behandelen er twee.

  1. Hieronder staan van de eerste vijf antwoorden op een zoekvraag of ze goed of fout waren. Bereken de p@5 en de RR.
    1. fout
    2. fout
    3. goed
    4. fout
    5. goed
  2. Geef twee voorbeelden waarin de P@10 en de RR aan elkaar gelijk zijn.

Gemiddelden

Zoals je zelf vast wel gemerkt hebt schommelt de kwaliteit van antwoorden van een zoekmachine nogal en is sterk afhankelijk van je zoekvraag. Daarom wordt er bij het vergelijken van zoekmachines vaak gekeken naar de gemiddelde P@10 en RR over een groot aantal vragen. Bij 100 vragen tel je dan alle P@10's voor elke vraag bij elkaar op en deelt dat door 100. Uiteindelijk krijg je dus weer een getal tussen 0 en 1.

Bereken de gemiddelde RR en P@5 van de volgende vier vragen.
Vraag 1 Vraag 2 Vraag 3 Vraag 4
fout goed fout fout
fout fout goed goed
goed fout fout fout
fout goed goed fout
goed goed fout fout

Hieronder staan drie soorten zoekmachines. Geef voor elk van de drie aan of je nou beter de RR of de P@10 kunt gebruiken om de kwaliteit te bepalen. Leg ook steeds uit waarom.

FindTheEmail.com
Type een naam van een persoon in en als antwoord krijg je een lijst van 10 emailadressen.
FindaMobile.com
Type de naam van een bepaald type mobiele telefoon in en als antwoord krijg je een lijst van 10 winkels waar je die telefoon kunt kopen.
FindaWerkstuk.com
Type een onderwerp in en als antwoord krijg je een lijst met 10 al helemaal voor jou gemaakte werkstukken over dat onderwerp.

Evaluatie: hoe bepaal je of een antwoord van de zoekmachine goed is of niet?

Zoekmachines hebben het maar moelijk. Als je een rekenmachine bouwt is het heel makkelijk om te bepalen of de antwoorden die gegeven worden goed zijn: ze moeten kloppen met de wiskundige wetten. Met andere woorden: voor elke vraag aan een rekenmachine is er een duidelijk omschreven van te voren in theorie bepaald correct antwoord.

Bij vragen aan een zoekmachine is het helemaal niet altijd op voorhand duidelijk wat de goede antwoorden zijn. Hoe bepaal je dat dan? Je laat de antwoorden door mensen beoordelen!Die zijn tenslotte de gebruikers van zoekmachines. Maar wat dan als een antwoord door verschillende mensen verschillend wordt beoordeeld? Dit probeert men weer op te lossen door 1) de mensen duidelijke instructies te geven en 2) "makkelijke" vragen te gebruiken. Een vraag is makkelijk als het heel eenvoudig is vast te stellen of een antwoord relevant is voor de vraag of niet.

Je wilt de leeftijd van Balkenende weten en typt de twee woorden Balkenende leeftijd in Google in. We zeggen dat een pagina relevant is voor deze zoekvraag als je zonder te scrollen achter de leeftijd van Balkenende kan komen. (Nb. Als er staat dat Balkende geboren is op 6 Augustus 1964 is dat natuurlijk een relevante pagina).
Ga naar Google, type de vraag in, en kopieer de antwoord pagina in een tekstverwerker. Ga voor elk antwoord na of het relevant is, en zet dat bij het antwoord in je tekstverwerker. Kopieer bij een relavant antwoord het stukje uit de pagina waaruit zijn leeftijd blijkt. Geef tenslotte ook de p@10 en de RR voor deze zoekvraag.

In de volgende opdracht meten we de intercodeursbetrouwbaarheid op. Dit is een maat die aangeeft in hoeverre een groep mensen hetzelfde denkt over de gegeven antwoorden op een vraag.

Stel je het volgende geval voor: Je bent iemand die niet op jouw school. Je bent verliefd op iemand van jouw school en wilt weten wat voor school dat is en typt de naam van die school in Google in. Een Google-antwoord is relevant als de pagina waarheen het antwoord verwijst je wat over die school vertelt.
Type nu de naam van je school in en scoor de top 10 antwoorden als relevant of niet. Let op: elk antwoord moet je op zichzelf bekijken; dus niet antwoord 6 fout rekenen omdat je die informatie ook al bij antwoord 3 had gekregen.
Lever de score in en bereken de p@10 en de RR. Neem nu de score van iemand uit je klas en bereken de intercodeursbetrouwbaarheid door simpelweg te tellen in hoeveel van de 10 gevallen je hetzelfde antwoord had gegeven. Lever de score in als percentage. Vraag nu een derde erbij en bereken in hoeveel van de gevallen jullie alledrie hetzelfde antwoord hadden. Maak een mooie tabel, en lever het uiteindelijke antwoord in.

Stel je bent een docent en maakt een toets van 10 vragen. Die toest wordt nagekeken door 2 leraren die allebei les geven in het vak waar die toets over gaat. Wat voor intercodeursbetrouwbaarheid verwacht je bij de volgende vakken? Geef steeds kort aan waarom je dat percentage geeft.

Terug naar het zoeken naar experts op een bepaald onderwerp. Ga naar de zoekmachine naar tweede kamerleden en type na elkaar de volgende vragen in:

We verwachten dus politici te krijgen die expert zijn op deze twee gebieden. We kunnen op een redelijk objectieve manier vaststellen of de antwoorden kloppen door te kijken wie van de tien er lid zijn van de kamercommissies voor onderwijs en sociale zaken en werkgelegenheid. Als een persoon in die commissie zit is het antwoord goed, en anders is het fout. Zoek uit wie er in deze twee commissies zitten op www.tweedekamer.nl. Geef nu voor beide zoekvragen de volgende informatie:
  1. het rijtje van tien personen die de zoekmachine gaf, met er achter of het goed of fout was;
  2. de P@10 en de RR

We zagen net dat onderwijs goed scoorde maar sociale zaken en werkgelegenheid niet zo goed. Een paar woorden zijn natuurlijk ook wel erg weinig om een interessegebied in uit te drukken. We kunnen dat gelukkig ook uitbreiden. Ga naar de pagina waar de taken van de commissie voor sociale zaken en werkgelegenheid worden beschreven, en kopieer met Control C de beschrijving. Ga nu weer naar de zoekmachine naar tweede kamerleden en plak met Control V die hele beschrijving in het zoekveld en zoek opnieuw.

  1. Maak opnieuw een lijstje met namen met daarachter wie goed en wie fout waren, en bereken opnieuw de P@10 en de RR.
  2. Maak de volgende zin af: "Als ik meer zoektermen aan een zoekmachine geef neemt het aantal goede antwoorden in de top 10 (de P@10) toe omdat ..."

Hoe werkt de zoeken-naar-mensen zoekmachine nou?

Voor we die vraag beantwoorden kijken we eerst nog even naar de best hoge scores die de politieke zoekmachine kreeg. Stel dat we een gemiddelde reciprocal rank vinden van (1+ 1/3)/2= 2/3=0.66. Is dat nou goed? Om die vraag te beantwoorden kan je het vergelijken door wat je zou krijgen door puur te gokken.

Voor we verder gaan halen we eerst even wat kansberekening bij je op:

Dus je hebt een kans van minder dan 1 op 1 miljoen dat je een 10 haalt voor een proefwerk met 10 MC vragen als je alleen maar gokt.

Er zijn 150 kamerleden die de zoekmachine kan teruggeven. In elke commissie zitten 25 leden.

  1. Wat is de kans dat een kamerlid in de commissie voor onderwijs zit?
  2. Wat is de kans dat je een RR van 1 hebt op de vraag "onderwijs"?
  3. Wat is de kans dat je een gemiddelde RR van 1 hebt als je het gemiddelde neemt over 10 vragen?
  4. Wat is de kans op een RR van minstens 1/2 (bij 1 vraag)?
  5. (*) Wat is de kans op een P@10 van .1 of hoger? Dit betekent dus dat minstens 1 van de antwoorden goed is.

Een P@10 van .6 is dus al een erg goede score. Hoe krijgt die zoekmachine dat voor elkaar? Eigenlijk is het idee heel simpel en precies hoe een koppelaarster werkt: van ieder persoon bouw je een profiel op wat zo goed mogelijk die persoon beschrijft. Het koppelen van een onderwerp aan een persoon is eigenlijk niks anders dan het koppelen van 2 personen. Als jij bij een koppelaarster komt vraagt ze je om jezelf te beschrijven. Op basis daarvan maakt ze een profiel van jou. Vervolgens zoekt ze in haar lijst met mogelijke koppelkandidaten diegene wiens profiel het best bij jou (eigenlijk: bij jouw profiel) past.

Stel je begint een dating-site en wilt personen koppelen. Je moet dus voor iedereen een profiel hebben. Je hebt de keuze uit 2 technieken:

  1. Met welke methode zal je een beter beeld krijgen van iemand? Motiveer je antwoord.
  2. Methode B is natuurlijk lastig uitvoerbaar en nogal kostbaar door al het typwerk. Kan je een alternatief bedenken dat wel makkelijk en goedkoop uitvoerbaar is en wat toch lijkt op methode B?

Het bouwen van profielen voor politici is best makkelijk want alles wat een politicus in de Tweede Kamer zegt wordt opgenomen en uitgetypt. De makers van de zoekmachine hoefden dus alleen alles wat een kamerlid zei achter elkaar te zetten en op basis daarvan zijn of haar profiel te maken. We zullen nu zien dat jullie zelf ook best makkelijk zo'n zoekmachine kunnen maken.

Maak je eigen personen zoekmachine

Stap 1 Bepaal een vaste verzameling personen die jouw machine als antwoord kan geven.
Stap 2 Verzamel van al die personen,
  1. naam
  2. foto
  3. een URL/webadres naar zijn/haar pagina (bijv: hyves/school/myspace)
  4. Het belangrijkste: zoveel mogelijk teksten geschreven door die persoon. Emails, blogposts, alle chat berichtjes, smsjes, verhaaltjes, ...., zoveel mogelijk. Plak dat allemaal achter elkaar in 1 document. (Word of tekst bestand of web pagina).
Stap 3 Maak voor elke persoon een webpagina waarin je alle informatie die je in stap 2 hebt verzameld bij elkaar zet, en waarin ook steeds het speciale woord persoonszoeknaamvanjouwschool staat. Een voorbeeld vind je op maak hier een form/template wat makkelijk invulbaar is en wat wij makkelijk kunnen inlezen (bijvoorbeeld het RSS formaat van Anne en keepwolking)
Stap 4 Meld op deze pagina al die paginas aan bij Google, en wacht een tijdje tot ze in de index zitten.
Stap 5 Gebruik nou Google als koppelaarster. Als je op zoekt bent naar een persoon in je groep die van "paarden" houdt, dan typ je in Google de opdracht parden AND persoonszoeknaamvanjouwschool Je zal dan alleen paginas terugkrijgen waarin deze 2 woorden voorkomen. Met het tweede woord zorg je dat je alleen paginas terugkrijgt van personen uit jouw groep. (Als alternatief kan je ook Google's domein-restrictie gebruiken. Google's uitleg.

We gaan nu de kwaliteit van het gemaakte systeem bepalen.

  1. Verzin 3 zoekvragen en bereken de P@5 en RR voor die 3 vragen
  2. Laat een ander ook de antwoorden scoren en bereken voor elke vraag de intercodeursbetrouwbaarheid (ICB).
  3. Lever het als in het voorbeeld hieronder in:
Vraag: ...
P@5 :
RR :
ICB:
Zoekmachine Jouw naam Naam van 2e codeur
1 goed fout
2
3
4
5

In de laatste opdracht heb je gezien hoe Google ingezet kan worden voor hele andere taken dan het voor bedoeld is. Waarschijnlijk zijn je scores niet zo hoog. Dit komt omdat je waarschijnlijk niet zoveel gegevens per kandidaat hebt. Hoe meer data je hebt hoe preciezer de zoekmachine zal worden. Natuurlijk is het gebruik (misbruik?) van Google een erg ruwe manier en kan je veel verbeteren. Maar je kan nu al begrijpen waarom zoveel bedrijven graag heel veel van je willen weten. Zo kunnen ze jou met grote precisie koppelen aan dingen waar jij in geinterreseerd bent en die die bedrijven zeer graag aan je willen verkopen

Ook de makers van deze les zijn niet dom en hebben ondertussen de paginas die jullie bij Google hebben aangemeld in hun eigen persoonszoekmachine gestopt en geheel automatisch een zoekmachine voor jullie groep gemaakt, te vinden op

http://zookma.science.uva.nl/politiciansearch/index.php?g=naamvanjouwschool

Voer dezelfde 3 zoekvragen uit op de nieuwe zoekmachine en score weer de resultaten en vergelijk de P@5 en de RR met die van Google. Wie wint?

Tot Slot

Als je ideëen hebt om een serieuze persoonszoekmachine te beginnen kan je contact opnemen met maartenmarx@uva.nl en gebruik maken van hetzelfde zoeksysteem naar personen als gebruikt is voor de politici. En als je vanaf nu opeens allerlei aanbiedingen krijgt van spullen die perfect bij je passen, dan gebruikt de afzender vast je profiel....

Literatuur//Meer weten?