Zoekmachines als Google en Yahoo geven webpaginas terug als antwoord op een zoekvraag. Vaak is datgene wat je zoekt niet direct een pagina maar kan je datgene waarnaar je op zoek bent wel weer op een webpagina vinden. Bijvoorbeeld, hoe oud de zangeres Madonna is.
Een veel voorkomende informatiebehoefte is dat je een persoon in je omgeving zoekt die je kan helpen bij XXX. In het Engels wordt dit vaak expert search en ook wel people search genoemd. In essentie is het heel simpel: je typt woorden in die een bepaald onderwerp goed beschrijven en je krijgt een lijstje met personen terug. Hiervan denkt de zoekmachine dat deze mensen expert zijn of een grote interesse hebben in het ingevoerde onderwerp.
Probeer het zelf eens op de zoekmachine naar tweede kamerleden. Neem als zoektermen "Nederland", "Marokko" en "ik". Wie komen bij zowel Nederland als Marokko naar boven? Zijn dat nou experts op die twee gebieden?
Van een zoekmachine wil je dat ie vindt waar jij naar zoekt, dat op de eerste pagina met zoekresultaten toont, en liefst zo hoog mogelijk. Zoekmachines doen hier erg hun best voor en natuurlijk proberen ook websites erg hoog in de Google-rangorde te komen, zeker als ze wat willen verkopen.
Hoe kun je nou de kwaliteit van een zoekmachine opmeten en daarmee bijvoorbeeld verschillende zoekmachines vergelijken? Hie zijn verschillende maten voor ontwikkeld die ook echt door Google, Yahoo en alle anderen gebruikt worden. We behandelen er twee.
Zoals je zelf vast wel gemerkt hebt schommelt de kwaliteit van antwoorden van een zoekmachine nogal en is sterk afhankelijk van je zoekvraag. Daarom wordt er bij het vergelijken van zoekmachines vaak gekeken naar de gemiddelde P@10 en RR over een groot aantal vragen. Bij 100 vragen tel je dan alle P@10's voor elke vraag bij elkaar op en deelt dat door 100. Uiteindelijk krijg je dus weer een getal tussen 0 en 1.
Bereken de gemiddelde RR en P@5 van de volgende vier vragen.
| Vraag 1 | Vraag 2 | Vraag 3 | Vraag 4 |
|---|---|---|---|
| fout | goed | fout | fout |
| fout | fout | goed | goed |
| goed | fout | fout | fout |
| fout | goed | goed | fout |
| goed | goed | fout | fout |
Hieronder staan drie soorten zoekmachines. Geef voor elk van de drie aan of je nou beter de RR of de P@10 kunt gebruiken om de kwaliteit te bepalen. Leg ook steeds uit waarom.
Zoekmachines hebben het maar moelijk. Als je een rekenmachine bouwt is het heel makkelijk om te bepalen of de antwoorden die gegeven worden goed zijn: ze moeten kloppen met de wiskundige wetten. Met andere woorden: voor elke vraag aan een rekenmachine is er een duidelijk omschreven van te voren in theorie bepaald correct antwoord.
Bij vragen aan een zoekmachine is het helemaal niet altijd op voorhand duidelijk wat de goede antwoorden zijn. Hoe bepaal je dat dan? Je laat de antwoorden door mensen beoordelen!Die zijn tenslotte de gebruikers van zoekmachines. Maar wat dan als een antwoord door verschillende mensen verschillend wordt beoordeeld? Dit probeert men weer op te lossen door 1) de mensen duidelijke instructies te geven en 2) "makkelijke" vragen te gebruiken. Een vraag is makkelijk als het heel eenvoudig is vast te stellen of een antwoord relevant is voor de vraag of niet.
Je wilt de leeftijd van Balkenende weten en typt de twee woorden
Balkenende leeftijd in Google in.
We zeggen dat een pagina relevant is voor deze zoekvraag als je zonder
te scrollen achter de leeftijd van Balkenende kan
komen. (Nb. Als er staat dat Balkende geboren is op 6
Augustus 1964 is dat natuurlijk een relevante pagina).
Ga naar Google, type de vraag in, en kopieer de antwoord pagina in een
tekstverwerker. Ga voor elk antwoord na of het relevant
is, en zet dat bij het antwoord in je tekstverwerker.
Kopieer bij een relavant antwoord
het stukje uit de pagina waaruit zijn leeftijd
blijkt. Geef tenslotte ook de p@10 en de RR voor deze zoekvraag.
In de volgende opdracht meten we de intercodeursbetrouwbaarheid op. Dit is een maat die aangeeft in hoeverre een groep mensen hetzelfde denkt over de gegeven antwoorden op een vraag.
Stel je het volgende geval voor:
Je bent iemand die niet op jouw school. Je bent verliefd op iemand van
jouw school en wilt weten wat voor school dat is en typt de
naam van die school in Google in. Een Google-antwoord is
relevant als de pagina waarheen het antwoord verwijst je wat
over die school vertelt.
Type nu de naam van je school in en scoor de top 10 antwoorden als
relevant of niet. Let op: elk antwoord moet je op zichzelf
bekijken; dus niet antwoord 6 fout rekenen omdat je die
informatie ook al bij antwoord 3 had gekregen.
Lever de score in en bereken de p@10 en de RR.
Neem nu de score van iemand uit je klas en bereken de
intercodeursbetrouwbaarheid door simpelweg te tellen in
hoeveel van de 10 gevallen je hetzelfde antwoord had gegeven.
Lever de score in als percentage.
Vraag nu een derde erbij en bereken in hoeveel van de gevallen jullie
alledrie hetzelfde antwoord hadden. Maak een mooie tabel, en
lever het uiteindelijke antwoord in.
Stel je bent een docent en maakt een toets van 10 vragen. Die toest wordt nagekeken door 2 leraren die allebei les geven in het vak waar die toets over gaat. Wat voor intercodeursbetrouwbaarheid verwacht je bij de volgende vakken? Geef steeds kort aan waarom je dat percentage geeft.
Terug naar het zoeken naar experts op een bepaald onderwerp. Ga naar de zoekmachine naar tweede kamerleden en type na elkaar de volgende vragen in:
We zagen net dat onderwijs goed scoorde maar sociale zaken en
werkgelegenheid niet zo goed. Een paar woorden zijn natuurlijk
ook wel erg weinig om een interessegebied in uit te drukken.
We kunnen dat gelukkig ook uitbreiden. Ga naar de pagina waar de taken van de commissie voor sociale zaken en
werkgelegenheid worden beschreven, en kopieer met Control C
de beschrijving. Ga nu weer naar de zoekmachine naar tweede kamerleden en plak met Control V die hele beschrijving in het zoekveld en zoek opnieuw.
Voor we die vraag beantwoorden kijken we eerst nog even naar de best hoge scores die de politieke zoekmachine kreeg. Stel dat we een gemiddelde reciprocal rank vinden van (1+ 1/3)/2= 2/3=0.66. Is dat nou goed? Om die vraag te beantwoorden kan je het vergelijken door wat je zou krijgen door puur te gokken.
Voor we verder gaan halen we eerst even wat kansberekening bij je op:
Er zijn 150 kamerleden die de zoekmachine kan teruggeven. In elke commissie zitten 25 leden.
Een P@10 van .6 is dus al een erg goede score. Hoe krijgt die zoekmachine dat voor elkaar? Eigenlijk is het idee heel simpel en precies hoe een koppelaarster werkt: van ieder persoon bouw je een profiel op wat zo goed mogelijk die persoon beschrijft. Het koppelen van een onderwerp aan een persoon is eigenlijk niks anders dan het koppelen van 2 personen. Als jij bij een koppelaarster komt vraagt ze je om jezelf te beschrijven. Op basis daarvan maakt ze een profiel van jou. Vervolgens zoekt ze in haar lijst met mogelijke koppelkandidaten diegene wiens profiel het best bij jou (eigenlijk: bij jouw profiel) past.
Stel je begint een dating-site en wilt personen koppelen. Je moet dus voor iedereen een profiel hebben. Je hebt de keuze uit 2 technieken:
Het bouwen van profielen voor politici is best makkelijk want alles wat een politicus in de Tweede Kamer zegt wordt opgenomen en uitgetypt. De makers van de zoekmachine hoefden dus alleen alles wat een kamerlid zei achter elkaar te zetten en op basis daarvan zijn of haar profiel te maken. We zullen nu zien dat jullie zelf ook best makkelijk zo'n zoekmachine kunnen maken.
| Stap 1 | Bepaal een vaste verzameling personen die jouw machine als antwoord kan geven. |
| Stap 2 | Verzamel van al die personen,
|
| Stap 3 | Maak voor elke persoon een webpagina waarin je alle informatie die je in stap 2 hebt verzameld bij elkaar zet, en waarin ook steeds het speciale woord persoonszoeknaamvanjouwschool staat. Een voorbeeld vind je op maak hier een form/template wat makkelijk invulbaar is en wat wij makkelijk kunnen inlezen (bijvoorbeeld het RSS formaat van Anne en keepwolking) |
| Stap 4 | Meld op deze pagina al die paginas aan bij Google, en wacht een tijdje tot ze in de index zitten. |
| Stap 5 | Gebruik nou Google als koppelaarster. Als je op zoekt bent naar een persoon in je groep die van "paarden" houdt, dan typ je in Google de opdracht parden AND persoonszoeknaamvanjouwschool Je zal dan alleen paginas terugkrijgen waarin deze 2 woorden voorkomen. Met het tweede woord zorg je dat je alleen paginas terugkrijgt van personen uit jouw groep. (Als alternatief kan je ook Google's domein-restrictie gebruiken. Google's uitleg. |
We gaan nu de kwaliteit van het gemaakte systeem bepalen.
| Vraag: | ... |
| P@5 : | |
| RR : | |
| ICB: |
| Zoekmachine | Jouw naam | Naam van 2e codeur |
|---|---|---|
| 1 | goed | fout |
| 2 | ||
| 3 | ||
| 4 | ||
| 5 |
In de laatste opdracht heb je gezien hoe Google ingezet kan worden voor hele andere taken dan het voor bedoeld is. Waarschijnlijk zijn je scores niet zo hoog. Dit komt omdat je waarschijnlijk niet zoveel gegevens per kandidaat hebt. Hoe meer data je hebt hoe preciezer de zoekmachine zal worden. Natuurlijk is het gebruik (misbruik?) van Google een erg ruwe manier en kan je veel verbeteren. Maar je kan nu al begrijpen waarom zoveel bedrijven graag heel veel van je willen weten. Zo kunnen ze jou met grote precisie koppelen aan dingen waar jij in geinterreseerd bent en die die bedrijven zeer graag aan je willen verkopen
Ook de makers van deze les zijn niet dom en hebben ondertussen de paginas die jullie bij Google hebben aangemeld in hun eigen persoonszoekmachine gestopt en geheel automatisch een zoekmachine voor jullie groep gemaakt, te vinden op
Voer dezelfde 3 zoekvragen uit op de nieuwe zoekmachine en score weer de resultaten en vergelijk de P@5 en de RR met die van Google. Wie wint?
Als je ideëen hebt om een serieuze persoonszoekmachine te beginnen kan je contact opnemen met maartenmarx@uva.nl en gebruik maken van hetzelfde zoeksysteem naar personen als gebruikt is voor de politici. En als je vanaf nu opeens allerlei aanbiedingen krijgt van spullen die perfect bij je passen, dan gebruikt de afzender vast je profiel....