Table of Contents
- 1 Imports, inlezen en cleanen data
- 2 Hoe vaak welke oplossing?
- 3 Hoe vaak welke oplossing per kind?
- 4 Grote stad versus de rest van het land
- 5 Exploratory data analysis
- 6 2018-03-14 , wat is dat voor dag?
- 7 Hetzelfde maar nu per uitgevallen klas
- 8 Plotly opdracht
- 9 Pas op, er zitten gekke waardes in het aantal leerlingen
Imports, inlezen en cleanen data¶
In [1]:
%matplotlib inline
import pandas as pd
import seaborn as sns
import numpy as np
In [50]:
! head -5 export.csv # hoe ziet het spreadsheet er uit?
In [2]:
lt=pd.read_csv('export.csv', sep=';',
error_bad_lines=False,header=None)
lt.head()
Out[2]:
In [5]:
# Cleaning
for c in [1,2,3,5]:
lt[c]=lt[c].str.strip().str.lower() # namen schoonmaken
lt[0]=pd.to_datetime(lt[0]) # datums goed
lt=lt[(lt[0].dt.year==2018)&(lt[0] <pd.Timestamp.today()) ] # restrictie tot data uit 2018
lt= lt.drop(6, axis=1) # weg met die gekke kolom
lt.columns = ['datum','school','plaats','groep','AantalKinderen','oplossing'] # even goede namen geven
lt.head()
Out[5]:
Hoe vaak welke oplossing?¶
In [6]:
lt.oplossing.value_counts()
Out[6]:
In [12]:
lt.oplossing.value_counts().plot(kind='barh');
Hoe vaak welke oplossing per kind?¶
- Dus we willen per oplossing het totaal (som) aantal kinderen weten.
- Misschien geeft dat wel een heel ander beeld.
- Hoe heet die operatie in Database jargon?
In [11]:
lt.groupby('oplossing')['AantalKinderen'].sum().sort_values().plot(kind='barh');
Grote stad versus de rest van het land¶
We kijken of de oplossingen verschillen in de grote stad van de oplossingen elders. We nemen Amsterdam als voorbeeld.
De grafiek laat voor elke oplossing zien hoe vaak die procentueel gekozen wordt als er een klas uitvalt.
We zien dat de "noodoplossingen" veel vaker voorkomen in Amsterdam dan elders.
In [16]:
lt_ams=lt[lt.plaats.str.contains('amsterdam')].groupby('oplossing')['AantalKinderen'].sum()
lt_not_ams=lt[~lt.plaats.str.contains('amsterdam')].groupby('oplossing')['AantalKinderen'].sum()
ams_vs_rest=pd.DataFrame([lt_not_ams ,lt_ams ] ).T
ams_vs_rest.columns=['Rest', 'Amsterdam']
ams_vs_rest.index.name='Oplossing'
ams_vs_rest.sort_values('Amsterdam', ascending=False)
Out[16]:
In [18]:
title='Percentage oplossingen per kind in een uitgevallen klas in Amsterdam en in de rest van Nederland'
(ams_vs_rest/ams_vs_rest.sum()).sort_values('Amsterdam').plot(kind='barh',title=title , figsize=(15,7));
Exploratory data analysis¶
- Zitten er vreemde uitschieters in?
- Vooral in de kolom met het aantal kinderen.
In [19]:
sns.kdeplot(lt.AantalKinderen);
In [34]:
lt.sort_values('AantalKinderen', ascending=False).head(10)
Out[34]:
In [43]:
pd.concat([lt[lt.AantalKinderen<0] , lt[lt.AantalKinderen>100 ]])
Out[43]:
2018-03-14 , wat is dat voor dag?¶
- Is dat de dag met de meeste kinderen niet naar school?
- heel veel hele scholen tegelijk, is dat soms een stakingsdag?
In [49]:
lt.groupby('datum')['AantalKinderen'].sum().sort_values(ascending=False).head(5)
Out[49]:
Hetzelfde maar nu per uitgevallen klas¶
In [57]:
ams_vs_rest=pd.DataFrame([lt_not_ams[5].value_counts(),lt_ams[5].value_counts()] ).T
ams_vs_rest.columns=['Rest', 'Amsterdam']
ams_vs_rest.index.name='Oplossing'
ams_vs_rest.sort_values('Amsterdam', ascending=False)
Out[57]:
In [59]:
title='Percentage oplossingen per uitgevallen klas in Amsterdam en in de rest van Nederland'
(ams_vs_rest/ams_vs_rest.sum()).sort_values('Amsterdam').plot(kind='barh',title=title );
Plotly opdracht¶
Maak een interactieve tabel waarin je een plaats (of een school) kunt kiezen, en die wordt dan vergeleken met de rest.
Hier zijn allerlei varianeten op te verzinnen.
- regios tegen elkaar
- soort klas tegen andere soort
Pas op, er zitten gekke waardes in het aantal leerlingen¶
In [67]:
lt_ams[4].plot()
lt_ams[4].describe()
lt[lt[4]>100].head()
Out[67]:
In [76]:
sns.kdeplot( lt[4]);
In [ ]: