Een uitnodiging tot data science met R

Door Frank van der Meulen (Technische Universiteit Delft en ProjectsOne)

Veel data analyse vindt nog steeds plaats in spreadsheetprogramma’s als Excel. Maar is dit wel zo handig? Daar is geen eenduidig antwoord op. Sommigen onder ons zijn ware Excel experts en kunnen verrassend veel bewerkingen gedaan krijgen binnen dit pakket. Het gaat dan om “data-handling”, het bewerken van de data naar een wat prettiger vorm. Draaitabellen zijn hier een onderdeel van. Er kleven echter ook wat nadelen aan zo’n aanpak:

• Excel is traag met grote databestanden;
• Excel is zeer beperkt in statistische methoden; • de workflow is niet eenvoudig reproduceerbaar.

Om aan het tweede bezwaar tegemoet te komen is binnen de lean-six-sigma gemeenschap het pakket Minitab een welbekende aanvulling. Copy-paste de data van Excel naar Minitab (of lees direct in in Minitab), en voer aanvullende statistische analyses uit in Minitab. De gebruikersvriendelijkheid van Minitab is voor veel mensen een groot voordeel. Echter, wat minder bekend lijkt te zijn, is dat het pakket zich beperkt tot eenvoudige statistische analyses. Afhankelijk van de gegeven data kan dit voldoende zijn, maar aangezien we steeds meer data verzamelen, met toenemende complexiteit van databestanden, is het steeds vaker het geval dat dit onvoldoende is.

En zodra over grote databestanden gesproken wordt, valt de term “machine learning” al snel, als ware het een magisch middel dat de informatie uit de data tevoorschijn tovert. Talloze tutorials zijn er op te vinden op internet waar methoden met prachtige namen als “random forest”, “gradient boosting machine”, “support vector machines” toegepast worden op een keurige dataset. Dat is interessant, maar veelal zit in het voorbewerken van de data veruit de grootste inspanning, alvorens dit soort methoden toegepast kan worden.

Lees verder door hieronder het volledige artikel te downloaden.