Blogs

Real time monitoring op grote hoogte

In korte tijd ruwe real time data over consumptiepatronen kunnen verzamelen en omzetten in bruikbare informatie ten behoeve van monitoring, bijsturing en lering. Dat is wat ICCO medewerker Martijn Marijnis en adviseur Machteld Ooijens samen met medewerkers van ICCO Zuid-Amerika in Bolivia wilden uittesten in het kader van het Manq’a programma. De eerste resultaten zijn hoopgevend.

Real time monitoring op grote hoogte

Begin deze maand waren wij in het Boliviaanse El Alto, op de Altiplano: een stad van 1 miljoen inwoners op een hoogte van gemiddeld 4.150 meter naast de even grote stad La Paz. Het is de hoogste stad ter wereld en de snelst groeiende stad van Bolivia. Een fascinerende plek, met geweldige uitzichten op indrukwekkende besneeuwde bergtoppen, zoals de Illimani. Om hier te komen vanuit het zuiden van La Paz, zweven wij 40 minuten lang met de Teleferico over de stad. Deze attractie werd in 2014 gebouwd om de (nog) hoger gelegen buitenwijken van La Paz te verbinden met het centrum en zo de verkeersopstoppingen te verminderen. Voor slechts 3 Bolivianos (€0,40) brengt deze moderne kabelbaan van Oostenrijkse fabricage ons naar El Alto. Het uitzicht is grandioos.

Data laten impact zien

In deze bijzondere omgeving, wordt Manq’a door ICCO en Melting Pot uitgevoerd. Manq'a is een programma dat kansarme jongeren uit de stad El Alto opleidt tot chef-koks die de inheemse keuken promoten, wat de vraag naar biologische streekproducten doet stijgen en waardoor het marktpotentieel voor lokale, kleine boeren verbetert. Het programma is er op gericht jongeren en hun families bewuster te maken van het belang en de rijkdom van de lokale, Boliviaanse en gezondere keuken. Het projectteam heeft behoefte aan data die ons op termijn laten zien wat de impact van het programma is geweest.

We willen graag weten wat mensen in dit gebied overdag zoal eten. Rijst, vlees, aardappelen en fastfood zijn hier vooral geliefd. Maar in hoeverre eten de Alteños nog het traditionele en gezonde quinoa? Of verruilen zij hun traditionele lokale producten voor een “westers” dieet, rijk aan suikers en vetten? Hoe gevarieerd eten mensen hier en staan zij open voor gezonde voeding? En wat vinden ze zelf eigenlijk echt belangrijk bij het kopen van een maaltijd? Zouden mensen wel eens naar een eetcafé willen gaan waar ze het ‘nieuwe’, gezonde eten kunnen komen proeven?

Zo werkt dataverzameling in de praktijk: bekijk onderstaande video.

Dietary Diversity Survey (DDS) en AKVO FLOW

Om deze vragen te kunnen beantwoorden en dergelijke data te verzamelen over de eetgewoonten, werken we met de internationaal erkende Dietary Diversity Survey (DDS) en passen deze iets aan aan de context en de databehoeften van het programma team. DDS meet de toegang van huishoudens tot voedsel, en is een proxy voor de mate waarin een dieet van individuen gevarieerd genoeg is.

Waarom AKVO als tool?

De technologie om onze metingen te doen was die van AKVO FLOW: een mobile device based tool om surveys uit te voeren. Er zijn inmiddels meerdere tools op de markt verkrijgbaar, maar ICCO heeft een strategische samenwerking met AKVO, dus daar haken we graag bij aan. Een voordeel in deze Spaanstalige omgeving is dat de applicatie in het Spaans beschikbaar is. Het werkt alleen op android smartphones of tablets, maar die blijken hier populairder dan de iphones.

Het voordeel ten opzichte van het gebruik van papieren surveys, is de snelheid van interview-afname en verwerking, de kans om minder fouten te maken, en het feit dat je data direct worden doorgezet naar een dashboard, vanwaar uit je waar dan ook ter wereld analyses kunt maken.

Een ander voordeel is dat het afnemen van de surveys offline kan plaatsvinden. Internet (niet altijd beschikbaar in afgelegen gebieden) is dus niet perse nodig. Zodra er internet verbinding beschikbaar is, haalt het systeem automatische alle data binnen. Tot slot krijgen de data points (e.g. huishoudens) een unieke code wat de mogelijkheid geeft, zodat het programmateam in de toekomst een vergelijking van de situatie kan maken. Dit is met het oog op monitoring van veranderingen erg interessant.

Data verwerkt in visualisaties

Het menselijk brein is visueel ingesteld. We kunnen data beter waarnemen en begrijpen wanneer deze in plaatjes, afbeeldingen worden weergegeven. Grafieken kunnen het hele plaatje laten zien, en maken vergelijkingen goed mogelijk. Ze bieden een overzicht van een set van data of een samenvatting van de meest essentiële elementen. Hierdoor zijn afwijkingen en trends beter zichtbaar. Met de ontvangen data via AKVO FLOW kun je analyses maken, als ook visualisaties, in de vorm van bijvoorbeeld grafieken en diagrammen. De tool maakt gebruik van geolocatie (GPS), waardoor je je resultaten ook op een kaart kunt presenteren, vergelijkingen kunt maken tussen locaties en gemakkelijker trends kunt ontdekken. Voegen we hier straks ook nog storytelling aan toe, dan biedt dit de eindgebruiker (denk aan projectmedewerkers zelf, lokale overheden, een financier) een nog veel completer plaatje, nl. een die resoneert op intellectueel en emotioneel niveau.

Maar zoals met alles kent ook het gebruik van datavisualisaties een risico. Het kan zijn dat er te snel conclusies worden getrokken die niet terecht zijn. Ook komt het design en kleurgebruik heel nauw:  een slecht design van een visualisatie  levert onduidelijkheid en verwarring op bij de eindgebruiker.

Geleerde lessen

Ons korte experiment in El Alto leverde een reeks nieuwe lessen op, die het projectteam in Bolivia (en in Colombia, waar Manq’a ook wordt uitgevoerd) goed van pas zullen komen bij de volgende baseline, het ontwerpen van klanttevredenheidsonderzoeken binnen de Manq’a restaurants, en overige vragenlijsten. Conclusies en aandachtspunten die we met de projectteams hebben besproken zijn:

  • Allereerst is het van groot belang dat er analytische capaciteit aanwezig is binnen een projectteam om resultaten goed te analyseren en hierop te sturen.
  • De projectmanager gaf aan dat real time monitoring het projectteam zal helpen besluiten te nemen op basis van accurate data, bij te sturen, te leren en verantwoording af te leggen.
  • De training van de enquêteurs bleek heel eenvoudig. Iedereen was snel vertrouwd met de mogelijkheden van zijn/ haar mobiele telefoon. Zorg van te voren wel dat alle devices goed functioneren en dat de batterijen voldoende geladen zijn.
  • Zorg wel dat iedereen de te stellen vragen goed begrijpt en op uniforme wijze afneemt.
  • Maak gebruik van de mogelijkheid om een foto te maken van de omgeving waarin de respondent verkeert of van de persoon zelf (altijd met toestemming!).
  • Bepaal vooraf hoeveel respondenten je wilt interviewen en of je met een controlegroep wilt werken of niet. In dat laatste geval, is het essentieel dit ook aan te kunnen geven in de tool.
  • Houd de vragenlijst eenvoudig en niet te lang. Denk dus goed na over welke informatie je echt nodig hebt. Risico van baseline exercities is bijvoorbeeld dat allerlei informatie van te voren als belangrijk wordt ingeschat, maar tijdens de uitvoering nooit wordt benut. Daarbij vraagt het opstellen van een goed survey veel denkwerk, training en ondersteuning, dus keep it simple and relevant.

Dat de mobiele telefoon ook hier op 4.000 meter hoogte geen nieuw fenomeen is, is duidelijk. Terwijl onze enquêteurs met de mobiele telefoon hun vragenlijst aflopen, zie ik Indiaanse Boliviaanse dames (de cholitas), met de bolhoedjes die los op hun hoofd staan, hun eigen telefoon uit hun plooirok halen om hun inkopen per telefoon te doen. Benieuwd hoe gezond en lokaal deze inkopen zijn.

Dit blog is geschreven door consultant Machteld Ooijens en ICCO medewerker Martijn Marijnis. Meer informatie: www.partneringforsocialimpact.com