Methodologie

Impact is onze Poolster. Bij alles wat we doen, proberen we een positieve impact te genereren in het leven van boeren. Daarom is het van cruciaal belang dat we de impact meten die we hebben op de productiviteit en het inkomen van boeren. Hierdoor kunnen we prioriteit geven aan producten met de grootste impact, producten met een lage impact uitfaseren en voortdurend de impact verbeteren van de producten en diensten die we aanbieden. Hieronder vind je een gedetailleerd overzicht van de manier waarop we onze impact meten.

Impact definiëren

Voor elk programmagebied (elk land, elk programma) proberen we het volgende te meten:

Totale impact = (aantal boeren) x (impact per boer)
 

Voor elk programma afzonderlijk proberen we inzicht te krijgen in de totale impact die we genereren voor boeren. Dit stelt ons in staat om middelen toe te wijzen aan programma's met de grootste impact en om te bepalen hoe we die impact in de toekomst kunnen verbeteren (zie voor meer informatie deze paper uit het Stanford Social Innovation Review). Voor de meeste van onze programma's definiëren we impact als $ USD aan nieuwe winst die is gegenereerd voor boeren, omdat dit een goed vergelijkbare maatstaf is en van centraal belang is voor boeren, die krediet opnemen om onze diensten te betalen. We kijken echter ook steeds meer naar indicatoren van de kwaliteit van leven zoals honger en schoolprestaties.

De vier redenen waarom we meten.

We meten de impact om vier redenen:

1. Bewijzen. We zijn het aan boeren en donateurs verplicht om onze impact te bewijzen. We gebruiken impactgegevens ook om beslissingen te nemen over de toewijzing van middelen.
2. Leren. We leren en evalueren voortdurend, zodat we elke afzonderlijke programmeerunit kunnen verbeteren.
3. Verbeteren. Impactgegevens helpen ons nieuwe levensverbeterende producten te ontwikkelen.
4. Handhaven. We gebruiken onze impactgegevens om de operationele consistentie in alle regio's te handhaven.
    

1) Bewijzen - aan onszelf en aan onze donateurs

Een deel van onze metingen is bedoeld om onze fundamentele impact op het leven van boeren aan te tonen, voornamelijk omdat we de verplichting hebben om na te gaan of de leningen die zij afsluiten een gezond rendement opleveren. Daarnaast worden donateurs steeds slimmer en eisen ze solide gegevens op basis waarvan ze weloverwogen beslissingen kunnen nemen over de toewijzing van hun geld. Ten slotte helpt inzicht in de totale impact van elk van onze individuele programma's ons om middelen toe te wijzen aan verschillende programma's.

Voor een gedetailleerde blik op onze methodologie, zie onze impactstudies. De basisprincipes zijn:

• Gegevenskwaliteit: We hebben veel geïnvesteerd in gegevenskwaliteit. Elk jaar wegen we bijvoorbeeld fysiek de oogsten van duizenden boeren. Ongeveer 10 procent van de boeren krijgt nogmaals controle van een tweede enquêteur om de integriteit van de gegevens te waarborgen. Alle gegevens die op papier worden verzameld, worden twee keer ingevoerd om fouten te voorkomen. We hebben ook een analyse- en methodespecialist in dienst die zich richt op het waarborgen van de nauwkeurigheid en kwaliteit van onze metingen.
• Geloofwaardige selectie van vergelijkingsgroepen: we pakken 'selectievertekening' steeds vaker aan door middel van verschillende methoden, waaronder het vergelijken van 'behandelde' cliënten met nieuw ingeschreven cliënten (zeer vergelijkbare mensen), behandelde cliënten met 'waarschijnlijk ingeschrevenen' (die worden gecontroleerd op vergelijkbaarheid met behulp van hoogwaardige technieken), verschil-in-verschil van een nieuw behandelde cliënt van jaar tot jaar terwijl wordt gecontroleerd voor de trend in de tijd, en waar mogelijk, gerandomiseerde gecontroleerde onderzoeken (RCT's).
• Dekking: We streven naar een maximale steekproefdekking in al onze operationele eenheden, zodat we over elke eenheid iets kunnen leren. Het zou mogelijk zijn om als organisatie maar een paar honderd oogstonderzoeken te doen en toch kwaliteitsvolle impactgegevens te genereren. Maar we zijn geïnteresseerd in resultaten voor elk land en elke regio binnen elk land. We passen strenge methoden toe in een zo groot mogelijk dekkingsgebied, wat betekent dat we duizenden boeren moeten bemonsteren.
• Plus nauwkeurigheid: Af en toe voeren we ook strengere en duurdere evaluaties uit van kleine gebieden, om de nauwkeurigheid van onze methoden met een groter bereik te verfijnen en te verifiëren. 
   

2) Leren - leren zodat we elke afzonderlijke programmeerunit kunnen verbeteren.

Wanneer we onze impact 'bewijzen', verzamelen we ook een schat aan informatie die gebruikt kan worden om elk van onze programmeerunits te verbeteren. Dit wordt het best geïllustreerd aan de hand van het volgende voorbeeld.

Casestudie Burundi: Verbeteren door M&E
De eerste stap in verbetering is het ontdekken van het probleem. In het eerste seizoen dat we in Burundi werkten, ontdekte onze M&E-afdeling dat de boeren onze plantmethoden nauwelijks naleefden. De velden in Burundi waren erg 'rommelig' en de boeren negeerden onze training voor boeren grotendeels. Dit resulteerde in lage oogstresultaten en ons programma leverde bijna geen verbetering op in de winst van de boerderij.

Sindsdien hebben we veel aandacht besteed aan de naleving van de aanplantregels. We verplichtten elke boer in ons programma om minstens één 'modeltuin' (100 vierkante meter) te beplanten volgens de ideale beplantingsmethoden. Na verloop van tijd zagen de boeren goede oogstresultaten en begonnen ze steeds meer van hun land te beplanten volgens de 'model'-technieken, waardoor uiteindelijk het grootste deel van hun velden werd beplant. Gedurende het hele proces hielp onze M&E ons om richting te geven. Het liet ons zien hoeveel beter de 'modeltuinen' presteerden en hoeveel dekking we bereikten met 'model'-planttechnieken in elk werkgebied. Vandaag de dag is Burundi drastisch verbeterd, met een aanzienlijke toename van de winst per klant.
 

3) Verbeteren - nieuwe levensverbeterende producten en diensten ontwikkelen.

Naast onze reguliere M&E-programma hebben we ook een hele afdeling productinnovatie die constant experimenteert met nieuwe producten. We voeren elk jaar minstens 40 onderzoeken uit, elk met minimaal 100 boeren en sommige met duizenden boeren.

Casestudie zonlicht: Verbeteren door M&E.

Momenteel gebruiken boeren kleine, schemerige, rokerige kerosinelampen om hun huizen te verlichten. Deze lampen kosten veel geld om elke dag te laten branden en produceren licht van slechte kwaliteit. In 2011 is One Acre Fund begonnen met een reeks onderzoeken (waaronder twee RCT's) om het effect op huishoudens te evalueren van de verkoop van zonnelampen aan boeren. In elk onderzoek schreven boeren zich in om onze lampen te kopen en we selecteerden willekeurig een controlegroep uit de boeren die het licht pas later zouden krijgen. Vervolgens volgden we dagelijks de energie-uitgaven van het huishouden voor de testgroep en de controlegroep. Er waren opvallende verschillen en duidelijke besparingen op de energiekosten voor de bezitters van een lamp op zonne-energie, evenals een significante toename van het aantal uren dat kinderen studeerden dankzij het licht van betere kwaliteit.

One Acre Fund is nu een van de grootste verkopers van zonnelampen in Afrika.

Onze productonderzoeken omvatten een breed scala aan experimentele methoden, maar in de meeste gevallen wijzen we het product willekeurig toe aan boeren om de werkelijke impact nauwkeurig te kunnen beoordelen. We hebben onder andere dagelijks logboeken van energieverbruik bijgehouden om de impact van zonnelampen te meten, evenals A-versus-B-testen op duizenden individuele boerderijen om de ene plantmethode versus de andere te testen, en participatieve gebruikerstesten en mensgericht ontwerpen in de vroege stadia van productontwikkeling.
 

4)  Handhaven - operationele consistentie in verschillende regio's

One Acre Fund heeft fulltime veldmedewerkers op meer dan 4.500 plattelandslocaties, verspreid over negen Oost-Afrikaanse landen. Het is een grote uitdaging om ervoor te zorgen dat we een programma van hoge kwaliteit implementeren in elke regio waar we actief zijn. Om ervoor te zorgen dat ons programma, dat is aangepast aan de lokale context, op een consistente manier wordt geïmplementeerd, verzamelen we wekelijks belangrijke prestatie-indicatoren (KPI's) die nauwkeurig worden bekeken door teammanagers. We gebruiken deze gegevens (bijv. percentage terugbetaling, percentage dat een training bijwoont) om te zien welke gebieden het moeilijk hebben, zodat we corrigerende maatregelen kunnen nemen, en om gebieden te identificeren die het bijzonder goed doen in onze programma's. KPI's dienen als kwaliteitscontrolemechanisme voor ons programma.

We verzamelen niet alleen stapels gegevens van onze programmamedewerkers, maar ook cruciale informatie rechtstreeks van onze klanten. We observeren rechtstreeks duizenden boeren bij het planten van hun gewassen om te begrijpen in welke mate onze training gedrag daadwerkelijk verandert. We hebben ook telefonische klantenservicelijnen, zodat boeren een directe lijn hebben om hun klachten, complimenten en ideeën met ons te delen.