Strenge evaluaties

Bij One Acre Fund gebruiken we twee belangrijke meetstrategieën.

Ten eerste (zie Methodologie) voeren we routinematig ongeveer 10.000 fysieke oogstmetingen per jaar uit, voor een groep boeren die is ingeschreven in One Acre Fund versus een vergelijkbare controlegroep van niet-One Acre Fund-boeren uit dezelfde dorpen die onderhevig zijn aan dezelfde agro-ecologische omstandigheden.

We controleren statistisch voor alle waarneembare verschillen tussen programmaboeren en de controlegroep. Deze brede steekproef stelt ons in staat om elk land en bijna elk gewas te bestrijken en om de verschillende prestaties van onze bedrijfseenheden binnen landen te begrijpen. We kunnen zo bijvoorbeeld ontdekken dat onze impact op de bonenoogst in een bepaald district zwak is en daarom meer energie steken in een ander gewas voor dat district. Deze zeer bruikbare informatie is relatief eenvoudig in het veld uit te voeren. We gebruiken praktische analytische hulpmiddelen zoals 'propensity score matching' om eventuele verschillen tussen onze test- en controlegroepen weg te werken. Deze brede meetbenadering stelt ons in staat om onze impact voortdurend te verbeteren.  

Ten tweede controleren we deze schattingen periodiek op vertekening door middel van zeer strenge meetmethoden: gerandomiseerde gecontroleerde onderzoeken (RCT's) en verschil-in-verschil-schattingen. 

We gebruiken deze studies van hogere kwaliteit om te controleren of onze meer routinematige meetmethoden geen significante vertekening in hun schattingen hebben. Deze onderzoeken zijn aanzienlijk moeilijker uit te voeren en we doen ze noodgedwongen in één regio van een land en voor één gewas. Deze diepgaande evaluaties stellen ons in staat om periodiek onze impact en doorlopende meting te bewijzen.

• In RCT's nemen we een groep boeren die zich hebben opgegeven voor ons programma en wijzen we willekeurig toe dat ze One Acre Fund-programma ontvangen (test), versus een groep die in plaats van een landbouwprogramma een klein compensatiepakket ontvangt (controle). Vervolgens kijken we wat de resulterende impact is op de oogsten in de testgroep. Dit is extreem moeilijk om uit te voeren, omdat het inhoudt dat we een groep boeren teleurstellen die zich hebben opgegeven voor ons programma, en hen datgene onthouden waarvan wij denken dat het een gunstig programma is. RCT's zijn ook kwetsbaarder voor regiospecifieke effecten (zoals ziekten en droogte), waardoor ze minder te generaliseren zijn naar de impact van het programma. Daarom gebruiken we RCT's spaarzaam.
   
• Bij verschil-in-verschil-analyses meten we de oogst van een boer in een basisjaar 1, voordat hij zich bij One Acre Fund heeft aangesloten, en dan volgen we hem in jaar 2, nadat hij zich bij One Acre Fund heeft aangesloten. We zien altijd een grote toename in oogst. Natuurlijk is de grootste kritiek hierop dat jaar 2 misschien beter weer had, wat een betere oogst veroorzaakte – en dat de toename dus niet werd veroorzaakt door het programma van One Acre Fund. Daarom nemen we ook een controlegroep op die niet het programma van One Acre Fund ontvangt en meten hun oogsten in jaar 1 vs. jaar 2. Elk verschil hier zou veranderingen in klimatologische omstandigheden moeten weerspiegelen, en daar corrigeren we voor. Het 'verschil-in-verschil' toont de impact van One Acre Fund-programma. Deze verschil-in-verschil-analyses zijn weer moeilijk uit te voeren omdat het gaat om twee opeenvolgende oogstmetingen voor een panel van boeren die we over meerdere jaren moeten volgen, maar ze zijn niet zo moeilijk uit te voeren als RCT's.

Hieronder staat een tabel met een samenvatting van de belangrijkste rigoureuze onderzoeken die One Acre Fund heeft uitgevoerd. Over het algemeen zijn we van mening dat het bewijsmateriaal wijst op een redelijke consistentie tussen onze routinemetingen en de zeer strenge experimentele ontwerpen die we gebruiken.

  Wel willen we aanraden niet te veel gewicht te hechten aan deze zeer beperkte studies. Vooral in de landbouw is One Acre Fund van mening dat elke studie over één jaar, één gewas of één locatie kan lijden onder een grote verscheidenheid aan onverwachte omgevingsfactoren die de algemene representativiteit van de resultaten verminderen. (Bijvoorbeeld, onze RCT in 2017 in het Teso district van Kenia had een onverwachte uitbraak van de legerrups (Spodoptera frugiperda) en we waren verrast om te ontdekken dat meer dan de helft van de controlegroep eerder had deelgenomen aan het programma van One Acre Fund door te 'pendelen' naar naburige gebieden).  Dit soort beperkingen versterkt het belang van onze interne metingen, die we delen op onze impactpagina's, die representatiever zijn voor het scala aan gewassen en de locaties waar we werken. 

Momentopname van de rigoureuze onderzoeken van One Acre Fund.

Opmerking: sommige onderzoeken richtten zich op het meten van opbrengstverbetering en andere op inkomensverbetering.

* Significantie werd gemeten aan de hand van de oogstresultaten van elk onderzoek. Waar winstresultaten worden gerapporteerd, gebruikte One Acre Fund de rigoureus verzamelde gegevens over input, arbeid en alle andere kosten van de landbouw om de incrementele winst te berekenen.

** We presenteren de RCT-resultaten alleen voor maïswinsten, terwijl de interne M&E-meting ook bonenwinsten omvat. Dit komt doordat het voor ons een uitdaging was om voldoende en betrouwbare gegevens over bonenoogsten te verzamelen in de RCT. Onze interne metingen laten echter bijna geen bonenimpact van deelname aan het programma zien, dus we denken dat de twee metingen ongeveer vergelijkbaar zijn.

**** One Acre Fund (in tegenstelling tot onafhankelijke onderzoekers) is van mening dat er in 2009 sprake was van gelijktijdige droogte en lagere maïsprijzen in vergelijking met 2014, waardoor de basiswinst laag was, wat resulteerde in een lagere dollarimpact. De veranderende praktijk van boeren op hun 'controlepercelen' als gevolg van de specifieke aanpak van randomisatie die werd gebruikt, kan ook van invloed zijn geweest op de impact in %. Zie de gedetailleerde beschrijving hieronder voor meer informatie.
 

Details over strenge evaluaties

RCT 2019-2020 in de districten Kericho en Uasin Gishu, Kenia

• Onderzoek naar de impact van het grevillea-programma (houtboomplantprogramma) van One Acre Fund in het plantseizoen met langdurige regens in 2019 in twee districten in Kenia; met behulp van een geclusterd, gerandomiseerd controleonderzoek. Het onderzoek werd uitgevoerd door evaluatiebureau Laterite.

Uit de onafhankelijke evaluatie kwam het volgende naar voren:

• Een jaar na deelname aan het programma kweekten 1AF-boeren 7,5 extra grevilleabomen (ten opzichte van controleboeren); met een hoge statistische significantie (p<0,001). Dit aantal neemt toe tot 31,2 extra grevilleabomen wanneer de analyse beperkt wordt tot 'adopters' (de subgroep van boeren die met succes zaden ontkiemden en zaailingen in de grond plantten).  Het meenemen van alle inkomsten en kosten voor de boer over een periode van tien jaar levert een netto contante waarde (NCW) op van $ 14,57 per boom, wat neerkomt op $ 109 NCW per deelnemende boer (of $ 455 per adoptieboer) van slechts één jaar bomen planten in 2019.
• Deze bevindingen zijn aanzienlijk hoger dan de interne bevindingen van One Acre Fund in Kenia in 2019 (3,7 extra bomen per boer, tegen $ 5,18 NCW per boom).  One Acre Fund is van mening dat de twee districten waar de evaluatie plaatsvond een meer gastvrij gebied zijn voor het planten van bomen (bijv. lokale marktprijzen per boom zijn aanzienlijk hoger) in vergelijking met de 40 districten waar de boomplanting (en meting) van One Acre Fund plaatsvond. Hoewel deze lagere interne (zelfgerapporteerde) impactresultaten op zichzelf geen bewijs zijn voor de nauwkeurigheid van de interne meetmethoden van One Acre Fund, geloven we wel dat ze een indicatie zijn voor de strenge, conservatieve aanpak die One Acre Fund tot nu toe heeft gehanteerd bij het schatten van de impact van de bomen.
• One Acre Fund gelooft dat de hoge (financiële) impact die gevonden is in dit onderzoek en de interne resultaten, in combinatie met de materiële milieuvoordelen van het planten van bomen (niet opgenomen in dit onderzoek), de waarde aantonen van het planten van bomen als een product voor vermogensopbouw voor de armen op het platteland.

Zie de definitieve evaluatie van Laterite hier en de interpretatiememo van One Acre Fund voor meer details.

2017 RCT in Teso district, Kenia

• Onderzoek naar maïs en bonen in het plantseizoen met langdurige regens van 2017 in één district van Kenia. We werkten samen met meetbedrijf 3ie om het experimentele ontwerp te valideren, Intermedia Development Consultants controleerde de gegevensverzameling steekproefsgewijs en academicus Emilia Tjernstroem van de University of Wisconsin-Madison zal de resultaten onafhankelijk analyseren.

• Wegens gebrek aan uitbreidingsgebied werd het onderzoek gestart in een gebied dat grenst aan waar One Acre Fund al enkele jaren diensten aanbiedt; we ontdekten tijdens het onderzoek dat bijna tweederde van de 'controle'-boeren eerder naar ons programma had 'gependeld', een onverwacht hoog aantal. We verwachtten daarom dat onze primaire steekproef een lagere impact zou laten zien dan onze interne M&E, die gebruikmaakt van controleboeren die niet eerder met het programma in aanraking zijn geweest. Het onderzoek vond ook plaats tijdens een uitbraak van een leggerrupsplaag; in zo'n omgeving verwachtten we dat het absolute verschil tussen de winst van One Acre Fund en die van de controleboeren lager zou zijn.
   

  De onafhankelijke analisten vonden het volgende:
   

• Zeer statistisch significant effect op zowel de oogst als de opbrengst, waarbij de boeren van One Acre Fund 274 kg extra maïs per boer oogsten. Zeer statistisch en economisch significante winstimpact op maïs ($ 62 en een verbetering van 18,5%).
   
• De dollarimpact was lager dan wat One Acre Fund vond in de interne landelijke impact van datzelfde jaar, maar het onderzoek werd uitgevoerd in een district met een lagere opbrengst. Toen we de interne impactresultaten in de districten rondom de RCT-studie vergeleken, waren ze opmerkelijk vergelijkbaar.
   
• In het daaropvolgende jaar schreef het merendeel van de deelnemers aan het onderzoek (zowel de behandelgroep als de controlegroep) zich in bij One Acre Fund. De behandelgroep schreef echter statistisch significant meer land in dan de controlegroep. Deze 'verdubbeling' van hun eerdere investering laat de waarde zien die boeren ervaren in het programma, en zou een vermenigvuldigend effect kunnen hebben, aangezien de winst van het ene jaar wordt omgezet in nog grotere investeringen in het volgende jaar.

Lees voor meer details het eindrapport en de memo over de interpretatie van One Acre Fund.

2014-2015 Verschil across Kenia, Tanzania, Burundi

• Onderzoek naar maïs in Kenia en Tanzania, en bonen in Burundi, tijdens de primaire plantseizoenen van 2014 en 2015 in elk land (Rwanda uitgesloten vanwege de timing).
   
• We vergeleken de basisoogst van One Acre Fund-boeren die zich in 2014 inschreven (voordat ze enige impact van het programma ontvingen), met de oogst van dezelfde boeren een jaar later (nadat ze interventie van het programma ontvingen). Om de 'jaartrend' te neutraliseren, namen we een controlegroep en vergeleken we hun oogsten van 2014-2015. De impact werd gemeten als het verschil tussen de verandering in de opbrengsten van elke groep van 2014 naar 2015.

• In de samenvattende tabel hierboven vond het onderzoek zowel: (1) zeer statistisch significante effecten (p<0,01) van One Acre Fund-programma op de opbrengsten in alle drie landen; en (2) een hoge consistentie met onze routinematige interne M&E over dezelfde periode.

  Zie hier voor meer informatie over onze verschil-in-verschil-analyse van 2014-2015 en de bevindingen van onze verschil-in-verschil-analyse van 2015-2016 in Kenia.
   

Gerandomiseerde gecontroleerde onderzoeken ( RCT's) in 2014, Busia district, Kenia

• Onderzoek naar maïsopbrengsten in het plantseizoen met langdurige regens in 2014 in één district in Kenia.  Evaluatiebureau ID Insight analyseerde de gegevens en bracht onafhankelijk verslag uit van de bevindingen.
   
• Met behulp van een RCT-ontwerp schreef het onderzoek 6 'locaties' van boeren in het district Busia in, waarna willekeurig 2 'locaties' (controlegroep) werden verwijderd. De resultaten van het onderzoek (32% opbrengstverbetering, die One Acre Fund omrekende naar een winstverbetering van 31% of $ 91) waren consistent (eigenlijk iets hoger dan onze routinematige interne M&E dat jaar in heel Kenia), zoals de samenvattende tabel hierboven laat zien. Het significantieniveau van de opbrengstverbetering was p = 0,01, maar na correctie voor het lage aantal randomisatie-eenheden met behulp van een 'wild cluster bootstrap', daalde het significantieniveau naar p = 0,09. Een belangrijk leerpunt was dat zelfs met 1.200 onderzochte individuele boeren, de keuze om op siteniveau te randomiseren de studie sterk ondermaats maakte, een leerpunt dat van invloed was op onze RCT van 2017. 
   
• One Acre Fund zette het onderzoek voort in 2015 en vond vrijwel identieke gemiddelde opbrengsten voor de boeren in de 4 programmalocaties van het voorgaande jaar (1.031 kg/acre) en die op de 2 controlelocaties van het voorgaande jaar die zich nu mochten inschrijven in 2015 (1.032 kg/acre).  Hoewel deze bevinding de beperkingen van een onderbezette RCT niet volledig kan overwinnen, ondersteunt het wel het idee dat de waargenomen oogsteffecten in 2014 te wijten waren aan ons programma en niet het resultaat waren van locatie-specifieke effecten in de 6 bestudeerde gebieden.

Zie het artikel van IDInsight hier en de memo over de interpretatie van One Acre Fund voor meer details

2009 RCT in Chwele district, Kenia

• Een groep onafhankelijke onderzoekers bestudeerde de maïsopbrengst in het plantseizoen met langdurige regens in 2009 in een district in Kenia.
    
• Aangezien dit ons derde jaar was, waren de belangrijkste doelen het bepalen van de effectiviteit van onze interne M&E en het genereren van kennis om ons programma te verbeteren.
   
• Door gebruik te maken van een RCT-opzet vond het onderzoek een winstverbetering van 40% (of $ 30) voor maïs door One Acre Fund-programma. Onafhankelijk van de onderzoekers is One Acre Fund van mening dat een deel van de lage dollarimpact te wijten is aan unieke omstandigheden in 2009, waaronder droogte, lage maïsprijzen en boeren die de praktijk op hun 'controlepercelen' veranderden als gevolg van de specifieke benadering van randomisatie die werd gebruikt. Desalniettemin vonden we, volgens onze onafhankelijke analyse, dat de oogstresultaten significant zijn met een significantieniveau van p=0,001. Deze resultaten verschilden aanzienlijk van de interne M&E-resultaten in 2009, die een verbetering van 100% (of $ 120) van de maïswinst lieten zien in heel Kenia, wat leidde tot een aantal belangrijke wijzigingen in onze interne M&E-methodologie, waaronder de selectie van de controles en het vastleggen van de landbouwkosten.  
   
• De RCT toonde ook aan dat sommige boeren een negatief rendement hadden op hun investering in landbouwproductiemiddelen en dat One Acre Fund beter gesitueerde (maar nog steeds arme) boeren selecteerde - beide redenen tot zorg.  Als gevolg van het onderzoek hebben we in de daaropvolgende jaren onze programma's gediversifieerd naar andere gewassen en energieproducten en hebben we een innovatieteam voor de landbouw opgezet om de impact te verbeteren, de screening van klanten en onderzoeken naar niet-klanten te verbeteren en ons oogstverzekeringsprogramma te lanceren.

Zie de interpretatienota van One Acre Fund voor meer informatie.

Andere evaluaties (niet weergegeven in de overzichtstabel)

• Onderzoek naar lampen op zonne-energie (2011-2013):  we zijn nu een van de grootste verkopers van lampen op zonne-energie in Afrika. Voordat we deze producten op de markt brachten, hebben we in 2011 in Kenia en in 2013 in Rwanda RCT's uitgevoerd om de kostenbesparingen van de aanschaf van een zonnelamp in te schatten. We schatten dat een gemiddeld huishouden door de aanschaf van een zonnelamp ongeveer $ 0,50 per week bespaart op uitgaven voor kerosine, batterijen en het opladen van de mobiele telefoon. Over een periode van drie jaar is de NCW (netto contante waarde) van deze besparingen ongeveer $ 66, vergeleken met een aankoopprijs van $ 15 - $ 40, afhankelijk van het model lamp. We hebben gemerkt dat onze interne onderzoeken naar de impact van lampen op zonne-energie rigoureuzer zijn opgezet dan de meeste gepubliceerde onderzoeken over dit onderwerp. De samenvattende bevindingen van ons onderzoek zijn beschikbaar in ons samenvattend rapport over onderzoeken naar lampen op zonne-energie.

Bij One Acre Fund zijn we ervan overtuigd dat metingen op hun best zijn als ze leiden tot voortdurende verbetering van de programma's die we aanbieden en de impact die we genereren voor boerenfamilies. Onze routinematige, interne M&E maakt een ongelooflijk brede meting mogelijk - in alle landen, bij alle gewassenfamilies en in de loop van de tijd, waardoor we onze impact kunnen verbeteren. Tegelijkertijd gaat deze reikwijdte ten koste van de nauwkeurigheid, omdat we ons programma niet willekeurig kunnen toewijzen aan boeren met die reikwijdte en selectievooroordelen niet volledig uit onze schattingen kunnen verwijderen.  Onze periodieke evaluaties zorgen voor rigoureuzere metingen (RCT's, verschuil-in-verschil-analyses), waardoor we onze impact kunnen bewijzen, maar dit gaat ten koste van de representativiteit. Daarom hebben we ze voornamelijk gebruikt om de nauwkeurigheid van onze routinematige, interne M&E te testen en aan te tonen. We blijven ons inzetten voor donateurs, beleidsmakers, praktijkmensen, medewerkers en, het allerbelangrijkste, onze klanten om onze resultaten steeds beter te meten.