Évaluation de la stratégie 2017–2021

Septembre 2017 – décembre 2021 : 54 Clubs d’Intégrité, 810 élèves formés et des comptes audités chaque année, pour 251 077 USD reçus sur 575 000 USD prévus. Une stratégie juste, mais des cibles trop loin des moyens.

Télécharger le rapport (PDF)

1

À propos de ce rapport

AuteursL’équipe de suivi, d’évaluation et d’apprentissage de CERC

Le rapport a été préparé par l’équipe de suivi, d’évaluation et d’apprentissage de CERC, avec la direction exécutive et l’équipe des finances.

Les opinions, conclusions et recommandations de ce rapport sont celles de l’équipe d’évaluation. Elles n’engagent pas les bailleurs et partenaires qui ont financé les projets évalués.

RemerciementsMerci

CERC remercie les élèves, les enseignants, les chefs d’établissement et les facilitateurs des Clubs d’Intégrité d’Uvira et de Bukavu, qui ont porté cette stratégie sur le terrain, ainsi que ses partenaires :

  • Integrity Action, avec NORAD et Sida
  • Le Département d’État des États-Unis (INL), à travers Accountability Lab
  • Twilio
  • Microsoft
  • La Coalition CNUCC
  • L’USAID, à travers IREX
  • Le Partenariat mondial pour l’éducation, à travers Oxfam IBIS
  • Les autorités éducatives du Sud-Kivu et de Kinshasa, et le cabinet Group BEAG, qui a audité nos comptes

CERCCentre de Recherche sur l’Anti-Corruption

CERC est une organisation non gouvernementale (ONG) enregistrée (numéro d’enregistrement : F.92/42579) dotée de la personnalité juridique par le Ministère de la Justice : JUST/SG/20/21311/2021. Il dispose du statut consultatif spécial auprès du Conseil économique et social des Nations Unies (ECOSOC) depuis 2021.

info@cerc.cd · www.cerc.cd

LicenceCC BY-NC-ND 4.0

Ce rapport est publié sous licence Creative Commons Attribution – Pas d’utilisation commerciale – Pas de modification 4.0 International. Pour voir une copie de la licence : creativecommons.org/licenses/by-nc-nd/4.0/

CitationCiter ce rapport

CERC (2022). Évaluation de la stratégie 2017–2021 de CERC : Engagement plus inclusif des jeunes dans l’amélioration des services publics au Sud-Kivu. Centre de Recherche sur l’Anti-Corruption, Kinshasa. https://cerc.cd/fr/evaluation-strategie-2017-2021/

Photo de couverture : formation des enseignants et des chefs d’établissement des Clubs d’Intégrité, Uvira, 2019. CERC.

2

Sigles et abréviations

SigleSignification
CADComité d’aide au développement de l’OCDE
CERCCentre de Recherche sur l’Anti-Corruption
CNUCCConvention des Nations Unies contre la corruption
CODESAComité de développement de l’aire de santé
CLDComité local de développement
ECOSOCConseil économique et social des Nations Unies
INLBureau des affaires internationales de stupéfiants et d’application de la loi (États-Unis)
IREXInternational Research & Exchanges Board
ODDObjectifs de développement durable
OSCOrganisation de la société civile
PMEPartenariat mondial pour l’éducation
RDCRépublique démocratique du Congo
SHINEStudents Acting for Honesty, Integrity and Equality
USAIDAgence des États-Unis pour le développement international
USDDollar des États-Unis
3

Résumé exécutif

Contexte. La stratégie 2017–2021 de CERC, Engagement plus inclusif des jeunes dans l’amélioration des services publics au Sud-Kivu, a été adoptée le 15 juillet 2017, trois mois après la création de CERC, et accompagnée d’un plan opérationnel en septembre 2017. Elle visait des liens solides entre les usagers et les prestataires des services d’éducation et de santé, avec les jeunes, les filles et les femmes au cœur des décisions, dans les territoires d’Uvira et de Walungu et la ville de Bukavu.

Une mise en œuvre dans un contexte difficile. Les élections de 2018, l’épidémie d’Ebola dans l’Est, l’insécurité au Sud-Kivu et la pandémie de Covid-19 en 2020 et 2021 – qui a fermé les écoles et réduit les financements – ont pesé sur la mise en œuvre. CERC a dû fermer ses bureaux d’Uvira et de Bukavu pendant la pandémie, et il a commencé à travailler à Kinshasa.

Pourquoi ce rapport. L’évaluation veut à la fois prouver et améliorer : rendre compte à nos partenaires de ce que nous avons fait de leur confiance, et tirer les leçons de notre première stratégie pour réussir la stratégie 2022–2026, adoptée en janvier 2022.

Méthodologie. L’évaluation, interne, s’appuie sur les six critères du CAD de l’OCDE – pertinence, cohérence, efficacité, efficience, impact et durabilité – organisés en trois piliers : la stratégie et son plan (pilier 1), l’efficacité et l’efficience de nos programmes, à travers trois études de cas (pilier 2), et la valeur, l’impact et la durabilité de notre travail (pilier 3). Elle repose sur une revue de 14 documents, de nos comptes audités et des archives de notre site ; elle ne comprend pas d’entretiens nouveaux.

Les chiffres clés

251 077 USD reçus de 2017 à 2021, pour 575 000 USD prévus (44 %) · 54 Clubs d’Intégrité et 810 élèves formés · 32 % des problèmes signalés par les élèves résolus · 4 exercices sur 4 audités · 5 cibles atteintes sur 24, 7 en partie, 8 non atteintes et 4 non mesurées.

Performance globale. La stratégie a posé les bases de CERC : une méthode qui marche – les Clubs d’Intégrité –, des comptes audités chaque année et une voix reconnue jusqu’aux Nations Unies. Mais elle n’a atteint qu’une partie de ses cibles : avec 44 % des fonds prévus, les clubs et les élèves formés sont restés cinq fois moins nombreux que prévu.

Pilier 1 : la stratégie et son plan. Le diagnostic était juste et le choix des jeunes pertinent, confirmé par notre enquête de 2017 auprès de 980 ménages. Le volet santé n’a presque pas été mis en œuvre, et les cibles du plan ont été fixées sans lien avec les financements obtenus. Nos rapports annuels ont suivi quatre objectifs différents de ceux du plan, ce qui a rendu le suivi difficile.

Pilier 2 : nos programmes. SHINE a formé 810 élèves dans 54 Clubs d’Intégrité d’Uvira et de Bukavu et résolu 32 % des problèmes signalés, pour environ 163 USD par élève. Les petits projets de 2020 ont été gérés avec rigueur, jusqu’à rendre au bailleur les fonds non dépensés. En 2021, Youth Excel et l’année zéro du projet Students Acting ont préparé notre travail à Kinshasa.

Pilier 3 : valeur, impact et durabilité. Les élèves des clubs savent suivre et signaler, des écoles ont été réparées, et CERC est devenu un partenaire des autorités éducatives et une ONG dotée du statut consultatif spécial auprès de l’ECOSOC. Mais 53 % des fonds venaient d’un seul bailleur, et CERC n’avait ni réserve ni fonds propres avant 2021.

Ce qu’il faudrait changer. Fixer des cibles à la mesure des fonds obtenus, et les revoir chaque année ; diversifier les bailleurs et constituer une réserve ; rendre compte des cibles du plan dans chaque rapport annuel ; et inscrire les clubs dans les règles des écoles pour qu’ils vivent sans financement.

Conclusion générale. Une première stratégie juste, portée par une petite équipe, qui a appris plus vite qu’elle n’a grandi. La stratégie 2022–2026 doit fixer des cibles à la mesure de nos moyens, et réunir des moyens à la mesure de nos ambitions.

Organisation du rapport. Le chapitre 1 présente la méthodologie, ses questions, ses piliers, ses sources et ses limites. Le chapitre 2 présente les constats, pilier par pilier, et une synthèse selon les critères du CAD. Le chapitre 3 présente les recommandations, leçons et suggestions dans un tableau, avec leur catégorie et leur criticité. Les annexes présentent les exigences de l’évaluation, le choix des études de cas, l’équipe, le plan de travail, les documents examinés et les fonds par bailleur.

4

1. Méthodologie de l’évaluation

L’évaluation suit une approche fondée sur les six critères du CAD de l’OCDE – pertinence, cohérence, efficacité, efficience, impact et durabilité –, attentive au contexte de l’Est du Congo, où les services publics, les conflits et la corruption sont liés. Elle considère CERC comme un acteur parmi d’autres d’un système local : les écoles, les autorités éducatives, les bailleurs et la société civile.

1.1Questions d’évaluation et piliers

Tableau 1 : questions d’évaluation, piliers et poids

Question d’évaluationPilierCritères du CADPoids
1. La stratégie et son plan opérationnel répondaient-ils aux besoins des usagers et étaient-ils cohérents avec les politiques, les partenaires et nos propres outils de suivi ?Pilier 1 : la stratégie et son planPertinence, cohérence30 %
2. Nos programmes ont-ils atteint les cibles du plan, et à quel coût ?Pilier 2 : efficacité et efficience des programmesEfficacité, efficience45 %
3. Qu’est-ce qui a changé pour les élèves, les écoles et les institutions, et ces acquis dureront-ils ?Pilier 3 : valeur, impact et durabilitéImpact, durabilité25 %

1.2Instruments et questions détaillées

Tableau 2 : questions détaillées et instruments

PilierQuestions détailléesInstruments
Pilier 1Le diagnostic était-il juste ? Les cibles étaient-elles réalistes ? Nos rapports suivaient-ils le plan ?Revue de la stratégie, du plan et des rapports annuels ; comparaison des cibles et des résultats
Pilier 2Quels résultats, pour quels fonds ? Qu’est-ce qui a aidé ou freiné ?Trois études de cas ; analyse des comptes audités, par année, par bailleur et par catégorie de dépenses
Pilier 3Qu’est-ce qui a changé ? Les acquis dépendent-ils d’un financement ?Enquêtes de CERC (2017, 2017–2018, 2021) ; évaluation de SHINE (2018) ; sources des bailleurs ; archives du site

1.3Sources, gestion des données et garanties éthiques

L’évaluation repose sur les documents du tableau 3, sur les comptes audités de chaque exercice et sur notre page « Notre redevabilité financière ». Les montants sont ceux des comptes audités, en dollars américains. Aucune donnée personnelle n’a été collectée ; les élèves ne sont jamais nommés. Les données suivent des principes de qualité inspirés des principes PICTURE d’Integrity Action : précises, inclusives, crédibles, triangulées, utilisables, axées sur les résultats et collectées de façon éthique.

Tableau 3 : principales sources de l’évaluation

DocumentDate
Stratégie 2017–202115 juillet 2017
Plan opérationnel 2017–2021septembre 2017
Rapports annuels 2018, 2019 et 2020–20212019–2022
Rapports d’audit de Group BEAG2018–2022
Rapport du projet SHINE2017–2020
Évaluation interne de SHINEoctobre 2018
Enquête sur la perception de la corruption au Sud-Kivu2017
Rapport d’apprentissage sur les Clubs d’Intégrité2021
Rapport parallèle de la société civile sur la CNUCC2021
Articles du site de CERC2017–2021

1.4Sensibilité aux conflits et « ne pas nuire »

L’évaluation ne publie aucune information qui pourrait exposer un élève, un enseignant ou un moniteur à des représailles. Les problèmes signalés sont présentés sans nommer les écoles ni les personnes concernées.

1.5Limites et risques

Tableau 4 : risques et limites de l’évaluation

Risque ou limiteEffet possible sur l’évaluationEffet réel et mesures prises
Évaluation interneUn regard moins critique sur notre propre travail.Les constats s’appuient sur des chiffres vérifiables – comptes audités, cibles écrites – et le rapport publie aussi ce qui n’a pas marché.
Pas d’entretiens nouveauxLa voix des élèves et des partenaires manque.Nous reprenons les enquêtes existantes (2017, 2018, 2021) ; une évaluation externe est recommandée pour la stratégie suivante.
Données manquantesPlusieurs cibles ne peuvent pas être appréciées.Elles sont classées « non mesurées » ; mesurer ces indicateurs fait partie des recommandations.
Chiffres divergentsDes écarts d’un document à l’autre (54 ou 55 clubs en 2019).Nous retenons le chiffre le plus documenté – le rapport de projet, les comptes audités.
Insécurité et Covid-19Pas de visites de terrain.La revue documentaire suffit pour une évaluation de stratégie ; aucune donnée personnelle n’a été collectée.
5

2.1 Pilier 1 – La stratégie et son plan opérationnel

Une stratégie pertinente, bien reliée à ses partenaires, mais un plan aux cibles éloignées des moyens et un suivi qui ne parlait pas le langage du plan.

2.1.1Pertinence : un diagnostic juste

Notre enquête de mai 2017 auprès de 980 ménages, dans les neuf entités du Sud-Kivu, a confirmé le diagnostic : 56,9 % des personnes interrogées jugent la corruption grave, mais 20,9 % seulement savent à quelle institution la signaler. Former les jeunes à suivre leurs services et à signaler les problèmes répondait à ce manque. L’attention aux filles aussi : elles représentaient 51 % des moniteurs de la première année.

Deux limites : le volet santé n’a pas été financé – seul un projet d’éducation à la vaccination contre la Covid-19 (6 500 USD, 2020) a touché la santé –, et Walungu n’a pas accueilli de programme. À partir de 2020, le travail à Kinshasa, là où se prennent les décisions nationales, a été une extension que la stratégie permettait.

Appréciation : satisfaisant. Juste dans son diagnostic et son public ; trop ambitieuse dans ses cibles.

2.1.2Cohérence : des partenaires solides, un suivi à unifier

Integrity Action a financé et accompagné SHINE avec son approche et l’application DevelopmentCheck ; les autorités éducatives du Sud-Kivu ont échangé avec CERC dès 2018 ; la Coalition CNUCC (2020), Catalyst 2030 (2020) et l’ECOSOC (juillet 2021) ont relié notre travail à la CNUCC et à l’ODD 16 ; le ministère de la Justice a invité CERC comme expert aux États généraux de la lutte contre la corruption en octobre 2021.

En revanche, nos rapports annuels de 2018 à 2021 rendent compte de quatre objectifs – diagnostiquer, bâtir des coalitions, engager les citoyens et les jeunes, construire l’organisation – qui ne sont ni l’objectif de la stratégie ni les domaines du plan. Aucun rapport ne suit les cibles du plan : cette évaluation les rapproche pour la première fois.

Appréciation : plutôt satisfaisant. Une bonne cohérence externe ; un suivi interne à unifier.

2.1.3Les cibles du plan et les résultats

Le tableau 5 compare les prévisions du plan opérationnel, totalisées sur 2017–2021, aux résultats obtenus.

Tableau 5 : prévisions du plan et résultats, 2017–2021

CiblePrévu (total 2017–2021)RésultatStatut
Programme
Formations nationales avec le gouvernement et la société civile2 formations, 20 participantsAtelier d’échange de Bukavu (2018) : 13 personnes de 6 organisations et 2 représentants du ministère ; 4 ateliers de consultation (2021) avec 54 hauts responsables de l’éducation et 19 expertsAtteinte
Clubs d’Intégrité établis28554, à Uvira et à Bukavu (19 %)Non atteinte
Élèves membres des clubs, dont 50 % de filles4 350810 formés (19 %) ; 51 % de filles parmi les moniteurs de la première annéeNon atteinte
Écoles et projets suivis, dont 50 % améliorés57041 services et projets la première année ; 55 écoles suivies avec DevelopmentCheck ; 32 % des problèmes résolusNon atteinte
Apprentissage et impact
Enquêtes annuelles d’impact et d’apprentissage43 : ménages (2017), enquêtes SHINE de base et finale (2017–2018), 534 jeunes consultés (2021)En partie
Enquêtes et évaluations indépendantes1 semi-indépendante, 4 indépendantes1 évaluation interne de SHINE (2018) ; aucune évaluation indépendanteEn partie
Évènements d’apprentissage externes5Bukavu (2018), atelier annuel d’Integrity Action (2019), 4 ateliers de consultation (2021), États généraux de la lutte contre la corruption (2021)Atteinte
Collecte de fonds
Budget575 000 USD sur la période251 077 USD reçus (44 %)Non atteinte
Financement sans restriction30 % en 202113,5 % en 2021 ; 0 % avantNon atteinte
Grands donateurs institutionnels1 à 2 par an1 de 2017 à 2019 ; 3 en 2020 et en 2021Atteinte
Dons individuels15 % du budget en 2021Aucun don enregistréNon atteinte
Gestion et finances
Audits annuels44, par Group BEAG (2017–2018, 2018–2019, 2020, 2021)Atteinte
Révision de la stratégieExamens annuels ; stratégie suivanteRévisée en 2021 avec le personnel et le conseil ; stratégie 2022–2026Atteinte
Conseil d’administration7 membres actifs, 50 % de femmesSe réunit chaque trimestre ; composition par sexe non publiéeEn partie
Gestion des risques100 % des équipes, revue trimestrielleBureaux fermés en 2020–2021 sans plan de continuité publiéEn partie
Personnel
Femmes parmi le personnel et les volontaires50 %Non suiviNon mesurée
Bourses et cours en ligne du personnel12Formations du personnel en 2021 (recherche, intégrité publique, genre, CNUCC) ; nombre non suiviEn partie
Congo Integrity Leadership Fellowship3 universités, 10 boursiersNon lancéNon atteinte
Communication
Abonnés sur les réseaux sociaux25 000 en 20215 000 nouvelles mentions « J’aime » sur Facebook (2018) ; pas de suivi annuelNon mesurée
Visiteurs du site170 000Non suiviNon mesurée
Personnes touchées par les campagnes8,5 millionsPlus de 5 millions d’impressions médiatiques (2018), qui ne sont pas des personnesNon mesurée
Billets sur notre site5014 articles (28 %)Non atteinte
Conférences, forums et évènements14Au moins 4 documentés, dont l’atelier d’Integrity Action (2019) et les États généraux (2021)En partie
Mentions dans les médias25, dont 11 internationalesPlus de 16 articles sur les Clubs d’Intégrité (2018) ; pas de suivi ensuiteEn partie

Bilan : 5 cibles atteintes sur 24, 7 en partie, 8 non atteintes et 4 non mesurées. Montants des comptes audités.

6

2.2 Pilier 2 – Efficacité et efficience des programmes

Ce qui a été fait l’a été bien, et à un coût raisonnable ; mais à une échelle bien plus petite que prévu.

2.2.1Synthèse des constats

Trois études de cas, choisies pour couvrir la période, les deux provinces et les principaux bailleurs (annexe 2), illustrent ce que nos programmes ont obtenu. Ensemble, ils ont reçu 251 077 USD de 2017 à 2021 ; 237 823 USD ont été dépensés ou rendus. Sur 231 399 USD dépensés, 37 % sont allés aux activités des programmes, 33 % au personnel, 22 % au loyer, au fonctionnement et à l’équipement – dont 24 000 USD de licences Microsoft offertes –, 6 % à l’administration et 1,5 % aux honoraires, à la formation et à l’audit.

Tableau 6 : fonds reçus et dépensés, par année

AnnéeReçu (USD)Dépensé (USD)Bailleurs
2017–201857 888,9256 272,27Integrity Action (SHINE)
2018–201944 425,4044 786,65Integrity Action (SHINE)
202079 458,0570 526,36Integrity Action, INL / Accountability Lab, Twilio, Microsoft (en nature)
202169 304,9666 237,48USAID / IREX, PME / Oxfam IBIS, Coalition CNUCC, ressources propres
Total251 077,33237 822,76

Dépenses de 2021 : 59 813,25 USD et 6 424,23 USD rendus au bailleur du projet Construire l’intégrité en RDC.

2.2.2SHINE : les premiers Clubs d’Intégrité, à Uvira et à Bukavu

Financé par NORAD et Sida à travers Integrity Action d’octobre 2017 à 2020, le projet Students Acting for Honesty, Integrity and Equality a créé les premiers Clubs d’Intégrité de CERC : 20 à Uvira la première année, 54 à Uvira et à Bukavu en 2019. Les élèves ont été formés à suivre leurs écoles et les projets de leurs communautés avec l’application DevelopmentCheck, puis à dialoguer avec leurs chefs d’établissement et les autorités.

De 2017 à 2020, 810 élèves ont été formés et 32 % des problèmes signalés ont été résolus. En 2018, 645 personnes ont été impliquées – 525 élèves, 35 chefs d’établissement et 70 enseignants –, dont 277 filles et 47 personnes vivant avec un handicap, et 1 780 élèves étudient dans des conditions plus sûres grâce au suivi des clubs. En 2019, 202 enseignants et chefs d’établissement de 35 écoles ont été formés à Uvira et à Luvungi, un club a obtenu la construction de toilettes et de salles de classe, et 100 membres des clubs ont remis un mémorandum au maire d’Uvira.

SHINE a reçu 132 621 USD, soit environ 163 USD par élève formé, formations des enseignants et suivi des écoles compris ; chaque période a été auditée. L’évaluation interne d’octobre 2018 jugeait le projet pertinent, efficace et efficient, mais à une échelle trop petite.

2.2.32020 : de petits projets en pleine pandémie

En 2020, CERC a mené le projet Construire l’intégrité en RDC (Département d’État des États-Unis, à travers Accountability Lab) et un projet d’éducation à la vaccination contre la Covid-19 (Twilio, 6 500 USD), et reçu 24 000 USD de licences Microsoft. La pandémie a ralenti les activités : le premier projet n’a dépensé que 12 228 USD sur 18 652 USD reçus, et CERC a rendu les 6 424 USD restants au bailleur en 2021 – un signe de redevabilité, mais aussi d’une capacité d’exécution limitée.

2.2.42021 : préparer Kinshasa

Youth Excel, financé par l’USAID à travers IREX (32 507 USD en 2021), a été lancé le 19 juillet 2021 à Kinshasa pour soutenir 10 initiatives dirigées par des jeunes. L’année zéro du projet Students Acting (Partenariat mondial pour l’éducation, 23 986 USD) a réuni 534 jeunes dans 39 ateliers et 89 enseignants et chefs d’établissement de 24 écoles, mené des enquêtes de base dans 41 écoles et consulté 54 hauts responsables de l’éducation et 19 experts. Les fonds sont arrivés à la mi-juin 2021, trois mois après le début prévu ; le plan de travail a été adapté. CERC a aussi rédigé le rapport parallèle de la société civile sur la mise en œuvre de la CNUCC (3 432 USD), avec une centaine de recommandations.

Appréciation : plutôt insatisfaisant (efficacité) ; satisfaisant (efficience). Des résultats réels et à un coût raisonnable, mais la plupart des cibles d’échelle n’ont pas été atteintes ; une structure lourde pour de petits budgets.

7

2.3 Pilier 3 – Valeur, impact et durabilité

Un impact réel sur les élèves et les écoles, une voix reconnue ; une organisation qui dépend encore de quelques financements.

2.3.1Impact : des élèves qui savent agir, des écoles réparées

Selon l’évaluation de SHINE, 93 % des membres des clubs savaient suivre un projet ou un service public en fin d’année, contre 55 % au départ ; 11 % seulement donneraient un cadeau à un enseignant pour améliorer leur cote, contre 64 %. Le Fix Score de la première année atteignait 43 %, pour une cible de 15 %. Des toilettes et des salles de classe ont été construites, et 1 780 élèves d’Uvira étudient dans des conditions plus sûres.

En quatre ans, CERC est devenu un partenaire des autorités éducatives, un expert invité aux États généraux de la lutte contre la corruption, un membre de la Coalition CNUCC et une ONG dotée du statut consultatif spécial auprès de l’ECOSOC. Le Partenariat mondial pour l’éducation a retenu notre modèle des Clubs d’Intégrité pour un projet de 2022 à 2024. Ces résultats viennent toutefois de nos propres enquêtes : aucune évaluation d’impact indépendante n’a été menée.

Appréciation : plutôt satisfaisant. Un impact réel et prometteur, encore peu mesuré de façon indépendante.

2.3.2Durabilité : un modèle financier fragile

Integrity Action a apporté 53 % des fonds de la période, et a été le seul bailleur jusqu’en 2019. Aucun financement sans restriction ni don individuel n’a été reçu avant 2021, et CERC n’a pas pu constituer de réserve : la crise de la Covid-19 l’a contraint à fermer ses bureaux d’Uvira et de Bukavu. Les facilitateurs désignés par les écoles et les manuels restent dans les écoles, mais après SHINE aucun financement n’a soutenu les clubs en 2021.

CERC entre dans sa deuxième stratégie avec de nouveaux financements – le Partenariat mondial pour l’éducation, à travers Oxfam IBIS, et l’USAID, à travers IREX –, mais toujours concentrés sur deux bailleurs.

Appréciation : plutôt insatisfaisant. Les acquis sont réels ; le modèle financier reste fragile.

8

2.4 Synthèse : appréciation selon les critères du CAD

Tableau 7 : appréciation selon les six critères du CAD de l’OCDE

CritèreAppréciationPrincipaux constats
PertinenceSatisfaisantDes besoins réels, un pari juste sur les jeunes ; un volet santé presque absent et des cibles sans lien avec les moyens.
CohérencePlutôt satisfaisantDes partenariats solides ; des rapports annuels qui ne suivent pas le plan.
EfficacitéPlutôt insatisfaisant5 cibles atteintes sur 24, 7 en partie, 8 non atteintes et 4 non mesurées ; 44 % des fonds prévus, des clubs et des élèves cinq fois moins nombreux que prévu.
EfficienceSatisfaisantChaque exercice audité ; 163 USD par élève ; des fonds non dépensés rendus ; des frais fixes lourds.
ImpactPlutôt satisfaisantDes élèves qui savent agir, des écoles réparées, une voix reconnue ; peu de mesures indépendantes.
DurabilitéPlutôt insatisfaisant53 % des fonds d’un bailleur, aucune réserve, bureaux fermés en 2020–2021.

Échelle : très satisfaisant, satisfaisant, plutôt satisfaisant, plutôt insatisfaisant, insatisfaisant (annexe 7).

9

3. Recommandations, leçons et suggestions

Les recommandations s’adressent à la mise en œuvre de la stratégie 2022–2026. Elles ne disent pas que la stratégie 2017–2021 a échoué : elles veulent, comme toute l’évaluation, prouver et améliorer. Chacune est classée par catégorie – commencer, arrêter, continuer, développer, envisager – et par criticité.

Tableau 8 : recommandations, leçons et suggestions

№CatégorieRecommandation, leçon ou suggestionCriticitéPilier
1CommencerFixer des cibles en deux scénarios – financé et à financer – et les revoir chaque année selon les financements obtenus.HautePilier 1
2ArrêterArrêter les rapports annuels organisés autour d’objectifs différents du plan : rendre compte chaque année des cibles du plan, dans un seul cadre de résultats.HautePilier 1
3EnvisagerCommencer la santé par un projet pilote avec quelques CODESA, ou la retirer des cibles.MoyennePilier 1
4DévelopperViser au moins trois bailleurs par an, aucun au-dessus de la moitié des fonds.HautePilier 3
5CommencerConstituer une réserve d’au moins trois mois de frais de fonctionnement, avec une part de chaque financement et des dons.HautePilier 3
6DévelopperInscrire les clubs dans les règles des écoles et des autorités éducatives, pour qu’ils vivent sans financement.HautePilier 3
7CommencerPrévoir une évaluation externe du projet financé par le Partenariat mondial pour l’éducation.MoyennePilier 2
8CommencerMesurer chaque année abonnés, visiteurs et personnes touchées, à partir d’une valeur de départ.FaiblePilier 2
9ContinuerContinuer à auditer chaque exercice et à rendre les fonds non dépensés.SuggestionPilier 2
10ContinuerContinuer le modèle des Clubs d’Intégrité avec les facilitateurs désignés par les écoles.SuggestionPilier 2
10

Annexes

Annexe 1Exigences de l’évaluation

  • Apprécier la stratégie 2017–2021 et son plan opérationnel, de septembre 2017 à décembre 2021, selon les six critères du CAD de l’OCDE.
  • Comparer chaque cible du plan aux résultats obtenus, et les fonds prévus aux fonds reçus et audités.
  • Tirer des leçons et formuler des recommandations pour la stratégie 2022–2026.
  • Publier le rapport en ligne et en PDF, en français et en anglais.

Annexe 2Le choix des études de cas

ProjetPériodeBailleurFondsPourquoi ce choix
SHINE2017–2020Integrity Action (NORAD, Sida)132 621 USDLe premier programme de CERC et l’essentiel des fonds ; le modèle des Clubs d’Intégrité
Construire l’intégrité en RDC ; éducation à la vaccination contre la Covid-192020INL / Accountability Lab ; Twilio25 152 USDDe petits projets pendant la pandémie ; des fonds rendus
Youth Excel ; année zéro de Students Acting2021USAID / IREX ; PME / Oxfam IBIS56 493 USDL’ouverture de Kinshasa et la préparation de la stratégie suivante

Annexe 3L’équipe et ses rôles

RôleResponsabilités
Direction de l’évaluationL’équipe de suivi, d’évaluation et d’apprentissage : questions, revue documentaire, rédaction
Analyse financièreL’équipe des finances : rapprochement des comptes audités, par année et par bailleur
ValidationLa direction exécutive : relecture des constats et des recommandations

Annexe 4Le plan de travail

ÉtapePériode
Revue documentairejanvier 2022
Analyse financière, après l’audit des comptes 2021 (28 janvier 2022)février 2022
Rédaction et validationfévrier – début mars 2022
Publication7 mars 2022

Annexe 5Documents examinés

Stratégie 2017–2021 et plan opérationnel ; rapports annuels 2018, 2019 et 2020–2021 ; rapports d’audit de Group BEAG (2017–2018, 2018–2019, 2020, 2021) ; rapport et évaluation interne du projet SHINE ; enquête sur la perception de la corruption par les ménages au Sud-Kivu (2017) ; rapport d’apprentissage sur les Clubs d’Intégrité (2021) ; rapport parallèle de la société civile sur la CNUCC (2021) ; articles du site de CERC, 2017–2021.

Annexe 6Les fonds reçus par bailleur, 2017–2021

BailleurUSDPart
Integrity Action (NORAD, Sida)132 620,6252,8 %
USAID, à travers IREX32 506,7112,9 %
Microsoft (en nature)24 000,009,6 %
Partenariat mondial pour l’éducation, à travers Oxfam IBIS23 986,009,6 %
Département d’État des États-Unis (INL), à travers Accountability Lab18 651,757,4 %
Ressources propres de CERC9 380,753,7 %
Twilio6 500,002,6 %
Coalition CNUCC3 431,501,4 %
Total251 077,33100 %

Annexe 7Les échelles d’appréciation

  • Très satisfaisant : les attentes sont dépassées.
  • Satisfaisant : les attentes sont atteintes pour l’essentiel.
  • Plutôt satisfaisant : des résultats réels, avec des lacunes notables.
  • Plutôt insatisfaisant : des lacunes importantes l’emportent sur les résultats.
  • Insatisfaisant : les attentes ne sont pas atteintes.

Chaque cible du plan est classée atteinte, en partie (des résultats réels mais inférieurs à la cible), non atteinte ou non mesurée (aucune donnée).