Évaluation du projet SHINE – première année 2017–2018

Octobre 2017 – septembre 2018 : 300 élèves formés au suivi de leurs écoles dans 20 Clubs d’Intégrité d’Uvira. Un projet pertinent, efficace et efficient – mais encore trop petit.

Télécharger le rapport (PDF)

1

L’évaluation en bref

Un projet pertinent, efficace et efficient, géré de façon professionnelle et transparente – mais à une échelle encore trop petite.

300

moniteurs de 15 à 19 ans formés, dont 152 filles, dans 20 Clubs d’Intégrité

1 623

jeunes d’autres écoles sensibilisés par les membres des clubs

41

services et projets d’infrastructures suivis : 20 services, 21 projets

43 %

d’impact mesuré par le Fix Score auprès des jeunes, pour une cible de 15 %

2

Résumé

En octobre 2018, le CERC a évalué la première année de son premier projet : 20 Clubs d’Intégrité dans les écoles secondaires du territoire d’Uvira.

Le projet Students Acting for Honesty, Integrity and Equality (SHINE) a été mis en œuvre du 1er octobre 2017 au 30 septembre 2018 dans 20 écoles secondaires du territoire d’Uvira, au Sud-Kivu, avec un budget de 50 000 livres sterling, financé par NORAD et Sida à travers Integrity Action.

L’évaluation interne a apprécié le projet selon les critères d’évaluation de la Banque mondiale, adaptés à ceux du CERC. Elle s’appuie sur les documents du projet, une mission de terrain du 15 septembre au 4 octobre 2018 et une enquête auprès des membres des clubs au début et à la fin de l’année.

ConstatsCe que dit l’évaluation

  • Pertinent : le projet répondait à un besoin aigu d’intégrité dans l’éducation, mais sa masse critique – 20 écoles sur les 303 écoles secondaires d’Uvira – restait faible.
  • Efficace : les activités et les résultats prévus ont été atteints ; les formations ont été de qualité.
  • Efficient : le budget a été tenu, pour 184 USD par personne formée et 1 609 USD par service ou projet suivi.
  • Un impact sensible sur les attitudes : 93 % des élèves savent suivre un projet ou un service public, contre 55 % au départ ; 11 % seulement donneraient un cadeau à un enseignant, contre 64 %.
  • Des éléments de durabilité, à renforcer par une stratégie de sortie dans les écoles partenaires.

« La gestion du projet était professionnelle et transparente. »

3

Appréciation selon les critères d’évaluation

Les résultats de l’évaluation, critère par critère.

CritèreQuestion d’évaluationAppréciationPrincipaux constats
PertinenceLes objectifs du projet répondaient-ils aux besoins du renforcement de l’intégrité dans son contexte ?SatisfaisantUn besoin aigu d’intégrité dans l’éducation, confirmé par les élèves et les chefs d’établissement ; une masse critique faible (20 écoles) et des clubs qui reposent sur le bénévolat.
EfficacitéDans quelle mesure les objectifs ont-ils été atteints ?SatisfaisantActivités et résultats atteints ; formations de qualité avec des manuels détaillés ; suivi des projets et dialogue réalisés comme prévu, relayés à la radio. Des résultats formulés en termes très généraux.
EfficienceLes résultats sont-ils à la mesure des sommes dépensées ?SatisfaisantBudget tenu, réaffectations minimes, rapports complets à Integrity Action ; 184 USD par personne formée, 1 609 USD par service ou projet suivi.
ImpactLe projet a-t-il changé les attitudes et les comportements ?Plutôt satisfaisantUn impact sensible sur les connaissances et les attitudes des élèves ; un effet multiplicateur auprès de plus de 1 600 élèves d’autres écoles. Des données encore parcellaires.
DurabilitéLes effets dureront-ils après la fin du financement ?Plutôt satisfaisantFacilitateurs formés, manuels pédagogiques et clubs dotés de représentants élus ; pas encore de stratégie de sortie explicite.

Appréciations tirées des conclusions du rapport d’évaluation interne d’octobre 2018.

4
Integrity Action · NORAD · Sida

Le projet et son contexte

SHINE répondait au manque de transparence et à la mauvaise prestation des services en RDC, que le projet attribuait d’abord au déficit d’une culture de l’intégrité.

ContexteDes écoles qui manquent de tout

Les vastes richesses naturelles de la RDC ne se traduisent pas par un meilleur développement pour ses citoyens. Des décennies de guerre ont dévasté les infrastructures scolaires. L’éducation gratuite est un droit constitutionnel, mais le système éducatif reste largement financé par les parents ; la plupart des écoles ne satisfont pas aux normes minimales : classes surchargées, sans équipement, installations sanitaires, eau courante ni matériel pédagogique, et un personnel sous-payé.

Faute de pouvoir et d’influence des jeunes dans l’éducation, le CERC a choisi de créer des liens solides entre les usagers et les prestataires des services – État, organismes confessionnels, chefs d’établissement et enseignants – et d’intégrer le genre comme outil d’une participation équitable et inclusive.

DiagnosticLes symptômes de la corruption perçus par les communautés

  • Les jeunes élèves manquent d’une culture d’intégrité et d’éthique.
  • La pauvreté est une racine principale de la corruption et du manque d’engagement.
  • Autorités éducatives et entrepreneurs manquent de transparence et gèrent mal.
  • Les écoles exigent des frais indus et gèrent mal les ressources éducatives.
  • Prestataires et exécutants des projets ne se sentent pas redevables.
  • Les communautés ignorent le fonctionnement des écoles et comment influer sur leurs actions.

ObjectifsQuatre résultats attendus pour la première année

  1. Le CERC incorpore des mesures anti-corruption dans le secteur de l’éducation, au bénéfice direct de 300 jeunes moniteurs.
  2. 300 jeunes moniteurs de 14 à 19 ans, engagés et soutenus, sont des agents actifs du changement.
  3. Les écoles secondaires intègrent les Clubs d’Intégrité pour assurer la durabilité des efforts.
  4. Un succès exemplaire attire un soutien plus large et une demande de mesures anti-corruption dans l’éducation.

Mise en œuvreClubs, suivi communautaire et dialogue

Pour chaque résultat, une action prioritaire : des Clubs d’Intégrité et la formation de facilitateurs à l’approche de renforcement de l’intégrité communautaire ; le suivi communautaire des services éducatifs des écoles et des projets en cours dans les communautés ; le dialogue avec les prestataires, les autorités locales et les exécutants des projets, par des groupes conjoints de discussion, des débats à la radio et des campagnes de plaidoyer.

5

Cadre logique : cibles et résultats

Les indicateurs de la première année, de la cible au résultat atteint.

IndicateurCibleRésultat atteint
Jeunes moniteurs du secondaire (15 à 19 ans)300300, dont 152 filles et 148 garçons
Jeunes encore actifs dans les clubs en fin de projet300277
Filles parmi les membres des clubs50 %52 %
Filles parmi les responsables des clubs30 % (40 % visés dans le document de projet)48 %
Membres issus de groupes à risque d’exclusion15 %4,6 % (14 jeunes)
Clubs d’Intégrité établis et en activité2020, dont 19 actifs en fin de projet
Jeunes touchés par les clubs2 0001 623, dont 61 issus de groupes à risque d’exclusion
Impact mesuré par le Fix Score auprès des jeunes touchés15 %43 %

La seule cible non atteinte est la part de membres issus de groupes à risque d’exclusion : 4,6 % pour une cible de 15 %.

6
Formation des responsables des Clubs d’Intégrité, Uvira, 2018
15 septembre – 4 octobre 2018

Objet et méthodologie

Comprendre ce qui fait un projet réussi, pour éclairer les futures stratégies du CERC dans l’éducation – et vérifier que les résultats attendus ont été atteints.

Termes de référencePourquoi évaluer

Selon ses termes de référence, l’évaluation devait « entreprendre une analyse approfondie de la mise en œuvre du projet afin d’aboutir à une meilleure compréhension de ce qui fait un projet réussi » et aider le CERC à définir ses futures stratégies de promotion de la transparence et de l’intégrité dans l’éducation en RDC.

ÉquipeUne évaluation interne

L’évaluation a été conduite par Douce Kanyeba Songolo, chargée du suivi, de l’évaluation et de l’apprentissage, et Heri Bitamala, chargé du programme, qui a rédigé le rapport.

DémarcheDocuments, terrain, enquête

  • Revue documentaire : document et cadre de résultats du projet, rapport à mi-parcours, rapports narratif et financier finaux, budget, outil de suivi et d’évaluation, guide des Clubs d’Intégrité d’Integrity Action.
  • Mission de terrain du 15 septembre au 4 octobre 2018, à partir d’une matrice de thèmes : coordinateurs du projet, élèves membres des clubs, enseignants et chefs d’établissement, membres des communautés, travailleurs des projets suivis.
  • Enquête de base et enquête finale auprès des membres des clubs, sur leurs connaissances et leurs attitudes.

CritèresLes critères de la Banque mondiale

Les questions d’évaluation suivent les critères de la Banque mondiale, adaptés à ceux du CERC : pertinence, efficacité, efficience, impact, durabilité et valeur ajoutée du CERC (annexe 1).

7
Critère 1

Pertinence

Le projet était incontestablement pertinent : il répondait à un besoin aigu de renforcement de l’intégrité et de lutte contre la corruption dans l’éducation.

Le diagnostic du projet était juste : beaucoup de jeunes ont du mal à accéder à l’éducation, et gouvernement, prestataires et agences d’exécution ne sont pas réellement redevables devant les citoyens. Membres des clubs et chefs d’établissement interrogés ont confirmé « le mauvais état des infrastructures éducatives, la mauvaise gestion, la non-participation des jeunes à la prise de décision et le manque de redevabilité ».

LimiteUne masse critique faible

Le projet ne touchait que 20 écoles sur les 1 478 identifiées au Sud-Kivu, et sur les 303 écoles secondaires du territoire d’Uvira : il ne pouvait pas, à lui seul, renforcer la culture de l’intégrité dans sa zone d’intervention.

LimiteDes clubs qui reposent sur le bénévolat

Le fonctionnement des clubs dépend de l’engagement bénévole de leurs membres, alors que peu de Congolais peuvent consacrer beaucoup de temps à des activités non rémunérées – une limite atténuée par l’engagement des chefs d’établissement et des enseignants.

Appréciation : satisfaisant. Les quatre composantes du projet étaient justifiées ; l’échelle restait trop petite.

8
Une session de formation à DevelopmentCheck, 2018
Critère 2

Efficacité

Les activités et les résultats prévus ont tous été atteints – des résultats toutefois formulés en termes très généraux.

  • Des formations conduites par des intervenants experts de l’éducation à l’intégrité et du suivi communautaire ont touché 57 enseignants et 50 responsables des clubs, qui ont à leur tour formé 240 autres membres des clubs et plus de 1 600 élèves d’autres écoles.
  • Les participants ont reçu des manuels détaillés, avec une partie consacrée aux techniques pour transmettre les savoirs aux élèves.
  • Le suivi des projets et le dialogue avec les leaders locaux, les prestataires et les exécutants ont été réalisés comme prévu ; des émissions de radio ont relayé les débats au-delà de ce que prévoyait le cadre de résultats.

Le suiviCe que les élèves ont suivi

Dans les écoles : la composition des classes, la gestion administrative et financière, la qualité de la supervision, le matériel et les infrastructures, la performance des enseignants, la qualité du programme et les relations avec les parents. Dans les communautés : des projets d’adduction d’eau, d’électricité, de construction et de réhabilitation d’écoles.

Appréciation : satisfaisant. Les résultats sont atteints ; les formations auraient gagné à être répétées.

9
Critère 3

Efficience

L’essentiel des résultats a été atteint dans l’enveloppe budgétaire agréée avec Integrity Action – une enveloppe elle-même appropriée.

BudgetLes principales lignes de dépenses

Ligne budgétaireUSDPart du budget
Réunions et sessions de formation (dont la formation de 5 membres du personnel en Tanzanie)12 496,5019 %
Salaires de 7 membres du personnel, 12 mois20 32531 %
Remboursements aux Clubs d’Intégrité pour le suivi communautaire et le plaidoyer9 45115 %
Loyer, occupation et matériel de bureau5 81010 %
Impression des manuels des élèves et des enseignants, publications1 5002,3 %

La mise en place des Clubs d’Intégrité n’a demandé que des sommes modérées. Les salaires de sept personnes – un directeur de programmes, deux coordinateurs, un chargé du suivi et de l’évaluation, un chargé de communication, un chargé des finances et un chargé du plaidoyer – restaient inférieurs à leur temps réel consacré au projet. Les réaffectations et dépassements sont restés minimes, et les rapports à Integrity Action étaient complets et détaillés.

CoûtPar personne formée et par projet suivi

184 USDpar personne formée : 300 moniteurs, 38 enseignants et 19 chefs d’établissement
1 609 USDpar service ou projet suivi : 20 services et 21 projets d’infrastructures

L’efficience a été renforcée par une équipe compétente et dévouée, formée en novembre 2017 par Integrity Action à Dar es Salaam, en Tanzanie, et par les échanges avec les autres partenaires du réseau des Clubs d’Intégrité.

Appréciation : satisfaisant. Le projet a fait un usage approprié de ses ressources.

10
Critère 4

Impact

Des élèves qui savent suivre leurs écoles, signaler les problèmes et refuser la corruption : l’enquête de base et l’enquête finale montrent un changement sensible.

Dans un projet qualitatif, on ne peut attribuer avec certitude les évolutions au projet, mais on peut en repérer les signes. Part des membres des clubs « absolument d’accord » ou « d’accord » :

AffirmationDébutFinÉcart (points)
Q1. Je sais comment surveiller un projet ou un service public55 %93 %+38
Q2. Je sais comment faire une recommandation pour améliorer un projet ou un service42 %66 %+24
Q3. Je sais utiliser DevelopmentCheck pour suivre les projets de construction de ma communauté20 %41 %+21
Q4. Je sais où signaler un problème constaté dans un service public44 %76 %+32
Q5. Je sais organiser un groupe de citoyens pour suivre un projet ou un service42 %68 %+26
Q7. Les opportunités de travail doivent être les mêmes pour les femmes et les hommes55 %90 %+35
Q8. Les gens comme moi peuvent faire la différence contre la corruption59 %94 %+35
Q9. Je donnerais volontiers un cadeau à mon enseignant pour améliorer ma cote64 %11 %−53
Q10. Une personne honnête a moins de chances de réussir qu’une personne parfois corrompue35 %39 %+4
Q11. Je sais travailler avec d’autres pour résoudre les problèmes d’un projet ou d’un service44 %93 %+49

ConnaissancesLa bonne réponse choisie

QuestionDébutFinÉcart (points)
Q12. Face à un contractant qui utilise des matériaux de mauvaise qualité : « je signale ma suspicion aux autorités »41 %93 %+52
Q13. L’intégrité, « ensemble de qualités qui fondent la fiabilité, l’honnêteté et la confiance »51 %94 %+43
Q15. La démocratie, « le pouvoir est détenu ou contrôlé par le peuple »68 %88 %+20
Q16. L’égalité de genre, « l’égalité des chances des femmes et des hommes dans tous les domaines »30 %61 %+31

Enseignants et élèves formés ont mieux joué leur rôle de facilitateurs et de moniteurs, en portant les préoccupations des communautés auprès des prestataires et des exécutants des projets. Les connaissances partagées avec plus de 1 600 élèves d’autres écoles laissent attendre un effet multiplicateur.

Appréciation : plutôt satisfaisant. Un impact sensible sur les groupes cibles ; les questions 6, 14, 17 et 18, aux résultats mitigés ou incohérents, figurent en annexe.

11
Critère 5

Durabilité

Le projet a intégré des éléments de pérennité ; une stratégie de sortie explicite les renforcerait.

  • Les 38 facilitateurs et 59 responsables des clubs ont reçu une formation de quatre jours, et les manuels d’éducation à l’intégrité ont une composante pédagogique : ils peuvent continuer à former dans leurs écoles.
  • Chaque club est doté de deux facilitateurs et de représentants élus : rien ne l’empêche d’agir sans financement. L’appui direct du CERC était modeste – transport, communication et rafraîchissements lors des descentes sur le terrain.

Pour aller plus loinRenforcer la pérennité

  • Associer les clubs aux comités d’élèves et inciter d’autres ONG à les associer à leurs activités.
  • Mettre les clubs en relation avec les ONG qui promeuvent la transparence.
  • Encourager enseignants et chefs d’établissement à organiser eux-mêmes les formations.
  • Encourager les clubs à garder le lien avec les communautés et les administrations locales, et à mener de nouveaux projets en collaboration.

Appréciation : plutôt satisfaisant. Des éléments de pérennité réels, sans stratégie de sortie formalisée.

12

Conclusions

Un projet qui a atteint ses résultats grâce à la qualité des intervenants et à la motivation de l’équipe du CERC.

RésultatsDes résultats atteints, des écoles ouvertes

Les activités et les résultats ont été atteints pour l’essentiel, avec le soutien d’une partie importante des chefs d’établissement et des enseignants ciblés.

GestionProfessionnelle et transparente

Le CERC a géré le projet de manière efficace, en mêlant collégialité – la consultation de toute l’équipe – et bonne gouvernance.

FormationsDe qualité, mais à répéter

Des thèmes pertinents et des intervenants de haut niveau ; leur répétition, écartée par souci d’économie, aurait mieux ancré les savoirs.

AttitudesDes élèves qui résistent à la corruption

Les attitudes des chefs d’établissement, des enseignants et des élèves ont changé ; les élèves interrogés montrent une ferme résistance à la corruption dans leurs écoles.

LeçonLes moniteurs ne suffisent pas seuls

L’action des moniteurs communautaires doit être complétée par celle de la société civile et de l’État, en particulier pour le plaidoyer et la redevabilité envers la population.

13

Recommandations et suites données

Les recommandations de l’évaluation, adressées au CERC – et ce que le CERC en a fait.

ConstatRecommandationSuite donnéeCritère
Le projet n’a fait qu’entamer un agenda de réduction de la corruption au niveau localDévelopper un projet qui prolonge les acquis de SHINESHINE a continué jusqu’en 2020 : 54 Clubs d’Intégrité à Uvira et Bukavu, 810 élèves formés.Pertinence, durabilité
De nombreuses initiatives de la société civile pour la transparenceRenforcer les collaborations et synergies avec d’autres ONG, notamment pour les formationsPartenariats avec Accountability Lab, la Coalition CNUCC, Oxfam, IREX et RCN Justice & Démocratie.Cohérence, efficience
Une masse critique faible : 20 écolesÉtendre les clubs au-delà d’Uvira204 Clubs d’Intégrité au Sud-Kivu et à Kinshasa en 2022.Pertinence, impact
Pas de stratégie de sortie explicitePrévoir une stratégie de sortie dans les écoles partenairesLes autorités éducatives ont accepté d’étendre les clubs à toute la province du Sud-Kivu.Durabilité
Des formations non répétéesRépéter les formations tout au long du projetFormation des facilitateurs au cadre juridique anti-corruption en 2019.Efficacité
4,6 % de membres issus de groupes à risque d’exclusion, pour 15 % visésMieux atteindre les jeunes à risque d’exclusionStratégie genre et inclusion sociale du CERC, 2021.Pertinence

Les deux premières recommandations sont celles du rapport ; les suivantes découlent de ses constats. La colonne « Suite donnée » est tirée des rapports du CERC publiés depuis.

14

Annexes

Les questions d’évaluation, les résultats mitigés de l’enquête et les documents examinés.

Annexe 1Les questions d’évaluation

Pertinence : les objectifs étaient-ils cohérents avec les besoins et les priorités du renforcement de l’intégrité ? sont-ils toujours d’actualité ? le projet correspond-il aux attentes des parties prenantes ? une autre stratégie aurait-elle mieux répondu ? les risques ont-ils été identifiés et traités ?

Efficacité : dans quelle mesure les objectifs ont-ils été atteints ? quelles ont été les réalisations ? quelles causes aux résultats non atteints ?

Impact : le projet a-t-il eu un impact sur le problème visé, des effets tangibles sur les bénéficiaires, des changements prévus ou non ? peut-il avoir un effet catalytique ?

Efficience : le budget des clubs était-il raisonnable ? les résultats sont-ils à la mesure des dépenses ? les exigences du partenariat ont-elles été respectées ?

Durabilité : des processus prolongeront-ils l’impact après le financement ? les parties prenantes veulent-elles continuer ?

Valeur ajoutée du CERC : le CERC a-t-il obtenu des résultats que les clubs n’auraient pas obtenus seuls ?

Annexe 2Résultats mitigés de l’enquête

Q6. « Je sais collecter des preuves sur un problème sérieux » : 73 % d’accord en fin d’année ; la valeur de base publiée est incohérente (total supérieur à 100 %).

Q14. L’audit social : la réponse « toutes les réponses » passe de 12 % à 47 %.

Q17. Les dispositions du code sur la corruption : des réponses dispersées, sans progression nette.

Q18. Un exemple de corruption : « dénoncer un enseignant qui demande un cadeau » choisi par 58 % en fin d’année, contre 50 %, et « tricher à un examen » par 13 %, contre 2 % – une question mal comprise.

Annexe 3Documents examinés

Guide d’utilisateur des Clubs d’Intégrité (Integrity Action) ; cadre de résultats ; document du projet ; outil de suivi et d’évaluation ; rapport à mi-parcours ; rapport narratif final ; budget du projet ; rapport financier final.

RemerciementsMerci

Le CERC remercie Douce Kanyeba Songolo pour l’organisation de l’évaluation, les coordinateurs du projet Evariste Loketo et Bernardin Bitundwa Ruhindisha, et toutes les personnes rencontrées, en particulier les facilitateurs et les membres des Clubs d’Intégrité.

Integrity Action