Principes méthodologiques et choix de méthodes pour l’étude d’impact des programmes du CIDR

Auteur : Galland B.

Titre : Principes méthodologiques et choix de méthodes pour l’étude d’impact des programmes du CIDR

Sujet : La mesure de l’impact des programmes que conduit le CIDR est un des axes de son plan d’orientation stratégique 2004-2008. Elle doit permettre au CIDR d’apprécier si les actions entreprises améliorent durablement les conditions de vie des bénéficiaires, d’adapter les méthodologies d’intervention en fonction de l’impact identifié (ou de l’absence d’impact). Elle s’inscrit également en renforcement des capacités des organisations promues ou appuyées par le CIDR.

Date de publication : Décembre 2006

Financement : CIDR

Problématique

Les départements du CIDR ont développé différentes approches d’évaluation ou de suivi de l’impact des programmes qu’ils appuient. En raison des contraintes méthodologiques fortes liées, entre autre, à l’imputabilité des résultats obtenus à l’action conduite, les résultats de ces travaux ne répondent pas en totalité aux objectifs fixés.

Le travail réalisé a pour objectif de définir des principes méthodologiques qui permettront aux départements du CIDR d’améliorer leurs propres dispositifs de suivi d’impact de leurs programmes.

Il a comporté deux types d’activités. Des activités de recherche documentaire ont alimenté une réflexion collective pour la production des concepts et la décision sur les choix méthodologiques. Des activités d’élaboration d’une méthodologie d’étude d’impact pour un des secteurs d’intervention du CIDR, à savoir les mutuelles de santé, ont été menées en partenariat avec l’Université de Montréal. Cette collaboration a donné des enseignements utiles pour l’opérationnalisation de la mise en œuvre d’une étude d’impact.

La clarification des concepts d’évaluation et d’impact en référence au cadre logique

L’option méthodologique retenue se réfère au cadre logique pour clarifier les concepts d’impact et d’effets en relation avec l’objectif spécifique et les objectifs globaux d’un programme, et les distinguer des critères propres à l’évaluation des activités et des résultats (pertinence, efficacité, efficience, viabilité, pérennité). Ce choix introduit une clarification utile pour la définition des champs d’étude relevant de l’impact et ceux propres à une évaluation. La référence au cadre logique facilite également l’établissement des liens « causaux » entre les activités et leurs résultats obtenus et les objectifs fixés, qui est une étape méthodologique d’une étude d’impact.

Les principes méthodologiques identifiés

L’analyse par les opérateurs des méthodes d’impact qu’ils utilisent, des résultats obtenus et des contraintes méthodologiques rencontrées ainsi que la capitalisation des enseignements tirés de la construction d’une méthodologie d’étude d’impact de mutuelles de santé a permis de définir les étapes méthodologiques de la conduite d’une étude d’impact et de préciser pour chacune, leur contenu et la méthode à suivre.

Les objectifs possibles d’une étude d’impact pour le CIDR sont proposés. Des illustrations de l’incidence du choix de l’un ou l’autre des objectifs sur les orientations méthodologiques d’une étude d’impact sont présentées.

La détermination du champ d’étude utilise trois référentiels possibles : la mission que s’assigne le CIDR au travers des projets qu’il conduit, les objectifs spécifique et globaux figurant dans le cadre logique et des objectifs plus larges choisis dans les objectifs du millénaire pour le développement. L’un ou l’autre des référentiels peut être utilisé.

La détermination des hypothèses d’impact est une étape clef. La tendance observée est de vouloir répondre à la multiplicité des questionnements des intervenants directs (les opérateurs, les acteurs sur le terrain) ou indirects (les maîtres d’ouvrage ou les bailleurs de fonds). Des étapes méthodologiques sont proposées pour lever cette difficulté : reconstruction de l’historique de l’intervention, caractérisation du contexte, passage du questionnement à l’hypothèse par l’établissement d’un lien causal et analyse des causes de non vérification possible de l’hypothèse.

Le suivi rigoureux de ces étapes méthodologiques diminue le nombre d’hypothèses qui seront finalement retenues, mais, au regard de la problématique de l’imputabilité, elle augmente la force des hypothèses étudiées : les liens logiques existants entre les activités du programme et l’impact supposé sont précisément établis.

La possibilité de vérification de l’hypothèse renvoie aux méthodes d’étude et de collecte des données. Le travail effectué souligne d’un point de vue méthodologique la pertinence des études longitudinales parce qu’elles sont les mieux à même de résoudre le problème de l’anti-sélection qui réduit la fiabilité des études d’impact. Cependant faisant appel à des techniques complexes et lourdes, elles sont exceptionnellement réalisées dans le cadre de programmes de développement. A défaut, les apports et les limites d’autres méthodes sont discutés : étude qualitative (cartographie des incidences, MARP, ECRIS), étude quantitative longitudinale, enquête de satisfaction.

L’élaboration d’une méthodologie d’étude d’impact pour des mutuelles de santé

Le document présente les résultats de l’utilisation des principes méthodologiques pré-cités pour élaborer une méthodologie d’étude d’impact des mutuelles de santé. A partir des 21 questionnements initiaux, neuf hypothèses d’impact ont été retenues. Le document décrit pour chaque hypothèse les critères de sélection et les raisons pour lesquelles elles ont été ou non retenues.

Conclusion

Si en matière d’étude d’impact, la plus grande rigueur méthodologique est de mise, il faut parfois accepter l’association plausible de l’action d’un programme à un changement constaté lorsque l’attribution directe n’est pas scientifiquement démontrable. L’explicitation de la méthodologie d’une étude d’impact, autant que les résultats produits, contribue à en renforcer la crédibilité.