Powerless Evaluation
L’impuissance de l’évaluation
Schwache Evaluierung

Schwache Evaluierung

Authors


Summary

Powerless Evaluation

My experience as an evaluator for the Farm Investment Support Measure of the Rural Development Programme (RDP) in Germany is that evaluation may not have the power to bring about ‘policies that perform better’. Its recommendations are often ignored by national as well as the European administration, either because evaluations are low in scientific quality or because managing authorities are accustomed to adapting measures mainly for fiscal or political reasons. The Commission’s approach to improving evaluation quality has been focused on advancing the indicators of the Common Monitoring and Evaluation Framework and on building capacity. Although these measures can contribute to an upgrading of RDP evaluation they will neither be sufficient to achieve satisfactory quality nor substantially increase the use of evaluation in policymaking. These effects could potentially be achieved through quality control and enforcement, and an obligation for policy to react to evaluation results. The Commission is already using a standardised quality control grid in the evaluations of the CAP’s first pillar and should apply this instrument to RDP evaluations. Additionally, the consideration of evaluation recommendations in policymaking should be encouraged through the introduction of a ‘fiche contradictoire’. This is the formal and explicit mechanism used in EU development policy for follow-up on the use of evaluations.

Abstract

Mon expérience d’évaluateur de la mesure d’aide à l’investissement dans les exploitations agricoles du Programme de Développement Rural (PDR) en Allemagne est que l’évaluation n’a peut-être pas la capacité de faire émerger des politiques plus performantes. Ses recommandations sont souvent ignorées aussi bien au niveau national qu’au niveau communautaire, soit parce que les évaluations manquent de qualité scientifique ou parce que les autorités de gestion ont l’habitude d’adapter les mesures selon des critères de convenance fiscale ou politique. L’approche de la Commission pour améliorer l’évaluation s’est concentrée sur les progrès apportés aux indicateurs du Cadre Commun de Suivi et d’Évaluation et au renforcement des capacités. Bien que ces efforts puisse contribuer à améliorer l’évaluation du PDR, ils ne seront jamais suffisants pour atteindre une qualité satisfaisante ni pour accroître de façon substantielle la contribution de l’évaluation à la formulation des politiques. Cela serait possible à condition d’adopter un contrôle de qualité et une application de ses recommandations, ainsi qu’une obligation pour les autorités publiques, de réagir aux résultats de l’évaluation. La Commission utilise déjà un cadre standardisé de contrôle de qualité dans l’évaluation du premier pilier de la PAC et devrait l’appliquer à celles du PDR. En outre, on devrait encourager les recommandations de l’évaluation àêtre considérées par les décideurs de l’action publique en introduisant une “fiche contradictoire”. C’est le mécanisme formel et explicite utilisé pour les politiques de développement de l’UE afin de suivre l’utilisation qui est faite des évaluations.

Abstract

Meine Erfahrung als Evaluatorin der Agrarinvestitionsförderung im Rahmen der Programme zur Entwicklung des ländlichen Raums (EPLR) in Deutschland ist, dass Evaluierungen nicht notwendigerweise in der Lage sind, leistungsfähigere Politikmaßnahmen hervorzubringen. Die Empfehlungen werden sowohl auf der Ebene der nationalen als auch der europäischen Verwaltungen häufig ignoriert: Entweder, aufgrund der mangelnden wissenschaftliche Qualität der Evaluierungen, oder weil es in den zuständigen Behörden üblich ist, die Maßnahmen vor allem aus finanziellen oder politischen Gründen anzupassen. Der Ansatz der Kommission zur Verbesserung der Evaluierungsqualität konzentriert sich bislang auf die Weiterentwicklung der Indikatoren des ‘‘Gemeinsamen Begleitungs- und Bewertungsrahmens’’ und den Aufbau von Kapazitäten bei Evaluatoren und in der Verwaltung. Obwohl diese Maßnahmen einen Beitrag zur Verbesserung der EPLR-Evaluierungen leisten können, sind sie weder ausreichend, für eine zufriedenstellende Qualität noch werden sie den Einfluss der Evaluation in der Politikgestaltung substanziell erhöhen. Hier könnten Qualitätskontrollen sowie die Durchsetzung von Qualitätsstandards zielführend sein, ebenso wie eine Verpflichtung seitens der Politik, auf die Evaluierungsergebnisse zu reagieren. Die Kommission verwendet bereits ein standardisiertes Kontrollraster, um die Qualität der Evaluierungen in der ersten Säule der GAP zu bewerten, und sollte dies auch bei EPLR Evaluierungen anwenden. Zusätzlich sollte die Berücksichtigung der in den Evaluierungen enthaltenen Empfehlungen durch die Einführung einer ‘‘Fiche contradictoire’’ gefördert werden. Hierbei handelt es sich um ein formelles und übersichtliches Instrument aus der Entwicklungspolitik der EU, mit dem die Verwendung der Evaluierungsempfehlungen dokumentiert wird.

Ancillary