Occupational risk prevention advice on Frenche farms. What knowledge is expected from the evaluation? The issue of the social relevance of evidence. Final report of the "Preuves" project funded by the CCMSA Scientific Council
Evaluer le conseil relatif à la prévention des risques professionnels dans les exploitations agricoles pour produire quelles connaissances ? De la pertinence sociale des preuves. Rapport final du projet "Preuves" financé par le conseil scientifique de la CCMSA
Abstract
Evaluation is never a socially neutral process. Yet this is often overlooked. The debate about relevance in evaluation processes and their outcomes is often postponed to the post-evaluation stage, with the risk that the results of the evaluation become a source of tension rather than a tool that can be shared by all stakeholders.
The aim of this 24-month research project was to analyse what an evaluation would look like in order to generate knowledge that would be considered relevant from the point of view of the various actors involved in the MSA's advice on the prevention of occupational risks in agricultural production. The aim, therefore, was not to produce an evaluation, but to gather and make the best use of the scattered knowledge and expectations within and outside the MSA in order to inform the MSA's evaluation decision ex ante.
The analysis is based on three main sources of data: scientific literature, reports and legal texts, but above all on interviews with a variety of actors: people working at the MSA and directly involved in the Prevention Council, administrators from the three MSA colleges, and external parties directly concerned by the issue of advice on occupational health and safety of people working on farms.
The data collected mainly concern: (i) the conception of OSH risks prevention in agriculture and its evaluation; (ii) the type of evidence it seems desirable to produce (evidence of effect [does it work?], evidence of mechanisms [how does it work?], evidence of presence [contamination, stress, etc.]); (iii) the methods to be used (participatory methodology, measurement of results (metrology), self-evaluation); (iv) the target groups to be prioritised (farmers, salaried workers, etc.). ); (iii) the methods to be used (participatory methodology, measurement of results (metrology), measurement of resources used, self-evaluation); (iv) the target groups to be prioritised (farmers, employees, young people, etc.); (v) the topics on which the evaluation should focus as a priority.
The analysis shows that different conceptions of OSH risks prevention coexist in the MSA and that evaluation of these activities is perceived as unevenly useful. The results reveal five main representations of what an evaluation that produces relevant knowledge might be: "pragmatic & documented", "managerial & regulatory", "inclusive"; "ambivalent"; "distant". Very different criteria of relevance are put forward to envisage an evaluation that would be useful for OSH risk prevention advice on farms: managerial representation is only one of many. We can also see that there are very conflicting positions on a number of key issues (pesticides, precarious workers, efficiency indicators) and the way they should be taken into account in the evaluation.
The details of the analysis provide information on various points of attention that can be mobilised to reflect on the evolution of the evaluation procedures for prevention advice at the MSA and choose the evaluation methods best suited to the objectives. The wealth of experience and reflections of MSA staff, administrators and beneficiaries of these services appears to be an important resource for advancing evaluation procedures and, in particular, improving the reliability of success indicators and avoiding certain perverse effects.
L’évaluation n’est jamais un processus socialement neutre. Pourtant cet enjeu est souvent éludé. Le débat sur la pertinence des processus d’évaluation et de leurs résultats est souvent renvoyé à l’étape post-évaluation, au risque que les résultats de l’évaluation soient une source de tensions plutôt qu’un instrument partageable par l’ensemble des parties prenantes.
L’objectif de cette recherche de 24 mois était d’analyser ce que serait une évaluation produisant des connaissances considérées comme pertinentes du point de vue des différents acteurs concernés par le conseil prévention dans la production agricole délivré par la MSA. Il ne s’agissait donc pas de produire une évaluation mais de recueillir et valoriser des connaissances et des attentes éparses au sein de la MSA et à l’extérieur, pour éclairer ex ante la décision sur l’évaluation à la MSA.
L’analyse repose sur trois sources de données principales : la littérature scientifique, des rapports et textes réglementaires, et surtout sur des entretiens avec une diversité d’acteurs : personnes travaillant à la MSA et directement engagées dans le conseil prévention, administrateurs des 3 collèges de la MSA, représentants de personnes extérieures directement concernées par le conseil relatif à la santé et la sécurité au travail des personnes travaillant dans les exploitations agricoles.
Les données recueillies concernent principalement : (i) la conception de la prévention en santé et sécurité au travail dans l’agriculture et de son évaluation ; (ii) le type de preuves qu’il paraît souhaitable de produire (preuves d’effet [est-ce que ça marche?...], preuves de mécanismes [comment ça marche ?], preuves de présence [contamination, stress…]) ; (iii) les méthodes à adopter (méthodologie participative, mesure des résultats (métrologie), mesure des moyens mis en œuvre, autoévaluation) ; (iv) les publics cible à privilégier (agriculteurs, salariés, jeunes, …) ; (v) les objets sur lesquels l’évaluation devrait porter en priorité.
L’analyse montre que différentes conceptions de la prévention SST coexistent à la MSA et que l’évaluation de ces activités est jugée inégalement utile. Les résultats font ressortir cinq grandes représentations de ce que serait une évaluation produisant des connaissances pertinentes : « Pragmatique & documentée », « Gestionnaire & réglementaire », « Inclusive » ; « Ambivalente » ; « Distanciée ». Des critères de pertinence très différents sont mis en avant pour envisager une évaluation qui aurait du sens pour le conseil prévention dans les exploitations : la représentation gestionnaire n’est qu’une représentation parmi d’autres. On observe aussi qu’il y a des positions très opposées sur quelques questions clé (pesticides, salariés précaires, indicateurs d’efficacité) et la façon dont il doit en être tenu compte dans l’évaluation.
Les détails de l’analyse fournissent des informations sur divers points d’attention qui peuvent être mobilisés pour réfléchir à l’évolution des procédures d‘évaluation du conseil prévention à la MSA et choisir les méthodes d’évaluation les plus adaptées aux objectifs. La richesse des expériences et des réflexions des personnels de la MSA, des administrateurs et des bénéficiaires de ces services apparaît comme une ressource importante pour faire progresser les procédures d’évaluation et notamment améliorer la fiabilité des indicateurs de succès et en éviter certains effets pervers.
| Origin | Files produced by the author(s) |
|---|