L’évaluation de la recherche

Définition

L’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur) est une instance créée par la loi de programme pour la recherche du 18 avril 2006. Son rôle est d’évaluer l’ensemble du paysage de la recherche et de l’enseignement supérieur. Sa création a été “un acte essentiel pour la rénovation du pilotage des politiques nationales de recherche” d’après le rapport d’activité 2007 de l’AERES. L’agence a donc un “rôle majeur” à jouer “dans le pilotage national par l’Etat des problématiques de la recherche et de la formation”.

Pour mémoire, le paysage de l’enseignement supérieur et de la recherche est constitué, entre autres, des “établissements publics à caractère scientifique et technologique” (EPST : CNRS, INSERM, INRA,…), des “établissements publics à caractère industriel et commercial” (EPIC : CEA, CNES, ONERA,…) et des “établissements publics à caractère scientifique, culturel et professionnel” (EPSCP : 82 universités, écoles normales, grands établissements – dont l’Observatoire –  et certaines grandes écoles – les formations et les diplômes du supérieur faisant aussi partie des éléments évalués par l’agence). L’AERES évalue donc un système comprenant 150 000 personnes.

Les unités mixtes de recherche (UMR, entre CNRS et universités) que sont les laboratoires de l’Observatoire sont donc concernés par cette évaluation, et c’est uniquement à ces instances qu’on s’intéressera ci-après. Les chercheurs à titre individuel ne sont pas évalués par l’AERES mais par une instance qui dépend de leur statut :  les sections du CoNRS (Comité National de la Recherche Scientifique) pour les chercheurs CNRS, le CNAP (Conseil National des Astronomes et Physiciens) pour les astronomes et le CNU (Conseil National des Universités) pour les enseignants-chercheurs, ci-après E-C.

Organisation

L’AERES est piloté par un Conseil composé de 25 membres français ou étrangers, tous nommés par décret pour 4 ans. Son président est nommé par décret parmi les membres du Conseil. On y trouve 9 personnalités “qualifiées” dont un tiers provient de la recherche privée ; 7 personnalités choisies sur proposition des directeurs ou présidents des universités et organismes de recherche ; 7 personnalités choisies sur proposition des autres instances d’évaluation (tel que le CoNRS) ; 2 parlementaires. On trouvera ici la liste des membres actuels du Conseil. L’AERES est constituée de trois sections, la première évaluant les établissements, la deuxième, les laboratoires, et la troisième, les formations et diplômes de l’enseignement supérieur. Les présidents de ces sections sont nommés et désignent les membres faisant partie des comités d’évaluation. En résumé, il n’y a aucun membre élu et le lien avec la communauté scientifique est rompu.

Quelques chiffres:

Les chiffres suivant sont issus d’un intéressant article de La Recherche de présentation de l’AERES.

Le budget 2008 de l’AERES était de 5,9 millions d’euros en 2007. Il est passé à 12,7 millions en 2008.

Alors que les délégués scientifiques du CoNRS n’étaient que défrayés, les membres des comités AERES sont rémunérés à raison de 200€ par jour.

Evaluation interne au CNRS et aux universités

Auparavant, l’évaluation des UMR était effectuée par les sections du Comité National de la Recherche Scientifique (CoNRS). Chacune des 40 sections est composée de 21 membres, dont 14 élus des personnels et 7 nommés par le ministère, soit plus de 1000 personnes en tout. On peut trouver ici par exemple les membres de la section 17, “Système solaire et Univers lointain” qui concernent plus particulièrement l’Observatoire. Les sections du CoNRS ne sont pas appelées à disparaître puisqu’elles assureront toujours l’évaluation des chercheurs CNRS à titre individuel. Par contre elles ont perdu leur rôle d’évaluation des laboratoires au profit de l’AERES. Afin que les instances élues gardent un certain poids stratégique, il serait logique que le CoNRS garde un rôle en aval de l’AERES dans les décisions qui émanent des évaluations. Or il n’en est rien : c’est la Direction des partenariats (nommée par la direction du CNRS) qui assure (pour l’instant du moins) ce rôle.

De même pour les universités, le CNU reste l’organe d’évaluation individuelle des E-C. Dans le cadre du projet de décret sur le statut des E-C, il y a clairement évolution vers une  évaluation-sanction avec la possibilité pour le président d’université de moduler les attributions de service des E-C en fonction de leur évaluation.

Critères d’évaluation

L’AERES est beaucoup critiquée pour ses méthodes d’évaluations qui accordent une large place aux critères quantitatifs, tableaux, notations…. Ainsi, le nombre de chercheurs “publiants” aura un impact dans l’évaluation. Un chercheur (resp. E-C) en physique sera considéré comme “publiant” s’il publie dans le cadre d’un plan quadriennal au moins 4 (resp. 2) articles dans des revues de rang A (la liste de classement des revues étant définie par l’AERES). Il est facile d’imaginer les dérives auxquelles ces critères purement numériques peuvent conduire s’ils sont appliqués trop mécaniquement. On pourra consulter ce document concernant les critères d’identification des chercheurs publiants et celui-ci pour un exemple de grille d’évaluation. Le résultat final de l’évaluation est une note affectée au laboratoire : A+, A, B ou C.

Réactions des laboratoires

Les laboratoires en général et l’AG du CNRS du 12 février en particulier (voir partie CNRS en lutte), ont exprimé de sérieux doutes sur les évaluations de l’AERES et entamé des actions, pouvant aller jusqu’au boycott (voir ce film explicatif très didactique du boycott de l’AERES par l’INRIA de Lille).

Concernant l’Observatoire de Paris, les réactions à ces évaluations sont répertoriées dans la partie: Les positions des instances / laboratoires de l’Observatoire.

Un texte important

Le système que veut mettre en place le gouvernement n’a rien à voir avec celui qui existe aux Etats-Unis, contrairement à ce que l’on pourrait être tenté de croire, et comme le montre cet excellent article (issu de la partie articles, essais et analyses).

Un exemple des dérives de l’évaluation bibliométrique

Voici un compte-rendu de l’université Claude Bernard, Lyon1. Il s’agit des résultats de l’appel d’offre “complément de dotation” 2008. Vous verrez comment 300 000 euros sont répartis entre labos et chercheurs sur la base unique de critères bibliométriques (nombre de citations, nombre de citations/facteur d’impact).

Leave a Reply

You must be logged in to post a comment.