Dans un post du 23 septembre publié sur son blog Bad Science, Ben Goldacre revient sur un argument fondamental pour ceux qui pensent qu’il faudrait fonder les décisions importantes (en éducation, médecine, agronomie, environnement, climat, énergie, …) sur les connaissances scientifiques et l’évidence: le cherry picking ou picorage, et l’importance des revues systématiques de la littérature.

Ceux qui pensent que connaissances scientifiques et évidence peuvent nous mener à prendre de meilleures décisions que l’intuition, la tradition, ou les sentiments visceraux (gut feelings) poussent pour produire de nouvelles connaissances, plus applicables, et pour les évaluer dans des contextes d’application. C’est le but de la recherche translationnelle, en médecine comme en éducation et dans d’autres domaines.

Mais il n’y a pas que la science encore à produire: nous sommes confrontés aussi avec des connaissances déjà produites et mises en circulation. Comment les exploiter? Une première règle générale semble être celle de se méfier des translation trop directes entre les découvertes de la recherche théorique, de laboratoire, et applications.

Le monde de l’éducation nous offre plusieurs exemples de cette fallacie et de ses conséquences. La fascination pour les neurosciences, par exemple, a produit des méthodes pseudo-scientifiques qui se sont appropriées du jargon neuroscientifique sans pour cela adopter un point de vue scientifique: leurs résultats ne sont pas testés ou, quand ils le sont, ne montrent pas d’effets positifs; en plus, les notions auxquelles elles s’inspirent sont pour le moins douteuses, ou carrément en contradiction avec ce que la science nous dit à propos du fonctionnement du cerveau. C’est le cas de Brain Gym(c), des produits commerciaux qui vendent les effets positifs de la musique de Mozart sur le cerveau, de pas mal de produits pour le Brain Training. Dans les cas moins extrêmes, la connaissance du cerveau et de ses mécanismes est utilisée pour inspirer des recommandations tellement générales qu’elle ne peuvent ni nuire ni constituer des apports significatifs à l’éducation; au fond, ces recommandations ne font que re-itérer des intuitions et des bonnes pratiques du passé, mais en donnant la fausse impression qu’elles ont été prouvées par la science. Ca ne fait pas nécessairement à l’éducation, mais ça peut donner une fausse image à la fois de la science et de sa valeur applicative.

C’est pour cette raison que d’abord le mouvement de la evidence-based medicine (EBM) et ensuite celui de la recherche translationnelle en médecine (TR) ont mis l’accent sur les difficultés et la nécessité de soigner les phases de passage de la recherche théorique de laboratoire à celle de test clinique et puis de test en conditions réelles d’utilisation. Sans ces passages entre recherche théorique et recherche capable de nous dire « ce qui marche »  (what works) la translation devient un saut dans le vide.

Naturellement il y a des règles pour conduire la recherche à propos de « ce qui marche »: les chercheurs savent que leurs résultats ne valent rien s’ils n’ont pas été obtenus au bout d’un processus rigoureux où les biais (les influences sur l’observation et l’interprétation des résultats) ont été attentivement contrôlés. Le succès de la science se fonde sur  sur la conscience, de la part des chercheurs, que les processus de l’observation et de l’interprétation sont souvent influencés par nos désirs, heuristiques, fallacies de raisonnement.

Ceci n’est toutefois pas encore suffisant. Même au bout de ce processus rigoureux, des influences peuvent avoir échappe à l’équipe de chercheurs qui s’est plongée dans l’expérience. Ils croient avoir tout bien fait, mais ils ont oublié de contrôler une paramètre important. C’est ici qu’entre en jeu la nature distribuée de la connaissance scientifique –  en tant qu’entreprise collaborative et non individuelle – et le caractère auto-correctif de la recherche et du progrès scientifiques. D’autres équipes de chercheurs reproduisent les mêmes expériences, les résultats sont confrontés et seulement l’accord entre ces différents résultats peut aspirer au statut de fait.

Cette deuxième partie de l’entreprise tombe à l’eau quand quelqu’un se saisit d’un résultat expérimental individuel en croyant ainsi (ou en prétendant) appuyer ses idées sur du solide. Ce quelqu’un ignore (ou feint d’ignorer) que « le solide » n’est  pas garanti par la rigoeur d’une recherche expérimentale individuelle, mais par l’accord entre les résultats produits par plusieurs expériences de ce genre.

Si on veut que la connaissance scientifique et l’évidence constituent le terrain solide des prises de décisions en éducation et ailleurs, il faut être vigilants par rapport au « cherry picking » de résultats favorables à nos idées. Ceci n’est pas facile, et non seulement pour des défaillances d’intégrité éthique. Nous sommes submergés d’informations, en manque de temps: comment sélectionner l’information à la fois rigoureuse et issue d’un accord large dans la communauté scientifique?

In the very recent past, this was done badly. In the 1980s, researchers such as Celia Mulrow produced damning research showing that review articles in academic journals and textbooks, which everyone had trusted, actually presented a distorted and unrepresentative view, when compared with a systematic search of the academic literature. After struggling to exclude bias from every individual study, doctors and academics would then synthesise that evidence together with frightening arbitrariness.

C’est ici que se révèle toute la valeur pratique des analyses systématiques de la littérature scientifique: elles combinent de manière quantitative (les méta-analysies) ou qualitative (les revues systématiques) les résultats sur un effet particulier, évaluent la rigoeur de la recherche qui a mené à ce résultat, sélectionnent seulement les recherches qui respectent des standards élevés de production de l’évidence, additionnent les résultats eux-mêmes et peuvent ainsi montrer si l’effet démontré est statistiquement significatif sur des populations larges et indépendamment des biais que chaque équipe de recherche introduit inévitablement.

Naturellement, la production de meta-analyses et de revues systématiques de la littérature est une science en soi.

The science of « systematic reviews » that grew from this research is exactly that: a science. It’s a series of reproducible methods for searching information, to ensure that your evidence synthesis is as free from bias as your individual experiments. You describe not just what you found, but how you looked, which research databases you used, what search terms you typed, and so on. This apparently obvious manoeuvre has revolutionised the science of medicine.

C’est pour cela qu’il est nécessaire qu’elle soit correctement développée dans le domaine de l’éducation, comme dans celui de la médecine.

Pour cela on nécessite de bases de données aussi compréhensives et faciles à consulter que PubMed ou PsychInfo, d’une connaissance approfondie des méthodes statistiques d’analyse, mais aussi de la volonté de soutenir cet effort de la part de chercheurs en éducation, et de règles pour la production de méta-analyses qui échappent le plus possible aux influences de ceux qui les produisent. Un exemple sur tous: trop souvent les méta-analyses en éducation (par exemple celles fournies par What Works Clearinghouse) sont signée par un seul auteur, alors qu’une bonne règle est de les confier à plusieurs auteurs.

Le jour où l’éducation aura sa Cochrane Collaboration on aura fait un pas important vers la mise en place d’une vraie démarche basée sur l’évidence dans la prise de décision en éducation.

Certes, ce ne sera pas encore assez pour garantir que les résultats de la science et l’évidence sont traduits en applications et que ces applications sont réellement mises en place au quotidien, mais celle-ci est une autre histoire…

 

Elena Pasquinelli

 Leave a Reply

(required)

(required)

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>