Il existerait des inégalités entre les groupes sanguins face au Covid-19, le virus survivrait plusieurs heures sur certaines surfaces, certains traitements permettraient de lutter contre la maladie… Ces hypothèses, largement relayées dans les médias, sont issues d’études. Confrontés à une maladie inconnue il y a encore quelques mois, les scientifiques redoublent d’efforts pour comprendre ce nouveau coronavirus et ses modes de transmission. Pourtant, toutes ces études n’ont pas la même force de preuve.

Face à ce flux d’information, quelles sont les bonnes questions à se poser pour bien comprendre une étude scientifique ? Les publications dans les revues professionnelles sont avant tout destinées à des chercheurs. Il est possible de s’y repérer en se posant quelques questions, que précise pour 20 Minutes Bastien Castagneyrol, chercheur à l’Inrae et auteur d’articles sur le sujet pour le site The Conversation.

« Dans des temps d’urgence, la première des questions à se poser, c’est de savoir d’où vient l’étude », développe le chercheur. Il recommande de vérifier si celle-ci a été relue par d’autres experts. « Ce qui se passe en ce moment, c’est que les articles sont mis en ligne avant cette étape de relecture. Ce sont ce qu’on appelle dans le jargon des "pre-prints". Les auteurs mettent à disposition du public un travail qu’ils considèrent comme abouti, mais c’est un travail qui n’a pas encore été évalué par la communauté scientifique. C’est comme la version bêta d’un logiciel : il y a sûrement des choses intéressantes dedans, mais ce n’est pas la version finale à laquelle l’on peut faire confiance. »

L’analogie du gâteau au chocolat

Comment se passe ce processus de relecture ? « Quand des chercheurs proposent un article à un journal scientifique, l’éditeur va proposer l’article à des experts du domaine », développe Bastien Castagneyrol. L’objectif ? « Vérifier que le raisonnement est correct, que la manière dont on le présente est correcte et qu’il n’y a pas de failles majeures dans la méthodologie. » L’article peut être retravaillé si les éditeurs estiment qu’il y a des imprécisions ou des ambiguïtés. En conséquence, il peut se passer plusieurs mois avant qu’un article ne soit publié.

Ce travail est essentiel car, si la méthodologie est trop imprécise, d’autres équipes ne pourront pas l’utiliser. « Ce qui fait le poids d’une découverte, c’est le fait que d’autres études confirment ce qui a été fait, lance le scientifique. Pour pouvoir le confirmer, il faut pouvoir utiliser la même méthodologie. Par analogie, si vous voulez faire un gâteau au chocolat, vous allez sur un site de recettes. Si vous n’avez que la photo, vous n’allez pas réussir à refaire le même gâteau. Vous avez besoin de la recette détaillée. »

Dans l’étude, Bastien Castagneyrol conseille de regarder la partie consacrée au traitement statistique des données. Si elle est trop courte, vigilance ! « Quand, dans un article, un paragraphe sur la méthodologie statistique pour traiter les données fait deux lignes, ça m’interpelle. Ces données sont peut-être valables, mais il faut en dire un peu plus pour qu’on puisse y accorder notre confiance, ou non. »

Cette description des données se retrouve dans toutes les disciplines, souligne le chercheur. « C’est ce qui fait la démarche de recherches qui est partagée par tous les collègues de toutes les disciplines, à l’échelle internationale. Le consensus méthodologique se fait là-dessus. »

Toutes les revues n’ont pas la même rigueur

Attention, toutefois, tous les journaux n'ont pas la même rigueur. Certains ont pignon sur rue : Nature, Science ou The Lancet. Toutefois, avoir un « nom en anglais qui claque », comme le fait remarquer David Louapre sur sa chaîne « Science étonnante », n’est pas forcément un signe de qualité. Autre source de confusion, certaines revues peu sérieuses peuvent avoir des noms très proches de revues bien établies. « Depuis l’avènement de l’Internet, des journaux ont développé un modèle économique qui demande aux auteurs de payer pour pouvoir être publiés, développe Bastien Castagneyrol. Certains journaux font cela de manière transparente et très propre. Pour d’autres, leur motivation est simplement de faire rentrer des articles pour faire rentrer de l’argent. Dans ces journaux-là, qu’on qualifie en général de revues prédatrices, la qualité de l’article peut être mauvaise. » Comment repérer ces brebis galeuses ? « Est-ce que c’est un journal bien établi, depuis dix ou vingt ans, ou est-ce que c’est un journal qui s’est créé la semaine dernière ? Quels sont les frais demandés aux auteurs ? C’est ce qui doit mettre la puce à l’oreille. »

Une fois toutes ces vérifications effectuées, est-ce que cela signifie que l’on peut faire confiance aux travaux présentés ? Pas entièrement, car il existe ce que les scientifiques appellent des « niveaux de preuves », que décrit Bastien Castagneyrol : « Une étude, c’est intéressant. Plusieurs études, même avec un faible échantillonnage, qui disent la même chose, c’est d’autant plus intéressant. C’est un premier niveau de preuve. Le deuxième niveau, ce sont de grosses études en double aveugle*, randomisées. Enfin, une fois qu’on a accumulé suffisamment de briques élémentaires, on peut tout rassembler dans une méta analyse, c’est le niveau de preuve ultime. Cela prend du temps, car il faut ces briques élémentaires ».

Et d’ajouter : « Le temps de la crise, le temps des médias, le temps de la recherche, ce sont des temps qui sont différents. »

* Dans une étude en double aveugle, les objets de l’étude, des patients par exemple, sont séparés en deux groupes. Un groupe reçoit le traitement expérimental, l’autre un placebo ou le traitement habituel. Ni les patients ni les médecins ne savent dans quels groupes sont les patients.

Vous souhaitez que l’équipe de la rubrique Fake off vérifie une info, une photo ou une vidéo ? Remplissez le formulaire ci-dessous ou écrivez-nous sur Twitter : https://twitter.com/20minFakeOff

20 Minutes est partenaire de Facebook pour lutter contre les fausses nouvelles. Grâce à ce dispositif, les utilisateurs du réseau social peuvent signaler une information qui leur paraît fausse.