De l’inutilité de la majorité des études scientifiques

Au début du millénaire, une étude publiée dans Epidemiologic Reviews accusait les produits laitiers de favoriser le cancer de la prostate. Quelques années plus tard, l’American Journal of Epidemiology attestait du contraire, après avoir suivi une cohorte de plus de 80 000 hommes pendant une décennie.

Cet exemple, relaté par Pierre Barthélémy sur son blogue Passeur de sciences, révèle la grande confusion de la recherche scientifique, et illustre tout autant le désarroi que le public peut ressentir face à l’avalanche d’études réalisées (et de signaux contraires envoyés).

Mais le public peut compter sur John Ioannidis. Ce professeur de l’Université Stanford s’est fait le héros de la dénonciation des dérives des études scientifiques. En 2005, il a démontré que certaines d’entre elles s’appuyaient sur des bases statistiques douteuses, rendant nulle la valeur des résultats obtenus. Dans ce même essai, intitulé « Pourquoi la plupart des résultats de recherches sont faux », il pointait du doigt le parti pris de nombreux essais cliniques qui précèdent la mise en marché de médicaments.

En 2012, John Ioannidis, aidé de Jonathan Schoenfeld, a passé au peigne fin pas moins de 300 études établissant un lien entre le cancer et certains aliments piochés au hasard dans un livre de cuisine édité pour la première fois en 1896, Boston Cooking-School Cook Book. Ils se sont particulièrement intéressés à la méthodologie des chercheurs, portant grand soin à l’interprétation des résultats. Or, dans 80 % des cas, le lien entre l’aliment et le cancer s’avérait exagéré, tiré par les cheveux, voire carrément imaginaire.

Pire, sept fois sur dix, les chercheurs n’ont pas hésité à ignorer dans le résumé de l’étude (que tout le monde consulte en premier) les résultats qui ne concordaient pas avec l’hypothèse de travail. Écarter ce qui est « non significatif » est d’ailleurs une pratique répandue visant à maximiser les chances de publication des recherches dans les pages des revues scientifiques. Celles-ci préfèrent parler de résultats positifs – autrement dit, de découvertes – plutôt que de résultats négatifs, qui ont pourtant une valeur tout aussi scientifique.

John Ioannidis ne s’est pas arrêté là. Sur son blogue, Pierre Barthélémy fait état du nouveau pavé dans la mare lancé par le professeur américain, dont le titre du dernier article dit tout : « Comment faire en sorte que plus d’études publiées soient vraies ».

En préambule de son texte, John Ioannidis affirme avoir recensé, entre 1996 et 2011, pas moins de 25 millions d’études scientifiques en provenance de quelque 15 millions de personnes de par le monde. Il laisse ainsi entendre que le nombre de véritables découvertes n’est en aucun cas comparable à ce chiffre démentiel.

John Ioannidis est convaincu depuis des années que le problème principal est ailleurs, qu’il est dû au fait que le système de recherche ne fonctionne plus correctement et que la plupart des “découvertes” qu’il engendre ou enregistre n’en sont pas : par la faute de protocoles inadaptés, de biais, de mauvais traitements statistiques voire de malhonnêteté intellectuelle, les résultats soi-disant significatifs sont trop souvent des faux positifs que l’on ne peut reproduire. Au bout du compte, en biomédecine, c’est jusqu’à 85 % des investissements faits dans les recherches qui sont perdus, soit un total annuel astronomique de 200 milliards de dollars !

Commentaire :
Tout juste assez pour nourrir un pays une année entière…

Une autre estimation, moins précise, évoque un gâchis portant sur “des dizaines de milliards de dollars”.

Le problème trouverait en partie sa source dans le peu de volonté émis par le monde scientifique de se réformer, de regagner en efficacité et de retrouver la crédibilité du public.

John Ioannidis fait une description, en termes choisis mais qui contiennent souvent leur dose de vitriol, d’un monde académique parfois sclérosé où les personnes qui attribuent les budgets publics de recherche sont rarement de grands chercheurs, où le conservatisme le dispute au népotisme et au sexisme. Le paragraphe qu’il consacre au conflit d’intérêts vaut son pesant de cacahuètes : “Il arrive parfois que la même personne porte plusieurs chapeaux : un chercheur universitaire peut aussi diriger une revue, posséder une start-up, être membre d’une société savante, conseiller gouvernemental et/ou toucher de l’argent de l’industrie.”

Le brûlot de John Ioannidis n’est pas qu’un coup de gueule. Comme l’écrit Pierre Barthélémy, il ne cherche pas à « démolir la science ni ceux qui la font à grands coups de démonte-pneu », mais plutôt à « améliorer le fonctionnement de la recherche car la marge de manœuvre, suggère-t-il, est grande ». Ainsi, pour remettre un peu d’ordre dans le monde scientifique, il propose de n’accorder de valeur qu’aux études qui ont pu être reproduites avec succès ou qui ont abouti à des traitements, par exemple.

Et pour cause ! Dans un portrait de lui paru en 2012 dans le magazine de l’Université Stanford, John Ioannidis affirmait qu’il y a peu, « 99 % de la littérature [scientifique] n’était pas fiable »…

Source