L’analyse quantitative et qualitative est ici déclinée à travers cinq processus.

Une enquête

Pour étudier l’éventuel rôle du format et du statut du média sur l’efficacité du fact-checking, nous avons mené une enquête auprès de consommateurs d’informations. Celle-ci a aussi pour objectif d’analyser l’influence de certaines variables (âge, connaissance du domaine de la nutrition) sur l’adhésion à la fake news. Il s’agit de la pierre centrale de notre exploration. Celle-ci se divise en deux sous-parties.

Le premier volet a évalué les différences d’effet entre un fact-checking textuel et un fact-checking sous forme de vidéo. Nous avons choisi de travailler à partir d’une fake news qui a réellement été diffusée et qui certifie que le citron peut guérir du cancer. Le premier groupe aura donc exclusivement accès à cette infox. Nous avons fourni au deuxième groupe cette même infox, ainsi qu’un article de fact-checking sous forme de texte. Celui-ci ne comportait aucun logo, couleurs ou mise en page qui aurait pu donner une crédibilité spécifique à ce qui était annoncé. Enfin, le troisième groupe avait à disposition la même fake news ainsi qu’une vidéo de fact-checking. Dans ce cas aussi, la vidéo ne contenait aucun signe reconnaissable.

Le second volet étudie une problématique un peu différente : il vise à analyser l’impact du statut du média qui procède au fact-checking sur la crédibilité qui est accordée à l’infox. Pour cela, il compare l’impact d’un fact-checking textuel issu d’un média dit « traditionnel » (en l’occurrence Le Monde) avec celui issu d’un média nouveau (un blog). Ici, la fake news stipulait que les vaccins provoquaient l’autisme. Ici encore, trois groupes ont été constitués : le premier n’a reçu que l’infox, le deuxième l’infox et le fact-checking du Monde, le dernier l’infox et le fact-checking du blog.Tableau

Dans les deux cas, les personnes interrogées ont dû répondre à un questionnaire – par l’intermédiaire d’un Google Form – dans lequel ils devaient évaluer la crédibilité d’une information proche de la fake news, mais aussi mentionner ce qu’ils seraient enclins à faire après lecture de cette information. Ils ont ensuite répondu à des questions évaluant leur connaissance des fondements de la nutrition puis de renseigner leurs caractéristiques socio-démographiques. A des fins de commodité, nous nommerons dans la suite de notre exploration le premier volet « Questionnaire Fact-checking Formats » et le second volet « Questionnaire Fact-checking Supports ».

Intéressons-nous maintenant à l’échantillon sur lequel nous avons travaillé.

Effectifs des différents groupes

	Questionnaire Fact-checking Formats	Questionnaire Fact-checking Supports
Groupe 1 (témoin)	28	19
Groupe 2	22	20
Groupe 3	29	26
Total	79	65

Ces questionnaires ont été diffusés par e-mail afin de pouvoir contrôler le profil des individus interrogés. La constitution des différents échantillons a été réalisée dans le but d’avoir une population variée (notamment en termes d’âge).

Les biais d’échantillonnage sont pourtant réels. L’échantillon des trois questionnaires est relativement restreint. La répartition femmes/hommes est similaire entre les trois questionnaires (environ deux tiers de femmes et un tiers d’hommes). La répartition en catégories d’âge est inégale, les groupes 1 et 3 ayant un échantillon avec une majorité de jeunes étudiants alors que le groupe 2 n’en a que 30% (et 45% de personnes entre 45 et 54 ans). La population étudiante a, pour les trois questionnaires, globalement pour objectif d’atteindre un niveau bac +4 / +5. Pour les autres catégories socio-professionnelles, il y a parmi les questionnaires 2 et 3 une grande part de bac +3 et de bac +4/+5, le questionnaire 2 étant plus éduqué globalement que les questionnaires 1 et 3. Quoiqu’il en soit, il faut avoir conscience que la population étudiée a un niveau de scolarité bien supérieur à celui de la moyenne nationale.

Vis-à-vis du processus de fact checking, les disparités sont également marquées entre les trois échantillons. Le questionnaire 1 est globalement moyennement familier avec le fact checking. Le questionnaire 2 est clivé, soit l’individu était familier avec le fact checking, soit peu. Le questionnaire 3 est quant à lui globalement plutôt familier avec le fact checking:

Un questionnaire général

Un deuxième questionnaire en ligne permet de compléter les résultats en abordant un prisme plus général. Il a pour but d’évaluer la familiarité au domaine du fact-checking de la population en étudiant aussi si certaines variables (âge, niveau de diplôme, sexe) influent sur ces résultats. Il comporte des questions plus générales sur la connaissance du fact-checking, sur les thématiques qu’il aborde, les différents sites qui lui sont dédiés ainsi que sur leur éventuelle utilisation. Il permet enfin de mesurer si les individus trouvent cette vérification des faits pertinente et utile. Dans notre étude, nous nommerons ce questionnaire « Questionnaire général ». Il dispose d’un effectif N=105 et a aussi été diffusé par l’intermédiaire d’un Google Form. Diffusé sur les réseaux sociaux, il contient une majorité d’étudiants de Sciences Po.

Une analyse de la place du thème de la santé dans le fact-checking français

Une analyse quantitative de la place du thème de la nutrition dans les articles de fact-checking de trois médias reconnus visait à cerner l’importance donnée à ce thème, notamment par rapport aux actualités politiques. D’une part, nous voulions parvenir à élaborer le contexte, le cadre dans lequel s’inscrivent les articles de fact-checking relatifs à des enjeux de santé. D’autre part, nous souhaitions vérifier de manière quantitative les réponses des individus concernant leur impression des thèmes les plus traités par le fact-checking, réponses collectées par l’intermédiaire du Questionnaire Général.

Pour cela, nous avons comparé la proportion des thèmes des informations vérifiées par trois media reconnus pour leur rubrique de fact-checking en France : l’AFP (via sa rubrique AFP factuel), Le Monde (Les décodeurs et plus précisément la rubrique « Vérification ») et Libération (Checknews). Nous avons donc récolté les 50 derniers articles de ces trois media et nous leur avons associé une catégorie. Afin de pouvoir comparer les résultats, nous avons effectué cette analyse à la même date, à savoir le vendredi 8 novembre. Cependant, les trois organismes ne publiant par leurs articles à la même fréquence, les 50 articles ne couvrent pas tous exactement la même période : du 24 octobre au 8 novembre 2019 pour Check news, du 9 septembre au 8 novembre 2019 pour Les décodeurs, du 1^er octobre au 8 novembre pour Afp factuel.

Huit catégories ont été délimitées. Nous avons bien sûr créé la rubrique « santé » afin d’étudier la proportion d’articles vérifiant des informations liées à la santé ou à la nutrition (par exemple Non, cette boisson à base de jus de feuilles de manioc et de bissap ne guérit pas le VIH, Afp factuel, 25 octobre 2019).

Au-delà de voir quelle place avait cette thématique dans les sujets des articles de fact-checking, nous voulions voir quels thèmes étaient traités majoritairement.

• Nous avons classé dans la catégorie « Politique » deux types d’articles. D’une part, les articles qui ont pour but de vérifier la véracité des dires de personnalités politiques, c’est-à-dire si ce qu’ils ont dit est exact (par exemple : La majorité des immigrés arrivant en France sont-ils sans diplôme, comme le dit Marine Le Pen ?, Checknews, 25 octobre 2019) ou si les dires ou les actions qu’on leur prête sont exactes (Non, Agnès Buzyn n’a pas vraiment dit qu’« une femme peut être un père », Les décodeurs, 30 septembre 2019). D’autre part, ceux qui concernent le monde politique en général.
• Ensuite, la catégorie « Economie » rassemble les articles liés aux actualités économiques mais aussi ceux dont la thématique est la consommation ou l’emploi (Est-il vrai que 25% des salariés en France pratiquent le télétravail ?, Checknews, 25 octobre 2019).
• La modalité « Culture » renvoie à des thématiques éducatives (Est-il vrai qu’un des «pères» des études de genre a admis que ce domaine des sciences sociales n’était pas sérieux ?, Checknews, 7 novembre 2019), mais aussi médiatiques (Qui est Abdelaziz Chaambi, qui a insulté Zemmour devant les locaux de CNews ?, Checknews, 6 novembre 2019) et plus globalement culturelles.
• Nous avons collecté sous l’intitulé « Défense » les articles qui vérifient des informations d’ordre militaire (tels L’armée française installe un camp militaire à Djibo au Burkina? Les autorités des deux pays démentent, AFP factuel, 4 octobre 2019) et concernant des manifestations (Afrique du Sud : attention aux images anciennes qui illustrent les émeutes xénophobes, Les décodeurs, 9 septembre 2019).
• La rubrique religion renvoie à des articles vérifiant des affirmations ayant trait aux confessions, comme par exemple Non, une étude ne dit pas que « plus de 50% » des musulmans en France « placent la charia au-dessus des lois » (Afp factuel, 8 octobre 2019).
• De manière assez simple, la catégorie Environnement renvoie à des articles ayant trait à la biologie (Oiseaux tués, insectes en surchauffe…, démêler le vrai du faux sur les animaux et la 5G, Les Décodeurs, 13 septembre 2019), à la climatologie (Des climatosceptiques font-ils partie des experts entendus par le Conseil supérieur des programmes ?, Check news, 25 octobre 2019) et de manière générale à l’environnement.
• Les « faits divers » concernent des crimes, arnaques (Ce certificat de décès est authentique, mais une jeune femme n’a pas été brûlée dans un supermarché chilien, Afp factuel, 31 octobre 2019).
• Enfin, la catégorie « Autres » rassemble les articles qui n’ont pu être classés.

Cette classification a bien sûr des limites. Certes, certaines catégories (par exemple la rubrique culture) regroupent des sujets assez différents, mais à des fins de lisibilité, il était nécessaire de ne pas travailler sur un nombre trop élevé de modalités. Par ailleurs, certains articles pouvaient parfois concerner deux thèmes et dans ce cas, nous avons fait un choix en fonction de la thématique qui semblait prépondérante et de l’angle choisi par l’article.

Une analyse des commentaires d’une vidéo de fact-checking

Une analyse des commentaires d’une vidéo YouTube d’Hugo Décrypte qui traitait des vaccins et du mouvement anti-vaxx (https://www.youtube.com/watch?v=1IWtz3zJ8sA) a également été menée. Le mouvement anti-vaxx s’appuie sur de nombreuses fake news et le but de la vidéo était de debunker quelques unes d’entre elles. Les commentaires de cette vidéo reflètent les réactions des personnes la visionnant et permettent ainsi de quantifier un fact checking en ligne. L’imprécision de la caractérisation de l’échantillon doit tout de même être gardée à l’esprit.

Des entretiens

Ces données quantitatives ont été complétées par des analyses qualitatives. Nous avons en effet réalisé des entretiens semi-directifs auprès d’individus (N=6 dont trois individus de moins de 24 ans et trois appartenant à la tranche d’âge des 45-54 ans) à qui nous avons montré des vidéos de fact-checking. Trois personnes ont visionné une vidéo du Monde qui contredisait l’idée que le citron guérissait du cancer quand les trois autres ont regardé une vidéo d’HugoDécrypte débunkant l’idée que les vaccins étaient dangereux pour la santé. Les discussions qui ont suivi ont notamment porté sur le contenu de la démonstration (l’objectivité de la démonstration, le caractère convaincant des arguments,…) et sur la forme (la pertinence du format utilisé : la vidéo). Il s’agissait aussi de mesurer dans quelle mesure les individus interrogés avaient été convaincus. Ces données qualitatives ont été déterminantes car les données qualitatives peinent à mettre au jour les véritables schémas de pensée des individus.

Nous chercherons tout d’abord à évaluer la place accordée au thème de la santé par le fact-checking, et notamment par les médias les plus reconnus. Puis, nous nous tenterons de découvrir si le format (ou support) utilisé par le fact-checking joue un rôle sur l’efficacité de celui-ci. Enfin, nous verrons si le statut du média est une variable importante dans l’efficacité du fact-checking.