Foutaisomètre : donne des critères pour évaluer la qualité d'une source

Fiche en français (PDF), fichier source (*.PUB)

• Variante pour l'histoire : Évaluer un document de type source secondaire (monographie ou article scientifique) en histoire, fichier source (*.PUB)

Bullshit-o-meter: assessing the quality of a source

Translated in English (PDF), Original source file (*.PUB)

Principes / Principles

Évaluer une source avec une grille d’analyse quantifiée et ludifiée. Chaque élément apporte ou retire du crédit à une source, selon une échelle numérique qui va de -10 à +5.

Pour :

• Aller plus loin que le simple oui/non.
• Séparer clairement les éléments positifs des éléments négatifs («les bons et les méchants»)
• Synthétiser le contenu présenté dans les ateliers de formation sur l'évaluation des sources.
• Rendre ces raccourcis de pensée, les heuristiques de jugement (Kahneman, 2014), plus explicites, plus complets et pondérés par une valeur.

Assessing an information source with an analytical quantified and gamified framework. Each element add or reduce credit to a source on a scale of -5 to +5.

For : - Going further than a simple yes/no or pass/fail assessment. - Separating clearly the positive and the negative elements (« the good and the bad guys»). - Summarizing the knowledge content delivered in previous workshops on information literacy. - Making the judgemental heuristics more explicit, more comprehensive and more weighted with a numerical value.

Utilisations / Uses

1. Comme une fiche-synthèse à remettre à la fin d'un atelier sur l'évaluation des sources. Encore mieux : dans l'atelier, insérez volontairement une erreur et en début d'atelier demandez aux étudiants de la repérer. À la fin de l'atelier, remettez la seule fiche-synthèse plastifiée au participant qui l'a trouvé en premier, les autres participants ont la version papier simple.

2. Évaluer le document le plus faible parmi la bibliographie d'un travail, d'un mémoire, d'une thèse; ou dans le syllabus d'un professeur ; ou dans la bibliographie d'une source (article ou livre).

3. Discussion sur les valeurs -5 à +5. Tous les critères listés dans le foutaisomètre ne se valent pas. Certains sont plus forts que d'autres. L'échelle va de 1 point à 5 points. Je demande aux étudiants de discuter le nombre de points. Comment est-ce qu'ils construiraient une nouvelle échelle de points ?

4. Le score final ne veut rien dire en soi. Il ne peut être utilisé pour comparer des sources entre elles.

5. Le foutaisomètre n'évalue pas la pertinence d'un document en fonction de votre besoin d'information. Un document peut être de très bonne qualité, fiable et reconnu mais être complètement inadapté au type de travail ou de projet que vous menez.

1. A laminated copy could be used as award for the first student who discovers the mistake deliberately put in the learning activity; the other participants only get a paper copy of the sheet.

2. Finding the weakest source in a list of bibliographic references : your thesis, your syllabus, a book.

3. Debatting the quantified values of the elements : -5...+5 (is it enough ? is it too much ?...).

4. The final score doesn't have a meaning by itself. They cannot be used to measure different sources.

5. The Bullshitometer doesn't assess how a source is relevant to your works and your information needs.

Un peu de bayésianisme / Some bayesianism

Depuis la version 1.13, le foutaisomètre inclus une sorte de « logique bayésienne » sur les critères d'autorité. Cette pondération bonus/malus peut apporter du renforcement positif quand la source concorde avec le consensus scientifique actuel dans la discipline, ou du rejet quand des éléments de la source nous alertent car ils figurent déjà dans une liste noire que l'on s'est constituée.

Le consensus scientifique peut être identifié de manière différente selon la discipline. Habituellement, il peut être trouvé dans :

• des handbooks (manuels avancés) universitaires ;
• des encyclopédies spécialisées éditées par des presses universitaires ou des sociétés savantes ;
• les revues les plus prestigieuses ;
• les articles les plus cités ;
• des documents spécifiquement édités pour énoncer le consensus (comme les publications du GIEC par exemple).

Dans le but de discipliner ses biais de confirmation, il peut être pertinent de se constituer une liste noire explicite de sources déjà évaluées comme douteuses (auteurs, éditeurs, etc.). Pour se constituer une liste noire, on peut créer un document électronique contenant un tableau en deux colonnes. Une première colonne avec le nom de l'élément et une seconde colonne avec le détail de pourquoi celui-ci figure dans la liste noire (et une date AAAAMMJJ).

Métadonnées / Metadata :

• Auteur / Author : Pascal Martinolli (Bibliothèques de l'Université de Montréal)

• Traduit en anglais par / Translated by : Jennifer AW Stubbs

• Créé le / Created : 2016

• Dernière version / Most recent version : 2022-10-13 v1.19

• Format de fichier / Original format : MS Publisher 2013, 2016 (Propriétaire/Proprietary)

• Licence / License : par les bibliothèques UdeM, sous licence CC BY 4.0

• Comment le citer pour le réutiliser (exemple) / How to cite it to reuse it (example) : « Foutaisomètre » par l’Association des étudiants, sous licence CC BY 4.0 International, adapté de Foutaisomètre : donne des critères pour évaluer la qualité d'une source, les bibliothèques UdeM, sous licence CC BY 4.0 International.

• Utilisé par / Used by :

  • Université de Montréal
    • Séminaire PLU6058 - Rechercher et exploiter la documentation ;
    • FAS1901 - Méthodes de travail universitaire ;
    • ANT2290 - Monstres, ovnis et pseudo-archéologie ;
    • MOOC BoniCI - Bonifier ses compétences informationnelles ;
    • Foutaisomètre des REL
  • New York University
    • NYU Shanghai Library.
    • Foutaisomètre de la Fabrique REL
  • École de technologie supérieure, Université du Québec
  • École polytechnique fédérale de Lausanne
  • Cégeps du Québec
    • Bibliothèque du Collège Montmorency ;
    • Bibliothèque du cégep de Ste-Foy ;
    • Bibliothèque du cégep de la Gaspésie et des Îles ;
    • Bibliothèque du cégep de Rivière-du-Loup.
  • Bibliothèques en France
    • Institut national supérieur du professorat et de l'éducation de l'académie de Reims, Université de Reims : Foutaisomètre cliquable!
    • BnF - Bibliothèque nationale de France ;
    • BU Aix-Marseille Université.
    • Une revue intégrative sur les soins palliatifs.

• Présenté à / Presented at : WILU2018, Congrès BES-CPI 2018, McGill ACRL Reflection 2018, TribuneCI 2018, REBICQ 2019, TribuneCI 2019, The Library Collective 2020.

• Diffusé via / Promoted through : ACRL Sandbox, Project CORA (in Oasis), Archimag

• Contributions : Jennifer AW Stubbs, Mathieu Thomas, Nino Gabrielli, Natalie Clairoux, Patrice Dupont.

• Commentaires bienvenus / Commments are welcomed at : pascal.martinolli [à] umontreal.ca

https://github.com/pmartinolli/TM-bullshitometer