@Marcello Vitali-Rosati @Benoît Melançon

Aussi les critiques de ChatGPT sont souvent débiles: il est évident qu’un chatbot n’a aucune idée de vérité, il ne sait pas ce qu’est une source ou une référence… il n’est pas fait pour cela. Quand on fait des recherches en utilisant ChatGPT comme un moteur de recherche c’est encore une fois comme si on essayait d’utiliser une tronçonneuse pour rouler sur l’autoroute et qu’on se plaignait du fait qu’elle “ne marche pas bien”… Elle marche superbien, mais pour couper des arbres! ChatGPT ne peut pas faire des recherche, il n’est pas conçu pour cela, il sert à autre chose. (D’autres angoisses et critiques débiles concernent la prétendue perte de créativité, le plagiat etc… j’ai déjà eu l’occasion d’en parler).

Je ne suis pas convaincu par ce paragraphe. Les critiques de ChatGPT ne se fondent pas uniquement sur ses capacités théoriques, mais sur les utilisations pratiques qui en sont faites, même et surtout si elles ne rentrent pas dans les utilisations optimales de cet outil. Dit autrement, les critiques de ChatGPT qui se plaignent des tranchées bien réelles que cette tronçonneuse laisse sur les chaussées où elle est incorrectement utilisée comme un véhicule sont tout à fait valable, y compris parce qu'OpenAI a un marketing ambigu sur le champ d'application de leur tronçonneuse.

@Marcello Vitali-Rosati @crihn

De la même manière, je peux regarder un LLM – GPT ou Palm, par exemple – et dire qu’il n’est pas capable de discerner ce qui est vrai de ce qui ne l’est pas. En ce moment, cette activité semble être le sport national des journalistes, qui continuent à faire des “expériences” pour montrer que ChatGPT ou Bard disent des choses fausses

Ces expériences n'ont pas été effectuées dans un vide contextuel qui pourrait étayer votre hypothèse d'établissement (ou de ré-établissement) de hiérarchies, mais par contraste avec le discours marketing d'OpenAI qui utilise un champ lexical cognitif pour qualifier son chatbot, et aussi avec les usages effectifs de ce chatbot qui ont déjà fait perdre beaucoup de temps à des chercheureuses à qui on a demandé une copie d'articles scientifiques que ChatGPT assurait qu'iels avaient publiés. Alors que c'étaient, comme vous l'avez bien mentionné, juste des résultats probabilistiques.

On a donc une situation où OpenAI revendique des qualités que son application LLM n'a pas, et que certains (la plupart ?) de ses utilisateurs prennent pour acquis. C'est dans ce contexte que des journalistes ont effectué des fact-checking pour dissiper l'illusion de fonctionnalités qui ne peuvent effectivement pas exister, mais qu'OpenAI vante quand même et que par conséquent des utilisateurs attendent de ChatGPT.