Faut-il faire confiance aux réponses de ChatGPT Search ?

Des failles dans l’identification des sources

Depuis le déploiement de ChatGPT Search, OpenAI affirme avoir amélioré son outil, notamment en permettant aux éditeurs de contrôler l’accès au contenu de leur site via des fichiers robots.txt et en signant des accords de licence avec certains médias.

Cependant, une étude menée par le Tow Center a démontré qu’il pouvait exister des failles quant à la précision et la fiabilité des contenus mis en avant dans ChatGPT Search. En testant 200 citations issues de 20 éditeurs différents, les résultats ont révélé que l’outil ne parvient pas toujours à identifier correctement les sources, même lorsque les éditeurs autorisent l’accès à leur contenu.

L’étude du Tow Center a testé ChatGPT en demandant à l’outil d’identifier la source de plusieurs citations provenant de différents articles d’éditeurs. Ces résultats ont montré que dans plus de 75% des cas, ChatGPT n’a pas attribué correctement les citations. Certaines sources ont été complètement ignorées, d’autres ont été mal citées.

De plus, ChatGPT Search citerait des contenus plagiés de contenus originaux. Par exemple, un article du New York Times, inaccessible à ChatGPT en raison d’un blocage, a été référencé sur le moteur de recherche à partir d’un site tiers qui n’a pas été autorisé.

Comment expliquer ces disparités de réponses ?

Lors des tests réalisés par le Tow Center, les réponses obtenues à partir d’une même requête étaient parfois incohérentes.

Cette variation est liée à la manière dont le modèle de langage GPT-4 fonctionne : il utilise un paramètre appelé « température » pour ajuster la variabilité des réponses. Un paramètre élevé peut entraîner des réponses moins précises mais plus créatives, tandis qu’un paramètre bas vise à fournir des réponses plus pertinentes.

Ce système de réponse aléatoire pose donc un problème de fiabilité.

Les utilisateurs, qui n’ont aucune manière de vérifier la provenance des réponses de ChatGPT, peuvent être induits en erreur par des informations erronées qui semblent pourtant crédibles.

Quels impacts pour les éditeurs ?

Si ce constat se révèle réel et fréquent, alors les éditeurs pourraient perdre la confiance des utilisateurs. Ces derniers pourraient remettre en question l’exactitude des contenus publiés.

De plus, le fait que des contenus soient attribués à tort à d’autres sources, pourraient amener les éditeurs à perdre en visibilité.

Des améliorations nécessaires pour renforcer la confiance en l’outil

OpenAI a déjà entrepris certaines démarches, comme le respect des fichiers robots.txt, l’intégration de liens vers des sources et des accords de licence avec des éditeurs.

Le constat suite à l’étude du Tow Center invite OpenAI à aller plus loin, notamment en améliorant la précision des réponses avec la garantie que les contenus originaux soient référencés correctement, ou encore, en signalant qu’une source n’est pas accessible ou qu’une réponse n’est pas certaine.

Source : CJR.org

Avant de se quitter…

Si cet article sur ChatGPT Search et ses failles dans l’attribution des sources vous a plu, n’hésitez pas à le partager sur les réseaux sociaux, à vous abonner à notre newsletter digitale et/ou à nous suivre sur Google Actualités pour recevoir nos prochains articles.

Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).

Nous sommes aussi actifs sur LinkedIn, X, Facebook, Threads et YouTube. On s’y retrouve ?

Mélaine Reynaud

Anciennement E-Store Manager et Social Media Manager en agence et chez l’annonceur, je m’intéresse principalement aux sujets liés au Community Management, au Social Media Advertising et au E-commerce au sens large. Je suis aussi toujours à l’affût des dernières tendances webmarketing et couvre ces sujets pour LEPTIDIGITAL. Pour me contacter : [email protected]