Accès rapide (Sommaire) :
Les meilleurs détecteurs de contenus écrits par ChatGPT en #short :
- Winston AI : le logiciel de détection le plus professionnel et efficace que nous avons testé.
- Draft&Goal : un outil de test d’IA français et gratuit.
- Originality.ai : une alternative professionnelle à Winston AI.
Détecter ChatGPT : une mission possible ?
Qu’on se le dise d’entrée, détecter du texte généré par GPT-3, GPT-4 ou ChatGPT est un réel défi, et pour cause, le détecteur officiel d’OpenAI a lui-même été arrêté car ses performances n’étaient pas suffisamment satisfaisantes selon la firme américaine co-fondée par Sam Altman.
« À compter du 20 juillet 2023, le classificateur d’IA n’est plus disponible en raison de son faible taux de précision. Nous nous efforçons d’intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l’IA. » – OpenAI
Si détecter qu’un contenu a été rédigé avec l’aide de ChatGPT est techniquement complexe, pour un outil comme pour un humain, il est encore plus difficile pour un humain de détecter si un contenu a été rédigé initialement écrit par ChatGPT puis édité et modifié par un humain.
Ceci dit, de plus en plus de logiciels se lancent sur ce marché de la détection de texte IA et l’analyse de points spécifiques permet d’augmenter ses chances de détection (même sans outil payant).
3 logiciels pour détecter efficacement du contenu rédigé par ChatGPT :
1- Winston AI :
Se positionnant comme l’un des leaders en matière de détection de contenus générés par ChatGPT, Winston AI est particulièrement adapté pour les éditeurs de sites, journalistes, rédacteurs et le secteur éducatif.
L’outil est capable d’identifier efficacement les contenus issus des principaux modèles de langage IA actuels, dont GPT-4, Bard, et ChatGPT.
Dans nos tests, un texte produit par GPT4 via ChatGPT a été parfaitement reconnu par Winston AI.
Pour ceux qui souhaitent l’essayer, l’entreprise offre la possibilité de tester sa solution jusqu’à 2000 mots gratuitement. Toutefois, pour une utilisation plus récurrente ou intensive, un abonnement est nécessaire, avec des offres démarrant à 18€ par mois pour l’analyse de 80 000 mots.
2- Draft&Goal :
Ce logiciel français, spécialisé dans l’intégration de l’IA en entreprise, a été conçu par Vincent Terrasi.
Actuellement en phase beta, Draft&Goal introduit son propre détecteur de textes générés par l’IA. Cette plateforme en ligne, gratuite, est capable d’analyser des textes, soit en français soit en anglais, à condition qu’ils comptent au minimum 400 caractères.
Son algorithme se base sur plusieurs critères tels que la longueur du texte, la complexité syntaxique et sémantique, ou encore la variété lexicale pour évaluer la probabilité que le texte ait été généré par le chatbot d’OpenAI.
Un score élevé indique une forte probabilité que le contenu provienne d’une IA. La particularité de Draft&Goal réside dans sa capacité à déceler des « empreintes digitales » laissées par les IA pour affiner la précision de sa détection.
3- Originality.AI :
Originality.AI est reconnu pour être l’un des ChatGPT detector les plus précis du marché. Ses algorithmes, utilisant des techniques avancées de traitement du langage naturel, se révèlent efficaces contre les textes produits par des modèles de langage populaires comme ChatGPT, GPT-4, et Bard.
Contrairement à Winston AI, il ne propose pas de version d’essai gratuite. Néanmoins, les utilisateurs peuvent analyser jusqu’à 300 000 mots pour seulement 30 euros.
Des formules d’abonnement sont également disponibles pour les utilisateurs réguliers. Un avantage notable d’Originality.AI est son extension pour le navigateur Chrome, ce qui facilite les vérifications de contenus sur des plateformes en ligne telles que Google Docs.
Comment détecter des contenus rédigés par ChatGPT sans outil ? 11 points à analyser
Comme nous l’avons vu précédemment, il n’est pas évident pour une personne non habituée à identifier facilement qu’un texte a été intégralement produit par ChatGPT, toutefois, quelques éléments peuvent vous aider à détecter les textes les moins retravaillés.
Voici une liste non exhaustive de 11 points principaux à analyser :
- Longueur et redondance :
- Les textes générés par GPT-3 ou ChatGPT peuvent parfois être plus longs et plus redondants que les réponses rédigées par un Homme. Une analyse de la longueur des phrases, du nombre de mots et de la répétition des idées peut être un indice.
- Absence de personnalité ou d’émotion :
- GPT-3 et ChatGPT n’ont pas de véritable « personnalité » ou d’émotions. Si un texte semble dépourvu d’opinions personnelles ou d’émotion, c’est peut-être un indice qu’il a été généré par une IA.
- Style d’écriture :
- Les contenus rédigés par ChatGPT ont tendance à adopter un style neutre, prudent et formel. Il est rare qu’un texte de ce type contienne des opinions claires et non nuancées.
- Uniformité :
- Un texte rédigé par ChatGPT ou n’importe quelle autre IA aura tendance à être plus uniforme en terme de style, longueur de paragraphes qu’un texte rédigé par un humain.
- Analyse des erreurs spécifiques :
- Identifier des erreurs qui sont spécifiques à GPT-3 ou ChatGPT, comme des incohérences factuelles, l’utilisation d’informations obsolètes ou l’inclusion d’idées qui ne sont pas directement liées à la question peuvent vous donner une indication sur l’origine du contenu.
- Réponses vagues ou génériques :
- Face à des questions ambiguës, le modèle peut donner des réponses vagues ou génériques.
- Longueur des réponses :
- Sauf s’il lui est demandé de répondre de manière synthétique, il est difficile pour ChatGPT de répondre à une question vague ou ouverte de manière synthétique. Le modèle aura ainsi tendance à fournir des réponses excessivement longues, même lorsque cela n’est pas utile.
- Vérification des faits :
- Vérifier les déclarations factuelles faites dans le texte. Si elles sont incorrectes ou obsolètes, cela pourrait être un signe qu’elles ont été générées par GPT-3 ou ChatGPT.
- Ponctuation à l’anglaise :
- Si ChatGPT est parfaitement en mesure de rédiger du contenu en français grammaticalement correct, l’utilisation de la ponctuation n’est pas toujours bonne. Ainsi, si tout le contenu dispose du signe de ponctuation « : » collé au texte le précédent, cela peut être un signal supplémentaire que le texte a été rédigé par ChatGPT. En effet, en anglais, les deux points ne sont pas suivis d’un espace alors qu’ils le sont en français (cette subtilité n’est pas toujours suivie par ChatGPT qui fait souvent l’erreur).
- Présence de majuscules dans les titres :
- Dans le même esprit que le point précédent, la présence de majuscules dans les mots présents dans les titres et sous-titres est fréquent en anglais. En français, ce n’est pas le cas, il peut ainsi être possible de détecter un texte ChatGPT non retouché en parcourant rapidement tous les titres et sous-titres du contenu analysé.
- Absence de fautes d’orthographe :
- Bien que cela puisse paraître étonnant, la présence de fautes d’inattention ou d’orthographe est souvent un signe que le contenu a été rédigé par un humain. L’IA de son côté ne fait pas de fautes d’orthographe.
Bien entendu, ces éléments à analyser sont sujets à l’interprétation, il ne reste donc pas évident d’avoir la moindre certitude à l’issue de l’analyse d’un texte que ce dernier ait été formellement rédigé à l’aide du chatbot d’OpenAI.
Pour obtenir un taux de détection plus élevé, l’idéal sera d’avoir recours a un outil de détection qui est entrainé sur des nombreuses données d’entrainement (comme Winston AI).
ChatGPT utilise-t-il une structure de texte reconnaissable ?
La structure d’un texte généré par ChatGPT dépend en grande partie du prompt ou de la question initiale de l’utilisateur.
Ceci dit, les réponses de ChatGPT suivent souvent une structure qui se rapproche de celle d’une réponse informative ou explicative.
Pour mieux détecter ce type de réponse, voici quelques éléments caractéristiques à rechercher dans les textes à analyser :
- Introduction ou contextualisation : ChatGPT commence souvent par une brève introduction ou contextualisation de la réponse, en particulier si la question nécessite un arrière-plan pour la compréhension. Il reprend ainsi souvent la question dans la première phrase en la reformulant dans sa réponse.
- Réponse directe : Si la question est directe et simple, ChatGPT tend à fournir une réponse concise au début, avant de développer davantage.
- Développement : Pour des questions nécessitant une explication détaillée, après la réponse directe, ChatGPT peut fournir des informations supplémentaires, des exemples, des comparaisons ou d’autres éléments pertinents pour enrichir la réponse.
- Conclusion ou récapitulatif : En particulier pour les réponses longues, ChatGPT a tendance à conclure avec un résumé ou une récapitulation des points clés mentionnés dans sa réponse précédente. Il commence souvent ces phrases avec « En conclusion », « En résumé », …
- Structure question-réponse : Si l’utilisateur pose plusieurs questions en une seule sollicitation, ChatGPT essaie généralement de répondre à chaque question l’une après l’autre, en respectant l’ordre dans lequel elles ont été posées.
- Listes ou énumérations : Pour des questions demandant des étapes, des recommandations ou des options, ChatGPT structure souvent sa réponse sous la forme d’une liste et non sous la forme de paragraphes avec des sous-titres numérotés. La présence de nombreuses listes à puces peut ainsi être un indicateur supplémentaire de contenu généré par ChatGPT.
Vous l’aurez compris, ChatGPT ne possède pas une « structure rigide » préétablie pour chaque réponse, cependant, en raison de la nature probabiliste du modèle, il peut parfois générer des réponses qui suivent ou ressemblent à cette structure typique.
Quelques questions fréquentes sur la détection de ChatGPT :
Est-ce que chatgpt est détectable ?
Oui, ChatGPT est détectable avec un taux de réussite plus ou moins important avec l’aide d’outils spécialisés comme Winston AI ou Originality.ai. Ceci étant dit, plus un contenu généré par ChatGPT va être édité par un humain, plus ce dernier sera difficilement détectable par un humain ou les principaux outils du marché.
Est-il possible de détecter le contenu ChatGPT de façon totalement fiable ?
Non, il n’est actuellement pas possible d’avoir la certitude à 100% qu’un texte a été formulé exclusivement à l’aide de ChatGPT. Ceci s’explique principalement en partie du fait qu’il est possible d’entrainer le chatbot à reproduire un style qu’il n’aurait de lui-même pas naturellement employé (à l’aide de prompts spécifiques). Ainsi, bien que les outils de détection puissent vous donner une tendance, il vous sera difficile d’avoir des certitudes complètes.
Existe-il un filigrane ou une empreinte laissée par ChatGPT dans ses textes ?
Selon certaines rumeurs non confirmées à ce jour, OpenAI envisagerait d’ajouter un « jeton » pour identifier les contenus générés par GPT-3, GPT-4 et ChatGPT pour faciliter leur détection.
Ce système, comparable à un filigrane numérique pour les images, permettrait d’identifier si un texte a été produit par ChatGPT.
Ce marquage prendrait la forme d’un « jeton » – qui pourrait être un mot, un signe de ponctuation, ou même une fraction de mot – inséré discrètement dans le texte généré. Bien que ce jeton soit conçu pour se fondre harmonieusement dans le contenu, il servirait de signature caractéristique, indiquant que le texte provient du modèle GPT-3 ou GPT-4.
Pour déterminer si un texte a été généré par ChatGPT, il suffirait ainsi d’analyser le contenu à la recherche de ces jetons spécifiques. Si ces éléments sont présents, cela indiquerait avec plus de certitudes qu’auparavant que le texte est l’œuvre du modèle d’OpenAI.
Il reste à déterminer si un tel outil de détection sera mis à la disposition du grand public. À ce stade, la firme américaine n’a encore rien confirmé.
Comment rendre un texte de chatgpt indétectable ?
Si vous avez utilisé ChatGPT pour rédiger partiellement ou intégralement un texte et que vous souhaitez le cacher au destinataire du contenu, la première étape va consister à retravailler le texte pour effacer les traces évidentes de l’utilisation de l’intelligence artificielle comme la ponctuation anglaise et les majuscules à l’anglaise.
Dans un second temps, si le texte le permet, ajouter des analyses et avis personnels est très efficace pour rendre le contenu plus naturel et casser le style « fade » et sans émotion de ChatGPT.
Enfin, nous vous conseillons de relire le texte généré et de vous assurer de le simplifier, de supprimer les éléments répétitifs et surtout de casser les structures de phrases redondantes qui sont fréquentes avec l’utilisation du chatbot d’OpenAi pour rédiger du contenu.
Comment fonctionnent les outils détecteurs d’IA et de ChatGPT ?
Pour comprendre comment les outils fonctionnent, il est dans un premier temps impératif de comprendre comment les modèles de NLP (Natural Language Processing) fonctionnent.
Les systèmes d’intelligence artificielle, spécifiquement conçus pour la génération de texte, s’appuient sur des algorithmes pour prédire le mot suivant dans une séquence, basant cette prédiction sur les mots qui précèdent directement. Au cœur de cette mécanique, l’IA analyse des modèles linguistiques préexistants en se servant de vastes bases de données pour détecter des tendances dans l’utilisation des mots selon différentes situations.
Contrairement à une idée reçue, ces outils ne sont pas véritablement « intelligents ». En réalité, ils se contentent de reconnaître et reproduire des schémas à partir des informations dont ils ont été alimentés lors de leur phase d’entraînement. Ils déterminent ensuite la probabilité qu’un mot spécifique apparaisse, en s’appuyant sur le contexte fourni par les mots situés avant lui.
Un élément à noter est que la nature prédictive de ces systèmes les rend souvent moins inventifs et spontanés que les humains. Ainsi, un texte hautement prévisible est un indicateur utilisé par les outils pour déterminer qu’il a plus de chances d’avoir été généré par une machine plutôt que rédigé par une personne.
Pour améliorer leurs taux de détection et baisser leurs faux positifs, les outils de détection de texte IA sont entrainés sur de très larges quantités de contenus rédigés par IA.
Que signifient les faux positifs lors de la détection de contenu IA ?
Dans notre cas, un faux positif se réfère à une situation où un système ou une méthode identifie à tort un morceau de texte comme ayant été généré par ChatGPT alors qu’il ne l’a pas été.
Imaginons que vous disposiez d’un outil spécialisé dans la détection de textes produits par ChatGPT. Si cet outil examine un article écrit par un humain, mais conclut (à tort) que l’article a été généré par ChatGPT, alors cet article est un faux positif pour cet outil.
La détection des contenus générés par des modèles comme ChatGPT peut être essentielle dans des contextes où l’on souhaite distinguer les contributions humaines des contenus générés par machine, par exemple pour garantir l’authenticité ou la crédibilité d’une source. Dans de tels contextes, les faux positifs peuvent créer de la confusion ou décrédibiliser des contenus légitimement humains.
GPTZero est-il un détecteur d’IA fiable ?
Gptzero est un système de détection qui a été créé par Edward Tian, un étudiant de l’université de Princeton spécialisé en machine learning et intelligence artificielle, en janvier 2023.
Si ce logiciel en ligne peut sembler pertinent au premier abord, lors de nos tests, Gptzero ne s’est pas révélé être le plus intéressant et pertinent des outils de détection actuellement disponibles sur le marché.
De notre côté, l’outil qui obtenait les meilleurs résultats était Winston AI, suivi par Originality.ai.
Avant de se quitter…
Si cet article sur la détection des textes générés par ChatGPT vous a plu, n’hésitez pas à le partager sur les réseaux sociaux et à vous abonner à notre newsletter digitale pour recevoir nos prochains articles.
Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).
Nous sommes aussi actifs sur LinkedIn, Twitter, Facebook et YouTube. On s’y retrouve ?
Pour toute question associée à cet article, n’hésitez pas à utiliser la section « commentaires » pour nous faire part de votre remarque, nous vous répondrons dans les meilleurs délais (avec plaisir).
