Sur un site de quelques centaines de pages, un crawler installé sur un poste de travail suffit à repérer les erreurs. Sur un catalogue de plusieurs millions d’URL, un média qui publie chaque heure ou un site d’annonces dont les pages expirent en continu, la question change : il faut savoir ce que Googlebot visite réellement, ce qu’il ignore et ce que cela coûte en trafic. Oncrawl traite ce problème depuis 2013. Née à Bordeaux et éditée par la société Cogniteev, installée à Mérignac, la plateforme fait partie du groupe américain BrightEdge depuis 2022, mais elle reste vendue sous son propre nom, avec son site, son application et sa documentation.
Quel problème Oncrawl règle, et pour qui
Oncrawl part d’un constat simple : un audit SEO technique ne vaut que si les données sont complètes. La plateforme croise trois sources que les équipes consultent souvent dans des outils séparés : le crawl du site, les fichiers de logs du serveur et les données de performance (Search Console, GA4, Majestic, Piano, données métier importées). L’éditeur insiste sur l’absence d’échantillonnage, un point qui pèse lorsqu’une section de quelques milliers de pages se perd dans un site de plusieurs millions.
Les pages Solutions dessinent cinq profils : équipes SEO de grands groupes, e-commerce, médias, sites d’annonces et agences. Selon Oncrawl, la plateforme crawle plus de 70 millions d’URL e-commerce par mois pour plus de 1 400 clients de ce secteur. À l’inverse, rien dans l’offre ne vise le petit site vitrine : pas de prix public, pas d’inscription en libre-service mise en avant, et un parcours d’achat qui commence par une démo.
Comment la plateforme fonctionne au quotidien
Le point de départ est le projet : un site, une URL de départ, puis une ou plusieurs configurations de crawl. Le guide de démarrage de l’éditeur décrit dix étapes, de la création du projet à l’export vers Looker Studio : brancher les logs, régler le crawl (robots.txt virtuel, rendu JavaScript, en-têtes HTTP, authentification), vérifier la propriété du site via Search Console ou Google Analytics, puis activer les analyses croisées, le scraping par XPath ou expressions régulières et l’import de données tierces, par exemple le chiffre d’affaires par page.
Les configurations de crawl sont désormais proposées sous forme de modèles : Crawl Discovery pour un audit mensuel, Content pour les doublons et contenus minces, Sanity Check pour une surveillance quotidienne de pages clés avec alertes, Performance pour les Core Web Vitals. Ces modèles alimentent les Lenses, des parcours d’analyse avec tableaux de bord préconfigurés. Il en existe sept aujourd’hui, dont une Google Discover Lens pensée pour les éditeurs et une Accessibility Lens qui rattache les contrôles Lighthouse aux quatre principes des WCAG 2.2.
Un détail à comprendre avant de signer : la consommation se compte en jetons. Chaque URL crawlée coûte un jeton en mode standard, trois avec le rendu JavaScript et cinq avec les audits JavaScript (Core Web Vitals ou accessibilité). Un même quota mensuel couvre donc trois à cinq fois moins de pages si votre site dépend du JavaScript. Côté logs, l’ingestion se fait par FTP ou en continu depuis Cloudflare, AWS, Google Cloud, Azure, Akamai ou Splunk.
Logs serveur et bots IA : le cœur de l’outil
L’analyseur de logs reste ce qui différencie Oncrawl d’un crawler classique. Il relève les passages de Googlebot, Bingbot et des autres robots, la fréquence de crawl par section et le délai entre la publication d’une page, son premier crawl et sa première visite organique. Pour un média ou un site d’annonces, ce délai d’indexation est souvent l’indicateur qui compte le plus. Si le sujet vous est nouveau, nos conseils pour optimiser le budget de crawl de Googlebot posent les bases.
La plateforme isole aussi les robots d’IA : OpenAI, Perplexity, Claude, Gemini, Mistral et d’autres, en séparant les robots d’entraînement des robots qui viennent chercher une page pour répondre à un utilisateur. L’AI Search Lens en tire un entonnoir en trois étapes (indexation, citation, trafic) et croise ces passages avec la profondeur, le temps de chargement ou les données structurées des pages. C’est une approche par les logs, différente des outils de suivi de prompts : elle mesure ce que les robots consultent sur votre site, pas ce que les assistants répondent. Notre étude sur l’analyse des logs du bot d’OpenAI montre ce que l’on peut en tirer, et notre sélection d’outils de generative engine optimization présente l’autre famille d’outils.
Cas d’usage concrets par profil
- E-commerce : segmenter le catalogue par type de produit ou de template, repérer les fiches trop profondes et redistribuer le maillage interne grâce à l’Inrank, l’indicateur maison de popularité interne. L’éditeur cite Prisjakt, 4,6 millions de pages produits, qui a doublé le trafic de ses produits tendance.
- Médias : vérifier qu’une rubrique très crawlée rapporte du trafic, piloter une migration ou la suppression d’AMP, analyser la performance par auteur ou par sujet, et suivre Google Discover. Paris Match et Future figurent parmi les cas publiés.
- Sites d’annonces : mesurer le délai entre publication et première visite organique, décider du sort des annonces expirées. Leboncoin, selon Oncrawl, a ramené ce délai de 45 à 3 jours.
- Agences : un espace par client, des crawls et des logs configurés séparément, des rapports exportés vers Looker Studio. Les permissions par rôle permettent d’ouvrir un projet à un consultant externe.
Pour les profils techniques, l’API REST (version 2) permet de créer des projets, lancer des crawls et exporter les données ; le langage de requête OQL filtre les jeux de données. Un serveur MCP gratuit expose crawls, logs et comparaisons de crawls à Claude, ChatGPT ou Cursor, et un assistant intégré, encore en bêta ouverte, répond en langage naturel depuis l’application. Le mouvement est le même que chez ses concurrents, comme le montre l’arrivée d’un serveur MCP chez Screaming Frog.
Oncrawl face à Screaming Frog, Botify et BrightEdge
Screaming Frog SEO Spider est un crawler installé sur poste de travail, rapide à prendre en main pour un audit ponctuel, dont la capacité dépend de la machine qui le fait tourner. Oncrawl joue une autre partie : le crawl tourne dans le cloud, se planifie, s’historise et se croise avec les logs et la Search Console, ce qui le rend plus pertinent au-delà de quelques centaines de milliers d’URL.
Botify est le concurrent le plus direct : même cible de grands sites, même combinaison de crawl et de logs. Le choix se fait souvent sur les intégrations, le modèle de quota et l’accompagnement proposé lors de la démo. BrightEdge, la maison mère, est une plateforme SEO tournée vers les contenus et la performance marketing ; Oncrawl lui apporte la couche technique. Les deux offres restent distinctes sur le site d’Oncrawl, qui ne mentionne pas de bouquet commun.
Les limites à connaître
- Aucun tarif n’est publié : le prix dépend du volume de jetons, des options et du nombre de projets, et se négocie après une démo.
- Le centre d’aide et la documentation de l’API sont en anglais ; la version française du centre d’aide est vide. Le site commercial, lui, est traduit.
- Le rendu JavaScript triple la consommation de jetons, ce qui pèse sur les sites construits en React ou Vue. Pour mesurer l’enjeu, voyez notre article sur ce que les robots d’IA voient réellement d’une page en JavaScript.
- L’API n’est ouverte qu’aux abonnements qui incluent l’option correspondante, et le module Ranking performance ne s’active que sur un nombre de projets fixé par l’offre.
- Le contrat se renouvelle automatiquement pour la même durée, sauf résiliation au moins 30 jours avant l’échéance, selon les conditions générales de vente.
Comment préparer la demande de devis
Comme il n’existe pas de grille publique, la négociation se prépare. Estimez d’abord le nombre d’URL à crawler chaque mois, en distinguant les sections qui exigent le rendu JavaScript et celles qui peuvent s’en passer : c’est ce chiffre qui fixe le quota de jetons. Listez ensuite les sites et sous-domaines à suivre, l’accès ou non à vos logs serveur, et le nombre de projets sur lesquels vous voulez le suivi des positions issu de la Search Console.
Demandez enfin explicitement si l’API, l’hébergement des données en Europe et les audits Core Web Vitals sont inclus, et quelle est la durée d’engagement. Si vos logs restent inaccessibles pour des raisons d’infrastructure, une large part de la valeur d’Oncrawl disparaît : dans ce cas, un crawler sur poste de travail couplé à la Search Console peut suffire.