# Comportement de la CMP avec les bots #### Que sont les bots ? 👉 Les bots sont des applications logicielles qui exécutent des tâches automatisées sur Internet. Ils sont utilisés pour indexer le contenu d’Internet ou pour collecter automatiquement des informations sur des sites web. **Certains bots fonctionnent à des fins légitimes, tandis que d’autres collectent des données à des fins malveillantes, telles que :** * Revente de contenu * Génération de clics * Contournement des prix * Etc. Comme toute solution web côté client, Didomi est impacté par le trafic des bots qui génère de « fausses » données. Par conséquent, cela peut produire des analyses CMP inexactes. **Impact sur les indicateurs d’analyse CMP** L’indicateur le plus impacté est le **nombre total de notices** (avec une augmentation du volume), ce qui gonfle directement le **taux de rebond des notices** et **taux d’atteignabilité** les indicateurs de performance. #### Fournir des données d’analyse sans bots 👉 Les bots ont un impact sur les données web, ils génèrent donc de fausses données utilisateur. Ils détériorent le **taux d’atteignabilité,** ainsi que le **taux de consentement sur les pages vues** en augmentant le volume de **rebonds de notice** et le nombre de **pages vues sans consentement**. {% hint style="danger" %} Afin de ne pas détériorer la conformité de vos rapports, nous vous conseillons de ne pas exclure tous les UA (user agents). Ces UA peuvent masquer des bots, mais aussi des utilisateurs qui ont donné leur consentement. {% endhint %} **Dans ce cas, l’exclusion des UA représente à la fois un risque de conformité et un risque juridique.** Il existe deux types de bots : **Bots déclarés**: ils peuvent être détectés grâce à leur user agent (UA). Ils sont exclus à l’aide de la méthode de filtrage des user agents. Quelques **exemples** de bots :
* Bots scrapers : programmés pour capturer le contenu hors ligne, comme les noms, les prix et les détails des produits sur les sites e-commerce. * Bots crawlers : utilisés par de grandes entreprises, comme Google, Yahoo, etc., à des fins d’indexation de contenu. * Bots de performance/audit : utilisés par des outils de performance de sites web pour effectuer un audit SEO ou évaluer les performances du temps de chargement des pages. Didomi utilise également un bot pour évaluer la conformité des sites web. **Bots masqués**: ils utilisent des user agents standard et ne peuvent donc pas être identifiés avec la méthode de filtrage des UA. Une solution/technologie spécialisée est nécessaire pour les détecter puis les exclure des données d’analyse. #### Exemple de user agents **Bots déclarés** * Mozilla/5.0 (Macintosh; Intel Mac OS X 10\_15\_7) AppleWebKit/537.36 (KHTML, like Gecko) **TagInspector**/500.1 Chrome/90.0.4430.72 Safari/537.36 Edg/90.0.818.42 * Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) **HeadlessChrome**/85.0.4183.102 Safari/537.36 * Mozilla/5.0 (**iplabel**; Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 **Éléments** qui ne font pas partie d’un user agent standard. **User agents des bots masqués** * Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 * Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64 Même si les user agents ci-dessus sont utilisés par des bots, ils sont aussi utilisés par des visiteurs réguliers : les user agents ne peuvent pas être exclus. #### **Faites attention à vos propres bots** Si vous utilisez des outils pour évaluer les performances de votre site web : temps de chargement des pages, audit SEO, etc. Ils utilisent probablement des bots pour le faire. Par conséquent, ils génèrent des données **si** elles ne sont pas identifiées par notre technologie. Vous pouvez : 1. Vérifier les bots que nous détectons ([voir la liste ci-dessous](#didomis-bot-list)). 2. Vérifier avec vos solutions si les bots ont un modèle de UA. 3. Ajouter les modèles dans votre fonctionnalité personnalisée de gestion des bots. #### Comportement du CMP avec les bots ⚙️ Par défaut, les bots « contournent » la notice de consentement. Nous considérons alors que le consentement est déjà donné pour les bots et que tous les scripts seront donc déclenchés. La bannière n’est donc pas affichée et ne collecte aucun consentement auprès des bots. ➡️ Si vous devez collecter le consentement des bots dans votre notice de consentement, vous pouvez suivre [notre contournement de la collecte du consentement pour les bots](https://developers.didomi.io/cmp/web-sdk/consent-notice/bots). Vous pouvez ajouter le code JSON à votre notice de consentement dans 2.customization ; Advanced settings ; Custom JSON. Rappelez-vous que, dans ce cas, la bannière est déployée pour les bots, mais ils ne pourront probablement pas faire de choix de consentement : il y a simplement une notice de consentement avec la chaîne de consentement par défaut. Aucun consentement n’est collecté, et le bot ne pourra probablement pas naviguer sur le site web. **Gestion personnalisée des bots, contournement de la collecte du consentement pour les bots** 👉 Vous pouvez personnaliser directement la gestion des bots avec du JSON personnalisé dans votre implémentation SDK. Les fonctionnalités offrent les capacités suivantes : * Définir la catégorie de bots à bloquer * Ajouter des modèles (termes) de user agents à des fins d’exclusion [Ici](https://developers.didomi.io/cmp/web-sdk/consent-notice/bots) vous trouverez tous les détails dans la documentation développeur. #### Liste des bots de Didomi 👉 +90 bots sont automatiquement détectés au niveau du CMP et pendant le traitement de nettoyage des données. Ci-dessous, les listes des modèles (termes) de bots utilisés pour identifier le trafic des bots. Tous les visiteurs dont le user agent contient les termes suivants sont identifiés comme bots. **Bots crawlers** Googlebot, adsbot, feedfetcher, mediapartners, bingbot, bingpreview, slurp, linkedin, msnbot, teoma, alexabot, exabot, facebot, facebook, twitter, yandex, baidu, duckduckbot, qwant, archive, applebot, addthis, slackbot, reddit, whatsapp, pinterest, moatbot, google-xrawler, NETVIGIE, PetalBot, PhantomJS, NativeAIBot, Cocolyzebot, SMTBot, EchoboxBot, Quora-Bot, BLP\_bbot, MAZBot, ScooperBot, BublupBot, Cincraw, HeadlessChrome, diffbot, Google Web Preview, Doximity-Diffbot, Rely Bot, pingbot, cXensebot, PingdomTMS, AhrefsBot, semrush, seenaptic, netvibes, taboolabot, SimplePie, APIs-Google, Google-Read-Aloud, googleweblight, DuplexWeb-Google, Google Favicon, Storebot-Google, TagInspector, Rigor, Bazaarvoice, KlarnaBot, pageburst, naver, iplabel, **ainsi que des termes génériques comme « robot », « scraper », « crawler », « spider », « crawling » et « oncrawl ».** **Bots de performance** Chrome-Lighthouse, gtmetrix, speedcurve, DareBoost, PTST, StatusCake\_Pagespeed\_Indev. #### Schéma de gestion des bots schéma **(1)** Le SDK est chargé **(2)** Vérification des règles de déclenchement de la notice : * Le SDK analyse le user agent pour identifier s’il s’agit d’un bot ou non. * Si un bot est détecté, le comportement de la notice est défini par la configuration de la notice (déclencher ou non la notice). * Si le visiteur n’est pas identifié comme un bot, la notice est déclenchée. **(3)** Les événements CMP (affichage de la notice) sont déclenchés **(4)** Traitement des données (transformer les événements en analyses) **👉 Tous les événements (données) collectés auprès des bots (identifiés) sont exclus des analyses, même si la notice a été affichée volontairement au bot.** **(5)** Les données d’analyse sont affichées dans les tableaux de bord #### Outils de protection contre les bots ![schema\_1](/files/3d7add595a2bcf5ff33e6761590fd510a8ded67e) Certaines solutions sont spécialisées dans **la détection et la protection contre les bots.** Elles protègent votre site web du trafic des bots. Comme ces solutions détectent les bots avant qu’ils n’atteignent le site web (voir le schéma), elles peuvent empêcher le bot de charger une page et donc éviter d’impacter les données d’analyse du CMP. Pour plus d’informations, consultez des solutions telles que Datadome, Human, Cloudflare, Netacea, etc. --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.didomi.io/fr/plateforme-de-gestion-du-consentement-cmp/introduction/comportement-de-la-cmp-avec-les-bots.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.