Salut tout le monde,
Nous avons remarqué ces derniers mois que de nombreux robots d'exploration de Microsoft, Google ou autres similaires étaient assez agressifs lors de l'exploration de sites Web, provoquant même une utilisation élevée des ressources des comptes, alors que cela ne devrait pas être le cas.
Le conseil, c'est d'insérer un délai dans votre fichier robots.txt, d'ajouter "Crawl-delay: 5", juste en dessous de la ligne existante : "User-agent: *", cela indiquera aux robots d'explorer votre site avec un délai de 5 secondes. entre chaque page :
Cela devrait ressembler à ceci :
Agent utilisateur: *
Délai d'exploration : 5
Cordialement,
L'équipe YOORshop
