Optimiser le référencement

Le fichier Robots.txt

Le fichier Robots.txt est un fichier à créer à la racine de votre site internet. Il donne plusieurs indications aux moteurs de recherches lors de leurs visites.

Vous pouvez y donner des autorisations comme bloquer le référencement d'un dossier, d'un type de fichier, bloquer des robots, etc....

User-agent: *
Allow: /

Sitemap: http://www.monsite.com/sitemap.txt

Dans l'exemple ci-contre :

"User-agent:*" dit que tous les robots peuvent visiter les pages

"Allow:/" autorise à visiter toutes les pages

"Sitemap:http://www.monsite.com/sitemap.txt" donne l'adresse aux robots du fichier Sitemap

Pour interdire la visite d'un dossier, il vous faut mettre 'Disallow: /include/' pour bloquer le dossier include par exemple

Mais évitez de trop interdire car vous risquez de faire des dégâts. Par exemple si vous bloquez les fichiers CSS, Google en a besoin pour visualiser le résultat de votre page.

User-agent: MRJ12
Disallow: /dossiersecret/

User-agent: *
Allow: /

Sitemap: http://www.monsite.com/sitemap.txt

Dans l'exemple ci-contre, vous interdisez le robot MRJ12 de visiter le dossier 'dossiersecret', puis vous autorisez tous les autres robots à voir tous les dossiers et fichiers. Puis vous spécifiez l'adresse du fichier sitemap.

Avec AlgoSite V2, vous pouvez modifier le fichier Robots.txt en allant dans le module 'Référencement' / 'Paramètres'

Si n'êtes pas avec AlgoSiteV2, il vous faudra l'ajouter en dur dans le dossier root de votre site internet.