Une multitude de sites sont mis en ligne chaque jour, cependant la plus grosse interrogation reste le positionnement de son site dans les SERPs. Il devient intéressant et incontournable d’analyser son site internet régulièrement via des crawlers. Analyser son site internet est important à plus d’un titre :

• Repérer les facteurs bloquants
• Voir la performance de son site afin d’engager les bonnes actions correctives

Bien souvent il existe des outils en ligne qui permettent d’avoir une vision globale sur la performance de son site. Cependant ces outils gratuits ne fournissent pas pour la plupart des détails précieux qui pourront faire toute la différence. Si vous voulez être visible dans les SERPs (pages de résultats des moteurs de recherche) vous devez aller plus loin. Vous devez passez du côté obscur de la force. Cela suppose la maîtrise à minima des techniques web et du référencement. Si vous me suivez toujours, c’est que vous réunissez les prérequis nécessaires, alors allons-y. Nous allons découvrir trois outils qui peuvent vous aider à propulser votre visibilité et donc votre site sur le net.

Trois crawlers seront nécessaires pour nous : Xenu, Linkexaminer et Screaming Frog

Un crawler est un outil qui permet de parcourir tout un site internet comme pourraient le faire les bots des moteurs de recherche comme ceux de Google. Il en existe des payants et des gratuits. Je vais vous montrer comment coupler trois légendaires crawlers (les deux premiers sont gratuits et le dernier peut être payant) afin de pouvoir analyser votre site en toute liberté et presque gratuitement. Vous allez comprendre le principe dans la suite de cet article.

Linkexaminer, un crawler qui fait le job gratuitement

Linkexaminer est un logiciel à télécharger sur votre machine. Cliquez sur ce lien de téléchargement (il vous mènera directement sur la page de téléchargement du crawler). Dézippez le fichier puis lancez son installation. Vous allez atterrir sur une page comme celle de l’image ci-dessous :

Ensuite allez dans l’onglet Scan > Set URL. Renseignez l’URL du site à analyser puis cliquez sur OK. Repassez par l’onglet Scan > Start et le crawl débutera. Quelques minutes plus tard vous aurez un énorme tableau comme celui-ci :

Crawl Linkexaminer

Retournez sur l’onglet File > Export to… > CSV file pour exporter tout le contenu dans un fichier Excel. A partir de ce moment, vous pouvez commencer l’exploration des données et sortir de bonnes conclusions afin d’entamer les actions correctives.
Merci à Yann LEMORT, l’un des meilleurs formateurs SEO  et mon mentor qui m’a fait découvrir cet formidable outil.

Xenu, un crawler vieux comme la terre mais toujours efficace

Xenu est un crawler qui est entièrement gratuit. Il permet de réaliser une analyse totale de son site. Il donne également la possibilité de générer des rapports. Dans ce que j’ai envie de vous montrer ici, nous n’allons pas générer de rapports avec Xenu (pas trop précis et on perdra tout sens réel d’analyse pertinente) mais nous irons directement planter nos résultats préliminaires obtenus de Xenu dans Screaming Frog et nous verrons les magies de l’analyse. Pour télécharger Xenu, rendons-nous sur le site officiel de la bête. Télécharger le logiciel, décompresser-le puis passer à son installation. Lancer le logiciel, ensuite nous allons checker nos URLs comme le montre la figure suivante.

Schéma illustrant le cheking de l’url

L’étape suivante nous amène à rentrer l’adresse du site à analyser. Pour notre exemple, j’ai volontairement pris le site de l’aget.

Une fois l’adresse rentrée, vous appuyez sur OK et là vous laissez la bête agir. Une fois le crawl fini, faites un Ctrl + t (ou file -> Export to TAB separated file) pour exporter le fichier. Le travail de Xenu s’arrête ici.

Un petit lifting sous Excel pour faire jojo

Ouvrez maintenant le fichier avec Excel puis organisez tout en lignes et colonnes (si vous avez du mal à le faire, un petit message en commentaire et je vous montre comment faire). Un petit tri dans la colonne « Type » pour ne garder que les lignes en « text/html ». Au fait on ne s’intéressera qu’aux liens html et on se débarrasse de tout le superflu.

Pour la suite de cet article on ne va conserver que la première colonne de notre tableau Excel. En effet nous allons pouvoir enregistrer cette liste avec l’aide de n’importe quel éditeur de texte avec l’extension .txt (préférence pour l’encodage en UTF-8). Une fois tout cela effectué, dirigeons-nous dans la grande maison de Screaming Frog. Vous remarquerez au passage que nous venons de lister automatiquement tous les liens de votre site que nous irons maintenant analyser.

Screaming Frog une vraie pépite pour les sites web

Screaming Frog  est un crawler gratuit si votre site contient entre 0 et 500 liens, au-delà, il devient payant. D’où l’association et le passage par Xenu pour éliminer tous les autres liens (css, js, etc.) dont on n’aura pas besoin. Vous voyez qu’avec cette méthode, Screaming Frog peut devenir presque gratuit.

Maintenant cliquez ici pour télécharger le logiciel. De la même façon que Xenu, Vous installez la dame grenouille. Une fois le logiciel lancé, placez-vous en mode « list » comme le démonte la figure ci-dessous.

Puis on importe la liste précédemment créée sous Excel (avec l’extension en .txt). A partir de ce moment, notre analyse peut commencer. Inutile de rappeler que le travail préliminaire avait été mâché par Xenu.

Sur mon exemple on voit que le site a d’énormes problèmes sur presque tous les plans en matière d’audit et de performance. Vous pourrez proposer après analyse des données et bien sûr couplées avec d’autres données issues par exemple de Google Analytics ou de la Search Console, une refonte de site car ici tout est à revoir. Je vous propose donc d’essayer de faire ce même exercice sur ce site de voyage.

Si cet article vous a plu, n’hésitez pas à le partager sur les réseaux sociaux. N’hésitez pas non plus à réagir via les commentaires.