Le référencement de ZdS

Hello,

Je n'ai pas trop le temps, alors je vais rester bref. A quelques heures de l'ouverture en beta publique, je note que notre référencement n'est pas au beau fixe. La problématique de duplicate content avait été exprimée (on retrouve la conversation sur le thread en préprod).

On avait je pense actée qu'il faut mettre en place un rel=canonical pour ne pas se faire pourrir notre SEO. Car Google pourrais en arriver à blacklister l'url http://zestedesavoir.com/tutoriels/. Ce n'est ni bon pour nous, ni pour les auteurs, ni pour la communauté, à tel points que je me demande s'il ne faudrait pas plutot bloquer l'indexation Google tant que ce n'est pas en place.

Je ne suis pas expert dans le domaine, mais ça me semble très grave.

L'issue associée : https://github.com/zestedesavoir/zds-site/issues/1066

On ne peut pas ajouter simplement un ref=canonical vers OC sur tous les contenus importés en zCode ? Au pire, on étend le zCode et on append l'info de localisation canonique du tuto à la fin des sources zCode.

Tout le problème est dans le "simplement" :

• Est-ce qu'on a les données pour faire ça ?
• Comment le fait-on techniquement ?
• Combien de temps ça prendrait ?

Dans tous les cas ça ne repoussera pas le lancement de la bêta publique ce soir. Peut-on simplement refuser l'indexation de Google le temps qu'on résolve ce problème ?

Si c'est pas faisable pour ce soir, il faut bien bloquer l'indexation, cf ici : https://zestedesavoir.com/forums/sujet/449/actions-pour-louverture/?page=1#p4426

Ne peut-on pas créer un champ dans le formulaire de tuto "si votre tutoriel a été publié ailleurs avant de l' être sur zds, entrez l' url"

Je pense pas qu'on puisse faire confiance aux utilisateurs pour le faire correctement, perso.

Je vais commencer par faire mon aigris :

La problématique de duplicate content avait été exprimée

J'en parle depuis le début du projet, dans la ML, sur les forums, partout quoi. Et oui c'est un problème, tout comme les pages qui présentent une URL différente mais un même titre. Pourtant on m'a ri au nez quand je l'ai dit en me répondant "les pages ne sont pas les mêmes, c'est pas grave". En réalité le problème est que Google est capable de détecter des contenus similaires et de mettre des malus au site pour cette raison.

Peut-on simplement refuser l'indexation de Google le temps qu'on résolve ce problème ?

Certainement pas. C'est très mal pris par les robots, c'est compris comme un "tu me cache quelque chose" plutôt qu'un "ok, je reviendrais plus tard". D'où ma proposition depuis le début d'être sur un sous domaine distinct. Mais comme, d'hab osef de mon avis, et on en fait qu'à sa tête.

En résumé, il n'est pas souhaitable de cacher notre contenu à Google à travers le robot.txt. Et il y a plein de problèmes de SEO.

Tout ce bordel, je ne le sors pas de mon chapeau, j'ai un ami expert SEO à qui j'avais posé ces questions pour avoir une confirmation de ce que j'avais pu trouver.

So, faites comme vous le voulez, visiblement je ne sers à rien.

Concrètement tu proposes quoi ?

Heu non, ça fait plusieurs semaines qu'il est acté qu'on doit faire un lien canonique pour gérer le SEO, parce que justement on en a pas "rien à foutre". Cf les liens dans mon premier message.

Le vrai problème dans l'histoire, c'est que si ce sujet a été débattu à droite et à gauche, il n'y a jamais eu d'issue Github dessus, alors que c'était un sujet bloquant bêta publique. Il n'était donc pas dans la liste des choses à faire, ni dans la liste des actions qui nous permettait d'ouvrir la bêta. C'est donc la faute de tout le monde si on se retrouve à gérer le truc en urgence.

Concrètement, que peut-on faire si la solution du robots.txt ne fonctionne pas ?

Mettre un nofollow ou noindex sur tous les liens qui mènent à nos tutos, au moins en interne ?
Une entête pour dire ça ?

Bah c'est sûr que c'est vachement simple de demander ça à 3-4h de la sortie… alors que j'en parle depuis des mois…

Concrètement, il faut rajouter le lien canonique si le tuto n'a subit aucune mise à jour. S'il a été MàJ, on peut le virer.

Faut savoir que ce lien canonique ça dit à Google "vas référencer cette page là-bas, celle-ci n'en n'est qu'une copie". Donc ça n'est pas non plus bon pour nous sachant qu'à terme faudrait qu'on soit référencés.

Donc en clair faut rajouter un champ pour pouvoir préciser le lien canonique : on ne fait pas confiance à l'utilisateur pour ça, mais on le valide.

Le problème, c'est qu'il y a un bug du back qui fait que toute édition du tutoriel est répercutés sur la version publique. Pareil, c'est signalé depuis des lustres, rien n'a été fait. Ce qui pose donc le problème suivant : on peut valider ce qu'on veut, si le membre change le titre du tuto, les tags, ou autres sur la version hors ligne, ça nous pète la version en ligne (publique) et donc ça sera pareil avec un lien canonique.

Donc en l'état actuel, il faut rendre ce champ dispo qu'aux staffeux (validos) qui rajouteront le lien à la mano. On ne va pas en avoir 500 à valider non plus, donc c'est faisable.

Pour les titres en double, il faut changer les titres de toutes les pages qui ont des filtres/tags pour pouvoir les distinguer. Il faut des gens qui testent et qui checkent les différents titres pour voir quelles pages montrent un même titre. Seules les pages publiques sont concernées par ce type d'ajustement. Les pages types "Mes Tutos" : osef.

EDIT :

Mettre un nofollow ou noindex sur tous les liens qui mènent à nos tutos, au moins en interne ?

Parfait, comme ça les robots ne reviendront plus jamais sur cette page, et ce contenu ne sera pas indexé : très propre…

Donc concrètement, il n'y a rien que l'on puisse faire de façon temporaire ?

C'est une vraie question : si les solutions temporaires sont pires que ne rien faire, alors on ne fait rien et on corrige cette issue rapidement pendant la bêta.

Bah le mieux c'est de mettre les liens canoniques tant que le contenu est le même que le SdZ. Après modification, faut le virer.

Le mieux mieux, c'est que les auteurs mettent un minimum à jour leur tuto très rapidement. Changer quelques phrases, des images, etc. Ce que la plupart vont faire en fait, et se passer du lien canonique tout simplement.

Ca représente quoi "une modification minimum pour être différent de l'original" ? C'est un volume donnée, des tournures de phrase, des mots différents ?

Je ne sais pas si les valeurs ont changé mais c'est genre 7% du contenu.

EDIT : le gros problème c'est qu'un big tuto étant sur plusieurs pages, il faut que chaque page ait changé je pense… C'est le bordel en somme.

J'ai jamais vu ce chiffre, par contre celui que j'ai vu plus d'une fois c'est plus de 30% de différence.

Ah oui, je confond avec la densité des mots clés ><" Merci devock pour la correction

et 30% c'est bien enorme, ce sera je pense jamais atteint sur les tutos importes…

30%, ce n'est rien de moins qu'une réécriture.

Ça veut dire que la majorité des tutos qu'on va importer du SdZ sont condamnés à se retrouver avec un lien canonique dans le cul pour l'éternité.

Oui c'est énorme 30%. En fait, il faudrait espérer que des tutos soient supprimés d'OC… ou que les gens mettent à jour les tutos quand il y a des versions radicalement différentes.