La recherche sur Zeste De Savoir

Dépôt : https://framagit.org/artragis/zds-search

Questions posées

Ce billet tentera de répondre aux questions suivantes :

• Quel est l’usage réel de notre moteur?
• Quels contenus manque-t-il sur le site?

Quel est l’usage réel de notre moteur?

Pour pouvoir répondre à cette question, je vais me concentrer sur la nature des mots et phrases de recherches utilisée. N’ayant pas la possibilité immédiate d’obtenir l’association entre un mot clef et la page qui a suivi, je vais devoir essayer de trouver un proxy pour savoir si les pages que les gens ont voir après avoir entré les recherches. Zeste de Savoir étant un site de contenu et un forum, mon proxy se fera via un croisement avec les données des tags sur les tuto/forum ainsi que les catégories.

Mon hypothèse est que si la requête contient un mot qui est une catégorie ou un tag, elle pilote le fait que les utilisateurs seront plutôt redirigés vers le forum ou les tuto. Plus précisément, je vais tenter d’utiliser le nombre de tuto et de topic qui sont marqués par chaque tag.

Quels contenus manque-t-il?

Deux données seront ici intéressantes en tant qu’entrée : les recherches ayant généré de la sortie et les recherches sans résultats. En croisant ces recherches avec des tags par exemple, nous pourrions savoir s’il s’agit d’un thème possible pour un futur tuto, billet…

Récupération des données

Les données sont obtenues de deux sources : matomo avec son rapport "recherche sur le site" et des extraits de données directs depuis la base de données de ZDS.

Il est à noter que pour ce qui est de matomo, dès qu’un rapport fournit plus de 500 lignes, il rassemble les lignes suivantes dans "Autres", ce qui peut fausser les calculs. Une astuce consiste donc à demander non pas le rapport mensuel mais un rapport pas groupe de x jours puis de fusionner le tout. C’est pourquoi dans le dossier du dataset vous avez une partie "raw" et une partie "merge"

Données de recherches et de pages vides

Les données sur les mots clefs peuvent être téléchargées en JSON avec pas mal de métadonnées à côté. Les entrées sont organisées ainsi :

• label : le mot clef
• nb_visits : le nombre de fois qu’on a fait une recherche avec ce mot clef, notons qu’on ne considère pas le fait de changer de page dans la recherche comme deux visites
• nb_pages_per_search : décimal à un chiffre après la virgule représentant le nombre moyen de pages explorés durant la recherche
• total_exit : une chaine de caractère au format xx % donnant le pourcentage de recherche ayant mené à une sortie du site, nous interprèterons cela par "l’utilisateur n’a pas trouvé ce qu’il cherchait".

On observe rapidement trois petits soucis dans les données brutes

• elles sont case sensitive, donc python et Python sont vus comme deux mots clefs différents
• elles sont non trimées, donc c et c_(_ est ici utilisé pour matérialiser un espace) sont deux mots clefs différents
• il y a eu des trolls tels que Artragis en maillot de bain ou encore une potentielle tentative d’attaque (ou une personne ayant copié un texte sans queue ni tête), par exemple -1293" OR 8076=1190-- NtxD

Le script de merge des données va permettre de passer outre le deux premiers points, les autres, on verra dans l’analyse.

from pathlib import Path
from json import loads, dumps
src_dir = Path(__file__).parent.parent / 'raw' / 'search'
dst_file = Path(__file__).parent.parent / 'merge' / 'search.json'
merged = {}

for f in src_dir.iterdir():
    current = loads(f.read_text("utf-8"))
    for row in current['reportData']:

        key_word = row['label'].capitalize().strip().replace('  ', ' ')
        if key_word not in merged:
            merged[key_word] = {"total": 0, "total_exit": 0, "total_pages": 0}
        merged[key_word]["total_pages"] += int(row['nb_visits'] * row['nb_pages_per_search'])
        # src is a string like "13 %"
        rate_in_percent = int(row['exit_rate'][:-2])
        nb_of_exit_this_time = row['nb_visits'] * rate_in_percent / 100
        merged[key_word]['total'] += row['nb_visits']
        merged[key_word]['total_exit'] += nb_of_exit_this_time

dst_file.write_text(dumps(merged, indent=4))

Il y a eu au total 2021 mots clefs durant le mois de novembre.

Données de click

Matomo offre un second rapport : les pages du site visitées après une recherche.

Ces données subissent bien évidement les mêmes limites que les précédents rapports. Cependant comme ce rapport est hiérarchique, il faut le configurer un peu plus pour que toutes les données soient correctement affichées. Ainsi, lors de la production du rapport, j’ai dû demander à ce que les données soient mises à plat.

Listes des tags des forums et contenus

Pour obtenir quel tag existe et sa popularité par type d’objet, j’ai dû faire un extrait de la base de données. Pour cela, je me suis basé sur le shell django.

from django.db.models import Count
from zds.utils.models import Tag
from zds.forum.models import Topic
from zds.tutorialv2.models.database import PublishableContent

tag_per_content = PublishableContent.objects.values('tags__title').annotate(b=Count('tags')).order_by('b')
tag_per_topic = Topic.objects.values('tags__title').annotate(b=Count('tags')).order_by('b')

result = {}

for v in tag_per_content:
    result[v['tags__title']] = {'content': v['b'],'topic': 0}

for v in tag_per_topic:
    if v['tags__title'] not in result:
        result[v['tags__title']] = {'content': 0, 'topic': 0}
    result[v['tags__title']]['topic'] = v['b']

Une partie du défi, comme vous l’avez vu dans la méthodologie consiste à enrichir des données.

Comme on travaille sur du texte, j’ai choisi d’utiliser pour certains enrichissements (détecter les verbes notamment) d’utiliser du Natural Language Processing. Comme tout mon code est en python, je me suis tourné vers une bibliothèque de NLP codée dans ce langage : TextBlob et son extension textblob_fr qui est faite pour le français.

Je mets ce petit point car j’ai dû forker textblob_fr car le corpus de texte qui permet de faire le travail n’est pas parsable en l’état pour cette bibliothèque qui a été codée pour être utilisée en python 2.7 et 3 mais qui n’a pas été mise à jour depuis longtemps. Le fork est simple, il se trouve sur mon dépôt https://github.com/artragis/textblob-fr.

Résultats des questions

Quelques éléments visibles de suite : il y a une quasi tendance 80/20 sur le fait d’utiliser des mots uniques ou des mots qui pointent vers des tags. Il y a donc peut être un effort à faire pour faciliter la recherche, a minima quand il y a un seul mot : on prend les tags, puis les titres, par exemple.

Il y a aussi très peu de personnes qui utilisent des requêtes avancées, je pense donc qu’il n’y a pas d’effort à porter là dessus.

Pour info, voici le top 10 des tags liés à des contenus dont les termes ont été recherchés :

• c
• python
• arduino
• java
• html
• php
• sql
• c#
• réseau
• latex
• langage c
• javascript
• django
• langage
• réseaux
• linux
• programmation
• react
• informatique
• cobol

Et voici le même top 10 mais cette fois-ci lié à des forum

• c
• python
• arduino
• java
• html
• php
• sql
• c#
• réseau
• latex
• langage c
• javascript
• django
• langage
• sdl
• réseaux
• linux
• programmation
• react
• informatique

Cette question a été une moins grande réussite pour moi. Je pense simplement que les métriques que je regarde ne sont pas forcément les bonnes, surtout elles semblent bien moins exploitables. Regardons plutôt les deux dataset que je produits :

Les mots clefs ayant conduits à au moins une sortie du site, matchant un tag qui n’est présent que sur le forum

Le titre est long mais la liste est assez courte, un peu plus de 100 mots :

Selon moi, on peut classer ces résultats en trois types de conclusions :

• les mots clefs qui sont typiques de questions/réponses
• les mots clefs qui auraient pu lier à un tuto/article/billet mais le tuto n’existe pas
• les mots clefs qui auraient pu lier à un tuto/article/billet mais le tag n’est pas lié au tuto

Voici la classification que je propose:

Catégorie "le contenu ne semble pas exister"

Catégorie : un contenu existe mais semble mal classifié

Les recherches liées à des tags ayant généré plus de 20 de sortie de site

Le data set est énorme, je ne sais pas quoi en faire. Pas de conclusion pour moi.

Classification des mots clefs sans résultat

Voici le tableau complet

On notera tout de même un grand nombre de navigations vers des pages qui ne sont ni des tuto ni des sujets de forum : 60% du total tout de même.