ZEP-11 : Interface de statistiques sur les tutoriels

Question

ZEP-11 : Interface de statistiques sur les tutoriels

Des chiffres, des graphes, du kikimeter !

Précédente
1
...

Indiquez la page à laquelle vous souhaitez vous rendre.
8
9
10
...

Indiquez la page à laquelle vous souhaitez vous rendre.
13
Suivante

a marqué ce sujet comme résolu.

artragis, lundi 20 avril 2015 à 16h46

Expérience perso :

Cassandra: ultra complexe à installer puis à administrer, déjà que node tue Spacefox à petit feu, si on lui impose un cassandra par derrière on va l'achever
CouchDB : simple d'utilisation mais force le paradigme map/reduce dès que tu veux faire des sélections un peu plus poussées. J'ai bien aimé m'en servir mais j'ai trouvé le binding python un peu grade.

20/04/15 à 16h46

+0 -0

SpaceFox, lundi 20 avril 2015 à 16h49

si on lui impose un cassandra par derrière on va l'achever

Oh, si y'a que ça, je peux aussi utiliser mon pouvoir de DTC pour dire "fuck Cassandra, on prends autre chose hein". Cela dit, il va falloir que je réfléchisse sérieusement à la question parce que là je ne sais même pas pourquoi on s'oriente vers du NoSQL et ce que ça implique.

20/04/15 à 16h49

Les textes de SpaceFox & Lisa Refur – Un Renard en Corée – Un renard au Japon – @spacefox@mastodon.spacefox.fr

+0 -0

anonyme, lundi 20 avril 2015 à 17h28
Modifié

si on lui impose un cassandra par derrière on va l'achever

Oh, si y'a que ça, je peux aussi utiliser mon pouvoir de DTC pour dire "fuck Cassandra, on prends autre chose hein". Cela dit, il va falloir que je réfléchisse sérieusement à la question parce que là je ne sais même pas pourquoi on s'oriente vers du NoSQL et ce que ça implique.

SpaceFox

Il faudrait au moins justifier le besoin NoSQL de manière claire et chiffré (Facile mais prouvez le). Il faut aussi prouver que l'on peut pas répondre avec les outils qu'on a aujourd'hui. Il faudrait aussi faire un tour de table entre dev, pour que vous puissiez savoir quelles sont les compétences en interne (3 ou 4 personnes qui ont déjà entendu le nom minimum quoi).

Cassandra, avant c'était super compliqué à installer, mais maintenant c'est juste un bash apt-get install cassandra. Par-contre, les outils de monitoring de Cassandra, sont plus compliqué à installer. Jamais utilisé le driver cassandra pour Python mais le projet GitHub a pas l'air dégeu. La syntaxe de Cassandra en gros c'est du sql sans jointure (Exemple de requête: "SELECT * FROM users;").

Faite attention à la licence de MongoDB, elle est très spéciale, et n'oubliez pas que c'est une entreprise derrière. Mais sinon j'utilise les deux au quotidien et pas de soucis particuliers.

20/04/15 à 17h28
Modifié

+0 -0

pierre_24, lundi 20 avril 2015 à 17h34

Il faudrait aussi faire un tour de table entre dev, pour que vous puissiez savoir quelles sont les compétences en interne (3 ou 4 personnes qui ont déjà entendu le nom minimum quoi).

Bon, bah on a justement un Zest'Meeting aujourd'hui, avis aux amateurs :-)

20/04/15 à 17h34

#JeSuisToujoursArius • Docteur, mais en chimie ⚗️ • dev' quand il peut.

+0 -0

firm1, mardi 21 avril 2015 à 18h35

Cela dit, il va falloir que je réfléchisse sérieusement à la question parce que là je ne sais même pas pourquoi on s'oriente vers du NoSQL et ce que ça implique.

SpaceFox

Si ça peut t'aider, le contexte est celui-ci. On s’apprête à stocker pour chacune de nos urls de type contenu (tutoriel, article, chapitre, partie) 5 métriques sur environs 10 dimensions, tous les jours. Nous avons environ 90 tutoriels (à la louche je dirais 200 chapitres et 50 parties), et environ 70 articles publiés. Il y'a de forte chance que chaque contenu possède au moins 2 urls (rien qu'a cause du page=1).

Tout ceci pour dire que dans un modèle relationnel, on écrira un nombre d'enregistrements équivalent dans le meilleur des cas (modélisation 3) à : $ (90 + 200 + 50 + 70) \times 10 \times 2 = 8200 $ et dans le pire des cas (modélisation 1) $ (90 + 200 + 50 + 70) \times 10 \times 5 \times 2 = 41000 $.

En gros, en une semaine d'enregistrement on se retrouve dans la fourchette de [28 700 à 143 500] enregistrements dans la même table. Elle deviendrait donc la table la plus grosse de notre BD actuelle. Je vous laisse imaginer les conséquences dans 6 mois, 1 an, etc.

D'autres part, un modèle relationnelle nous forcerait à supporter des choses dont on a pas besoin (transaction, concurrence, etc.) et qui, une fois qu'on en est débarrassé offre de meilleures performances de lecture.

Voilà en gros pourquoi pour ce besoin il est plus sain de s'orienter vers une base NoSQL. Pour faire le parallèle, avec un moteur de recherche, c'est comme si on utilisait un SGBD pour faire un moteur de recherche. C'est bien possible, les performances ne seront certainement pas au rendez vous.

21/04/15 à 18h35

Tuto: Réussir un entretien | Articles : le Big Data / Elasticsearch / Continuous Delivery | Projet : Zest Writer

+1 -0

artragis, mardi 21 avril 2015 à 18h48

sinon pour éviter la lenteur de ACID, tu peux utiliser une table MyISAM…

Ca tient la route sur 6M d'entrées, testé depuis 1 mois et demi là.

21/04/15 à 18h48

+0 -0

SpaceFox, mardi 21 avril 2015 à 21h06

Ca ne répond qu'à une partie de la question en fait. La question complète c'est :

Qu'implique la ZEP-11 en termes de code et d'infrastructure ?

Déjà on remarque qu'on a 3 types de statistiques sur la page 1. En effet, pour chaque couple (Ressource, Date) (une ressource étant identifiée par une URL canonique) on peut avoir :

1 grandeur : Propositions
- 1 (total de visites),
- 2 (temps moyen passé sur la ressource),
- 6 (temps moyen de chargement),
- 9 (pourcentage de nouveaux utilisateurs)
2 grandeurs : Propositions
- 3 (URL d'accès, nombre de visite via cette URL)
- 4 (lien, nombre de clics)
3 grandeurs : Propositions
- 5 (Type de plateforme [navigateur / OS /etc], valeur, nombre de visiteurs)
- 7 (Type de zone [ville / pays / continent], valeur, nombre de visiteurs)
- 8 (Type d'audience [âge, sexe], valeur, nombre de visiteurs)
- 10 (Moteur de recherche, mot clef, nombre d'arrivée sur la ressource)

Même si les cas à 3 grandeurs peuvent tous être dénormalisés sur 2 grandeurs assez facilement, le modèle doit pouvoir gérer les 2 premiers cas sans trop de problèmes. Aujourd'hui, je ne suis pas convaincu que les propositions présentées gèrent ça correctement.

Si j'en crois tes calculs préliminaires et les miens qui arrivent au même ordre de grandeur, on parle là de stocker des dizaines de millions de valeurs par an et ce rien que la première année, puisque tous les cas à 2 ou 3 grandeurs vont stocker de plus en plus de données par jour au fil de la progression de ZdS.

Tout ceci a un coût qu'il faut impérativement chiffrer avant la mise en production et si possible avant le début du développement. Là-dedans, il faut prendre en compte :

L'occupation disque
L'occupation mémoire
L'occupation CPU pendant l'enregistrement des données
Le temps d'enregistrement des données
L'occupation CPU pendant la restitution des données (c'est l'une des faiblesses de NoSQL qui ne profite pas des mathématiques avancées de SQL)

Et ce non seulement avec les données à date d'aujourd'hui comme tu l'as fait, mais aussi avec une projection crédible sur le long terme.

J'insiste pour 2 raisons :

On va bientôt devoir changer de serveur. Si dans 2 mois on doit re-changer parce que la ZEP-11 ne tient pas, ça va être dommage.
On a déjà le problème de la "fonctionnalité qui marche en développement mais qui va casser à moyen terme", avec l'indexation Solr complète toutes les demi-heures.

21/04/15 à 21h06

Les textes de SpaceFox & Lisa Refur – Un Renard en Corée – Un renard au Japon – @spacefox@mastodon.spacefox.fr

+0 -0

firm1, jeudi 23 avril 2015 à 00h07

Tout ceci a un coût qu'il faut impérativement chiffrer avant la mise en production et si possible avant le début du développement.

SpaceFox

Voici une estimation du cout de la ZEP-11 en partant des hypothèses suivantes (je me dis que c'est l'objectif à atteindre dans un an):

Nombres de Big tutos: 80 (Soyons optimistes)
- Nombre de chapitre moyen par partie : 3
- Nombre de partie moyen par tutoriel : 2
Nombre de minitut"os": 300 (Soyons fou aussi)
Nombre de moyen tuto : 20 (Merci la ZEP-12)
- Nombre de chapitre moyen par tutoriel : 4
Nombres d'articles : 200
Nombre moyen d'urls d'un même contenu (nouvelles urls de la zep 12, urls des pages, etc.) : 4

En partant de là, on se retrouve avec $ ((80 \times (3 + 2 + 1) ) + 300 + ( 20 \times (4 + 1) ) + 200) \times 4 = 4320 $

Ce qui signifie donc environ 4320 urls différentes pour lesquelles il faudra sauvegarder les statistiques tous les jours.

Maintenant, si on considère que l'on travaille en NoSQL avec une représentation sous forme de document. Voici un modèle de document d'exemple correspondant à ce qu'on pourrait stocker.

{
    "id": 1,
    "id_on_zds": 692,
    "type": "Comment réussir votre entretien d'embauche ?",
    "start_date": "2015-04-01T00:00:00",
    "end_date": "2015-04-01T23:59:59",
    "urls":[
      {
          "url_path": "/tutoriels/692/comment-reussir-votre-entretien-dembauche/",
          "metrics": [
              {
                  "name": "visits",
                  "social": [
                      {
                          "title": "Twitter",
                          "value": 15
                      },
                      {
                          "title": "Facebook",
                          "value": 3
                      },
                      {
                          "title": "GooglePlus",
                          "value": 7
                      }
                  ],
                  "referal": [
                      {
                          "title": "direct",
                          "path": "www.zestedesavoir.com",
                          "value": 18
                      },
                      {
                          "title": "Google search",
                          "path": "www.google.fr",
                          "value": 78
                      },
                      {
                          "title": "Openclassrooms",
                          "path": "openclassrooms.com",
                          "value": 3
                      },
                      {
                          "title": "Journal d'un avocat",
                          "path": "http://www.maitre-eolas.fr/",
                          "value": 7
                      }
                  ],
                  "platform": {
                      "os": [
                          {
                              "title": "Windows",
                              "value": 25
                          },
                          {
                              "title": "Gnu Linux",
                              "value": 3
                          },
                          {
                              "title": "OS X",
                              "value": 45
                          },
                          {
                              "title": "Android",
                              "value": 5
                          },
                          {
                              "title": "iOs",
                              "value": 12
                          }
                      ],
                      "screens": [
                          {
                              "title": "800x600",
                              "value": 52
                          },
                          {
                              "title": "1024x768",
                              "value": 125
                          },
                          {
                              "title": "1280x1024",
                              "value": 8
                          },
                          {
                              "title": "1600x1200",
                              "value": 4
                          }
                      ],
                      "devices": [
                          {
                              "title": "Mobile",
                              "value": 11
                          },
                          {
                              "title": "Tablet",
                              "value": 125
                          },
                          {
                              "title": "Personal Computer",
                              "value": 158
                          }
                      ]
                  },
                  "audience": {
                      "age": [
                          {
                              "title": "< 15",
                              "value": 8
                          },
                          {
                              "title": "15 - 18",
                              "value": 7
                          },
                          {
                              "title": "30 - 57",
                              "value": 38
                          }
                      ],
                      "gender": [
                          {
                              "title": "Male",
                              "value": 1
                          },
                          {
                              "title": "Female",
                              "value": 7
                          },
                          {
                              "title": "Unknow",
                              "value": 8
                          }
                      ]
                  },
                  "geo": {
                      "country": [
                          {
                              "title": "France",
                              "value": 58
                          },
                          {
                              "title": "Germany",
                              "value": 7
                          },
                          {
                              "title": "England",
                              "value": 3
                          }
                      ],
                      "city": [
                          {
                              "title": "Munster",
                              "value": 19
                          },
                          {
                              "title": "Paris",
                              "value": 7
                          },
                          {
                              "title": "Conakry",
                              "value": 78
                          }
                      ]
                  }
              },
              {
                  "name": "unique_visits",
                  "social": [
                      {
                          "title": "Twitter",
                          "value": 15
                      },
                      {
                          "title": "Facebook",
                          "value": 3
                      },
                      {
                          "title": "GooglePlus",
                          "value": 7
                      }
                  ],
                  "referal": [
                      {
                          "title": "direct",
                          "path": "www.zestedesavoir.com",
                          "value": 18
                      },
                      {
                          "title": "Google search",
                          "path": "www.google.fr",
                          "value": 78
                      },
                      {
                          "title": "Openclassrooms",
                          "path": "openclassrooms.com",
                          "value": 3
                      },
                      {
                          "title": "Journal d'un avocat",
                          "path": "http://www.maitre-eolas.fr/",
                          "value": 7
                      }
                  ],
                  "platform": {
                      "os": [
                          {
                              "title": "Windows",
                              "value": 25
                          },
                          {
                              "title": "Gnu Linux",
                              "value": 3
                          },
                          {
                              "title": "OS X",
                              "value": 45
                          },
                          {
                              "title": "Android",
                              "value": 5
                          },
                          {
                              "title": "iOs",
                              "value": 12
                          }
                      ],
                      "screens": [
                          {
                              "title": "800x600",
                              "value": 52
                          },
                          {
                              "title": "1024x768",
                              "value": 125
                          },
                          {
                              "title": "1280x1024",
                              "value": 8
                          },
                          {
                              "title": "1600x1200",
                              "value": 4
                          }
                      ],
                      "devices": [
                          {
                              "title": "Mobile",
                              "value": 11
                          },
                          {
                              "title": "Tablet",
                              "value": 125
                          },
                          {
                              "title": "Personal Computer",
                              "value": 158
                          }
                      ]
                  },
                  "audience": {
                      "age": [
                          {
                              "title": "< 15",
                              "value": 8
                          },
                          {
                              "title": "15 - 18",
                              "value": 7
                          },
                          {
                              "title": "30 - 57",
                              "value": 38
                          }
                      ],
                      "gender": [
                          {
                              "title": "Male",
                              "value": 1
                          },
                          {
                              "title": "Female",
                              "value": 7
                          },
                          {
                              "title": "Unknow",
                              "value": 8
                          }
                      ]
                  },
                  "geo": {
                      "country": [
                          {
                              "title": "France",
                              "value": 58
                          },
                          {
                              "title": "Germany",
                              "value": 7
                          },
                          {
                              "title": "England",
                              "value": 3
                          }
                      ],
                      "city": [
                          {
                              "title": "Munster",
                              "value": 19
                          },
                          {
                              "title": "Paris",
                              "value": 7
                          },
                          {
                              "title": "Conakry",
                              "value": 78
                          }
                      ]
                  }
              },
              {
                  "name": "avg_read_time",
                  "social": [
                      {
                          "title": "Twitter",
                          "value": 15
                      },
                      {
                          "title": "Facebook",
                          "value": 3
                      },
                      {
                          "title": "GooglePlus",
                          "value": 7
                      }
                  ],
                  "referal": [
                      {
                          "title": "direct",
                          "path": "www.zestedesavoir.com",
                          "value": 18
                      },
                      {
                          "title": "Google search",
                          "path": "www.google.fr",
                          "value": 78
                      },
                      {
                          "title": "Openclassrooms",
                          "path": "openclassrooms.com",
                          "value": 3
                      },
                      {
                          "title": "Journal d'un avocat",
                          "path": "http://www.maitre-eolas.fr/",
                          "value": 7
                      }
                  ],
                  "platform": {
                      "os": [
                          {
                              "title": "Windows",
                              "value": 25
                          },
                          {
                              "title": "Gnu Linux",
                              "value": 3
                          },
                          {
                              "title": "OS X",
                              "value": 45
                          },
                          {
                              "title": "Android",
                              "value": 5
                          },
                          {
                              "title": "iOs",
                              "value": 12
                          }
                      ],
                      "screens": [
                          {
                              "title": "800x600",
                              "value": 52
                          },
                          {
                              "title": "1024x768",
                              "value": 125
                          },
                          {
                              "title": "1280x1024",
                              "value": 8
                          },
                          {
                              "title": "1600x1200",
                              "value": 4
                          }
                      ],
                      "devices": [
                          {
                              "title": "Mobile",
                              "value": 11
                          },
                          {
                              "title": "Tablet",
                              "value": 125
                          },
                          {
                              "title": "Personal Computer",
                              "value": 158
                          }
                      ]
                  },
                  "audience": {
                      "age": [
                          {
                              "title": "< 15",
                              "value": 8
                          },
                          {
                              "title": "15 - 18",
                              "value": 7
                          },
                          {
                              "title": "30 - 57",
                              "value": 38
                          }
                      ],
                      "gender": [
                          {
                              "title": "Male",
                              "value": 1
                          },
                          {
                              "title": "Female",
                              "value": 7
                          },
                          {
                              "title": "Unknow",
                              "value": 8
                          }
                      ]
                  },
                  "geo": {
                      "country": [
                          {
                              "title": "France",
                              "value": 58
                          },
                          {
                              "title": "Germany",
                              "value": 7
                          },
                          {
                              "title": "England",
                              "value": 3
                          }
                      ],
                      "city": [
                          {
                              "title": "Munster",
                              "value": 19
                          },
                          {
                              "title": "Paris",
                              "value": 7
                          },
                          {
                              "title": "Conakry",
                              "value": 78
                          }
                      ]
                  }
              },
              {
                  "name": "load_speed",
                  "social": [
                      {
                          "title": "Twitter",
                          "value": 15
                      },
                      {
                          "title": "Facebook",
                          "value": 3
                      },
                      {
                          "title": "GooglePlus",
                          "value": 7
                      }
                  ],
                  "referal": [
                      {
                          "title": "direct",
                          "path": "www.zestedesavoir.com",
                          "value": 18
                      },
                      {
                          "title": "Google search",
                          "path": "www.google.fr",
                          "value": 78
                      },
                      {
                          "title": "Openclassrooms",
                          "path": "openclassrooms.com",
                          "value": 3
                      },
                      {
                          "title": "Journal d'un avocat",
                          "path": "http://www.maitre-eolas.fr/",
                          "value": 7
                      }
                  ],
                  "platform": {
                      "os": [
                          {
                              "title": "Windows",
                              "value": 25
                          },
                          {
                              "title": "Gnu Linux",
                              "value": 3
                          },
                          {
                              "title": "OS X",
                              "value": 45
                          },
                          {
                              "title": "Android",
                              "value": 5
                          },
                          {
                              "title": "iOs",
                              "value": 12
                          }
                      ],
                      "screens": [
                          {
                              "title": "800x600",
                              "value": 52
                          },
                          {
                              "title": "1024x768",
                              "value": 125
                          },
                          {
                              "title": "1280x1024",
                              "value": 8
                          },
                          {
                              "title": "1600x1200",
                              "value": 4
                          }
                      ],
                      "devices": [
                          {
                              "title": "Mobile",
                              "value": 11
                          },
                          {
                              "title": "Tablet",
                              "value": 125
                          },
                          {
                              "title": "Personal Computer",
                              "value": 158
                          }
                      ]
                  },
                  "audience": {
                      "age": [
                          {
                              "title": "< 15",
                              "value": 8
                          },
                          {
                              "title": "15 - 18",
                              "value": 7
                          },
                          {
                              "title": "30 - 57",
                              "value": 38
                          }
                      ],
                      "gender": [
                          {
                              "title": "Male",
                              "value": 1
                          },
                          {
                              "title": "Female",
                              "value": 7
                          },
                          {
                              "title": "Unknow",
                              "value": 8
                          }
                      ]
                  },
                  "geo": {
                      "country": [
                          {
                              "title": "France",
                              "value": 58
                          },
                          {
                              "title": "Germany",
                              "value": 7
                          },
                          {
                              "title": "England",
                              "value": 3
                          }
                      ],
                      "city": [
                          {
                              "title": "Munster",
                              "value": 19
                          },
                          {
                              "title": "Paris",
                              "value": 7
                          },
                          {
                              "title": "Conakry",
                              "value": 78
                          }
                      ]
                  }
              },
              {
                  "name": "new_users",
                  "social": [
                      {
                          "title": "Twitter",
                          "value": 15
                      },
                      {
                          "title": "Facebook",
                          "value": 3
                      },
                      {
                          "title": "GooglePlus",
                          "value": 7
                      }
                  ],
                  "referal": [
                      {
                          "title": "direct",
                          "path": "www.zestedesavoir.com",
                          "value": 18
                      },
                      {
                          "title": "Google search",
                          "path": "www.google.fr",
                          "value": 78
                      },
                      {
                          "title": "Openclassrooms",
                          "path": "openclassrooms.com",
                          "value": 3
                      },
                      {
                          "title": "Journal d'un avocat",
                          "path": "http://www.maitre-eolas.fr/",
                          "value": 7
                      }
                  ],
                  "platform": {
                      "os": [
                          {
                              "title": "Windows",
                              "value": 25
                          },
                          {
                              "title": "Gnu Linux",
                              "value": 3
                          },
                          {
                              "title": "OS X",
                              "value": 45
                          },
                          {
                              "title": "Android",
                              "value": 5
                          },
                          {
                              "title": "iOs",
                              "value": 12
                          }
                      ],
                      "screens": [
                          {
                              "title": "800x600",
                              "value": 52
                          },
                          {
                              "title": "1024x768",
                              "value": 125
                          },
                          {
                              "title": "1280x1024",
                              "value": 8
                          },
                          {
                              "title": "1600x1200",
                              "value": 4
                          }
                      ],
                      "devices": [
                          {
                              "title": "Mobile",
                              "value": 11
                          },
                          {
                              "title": "Tablet",
                              "value": 125
                          },
                          {
                              "title": "Personal Computer",
                              "value": 158
                          }
                      ]
                  },
                  "audience": {
                      "age": [
                          {
                              "title": "< 15",
                              "value": 8
                          },
                          {
                              "title": "15 - 18",
                              "value": 7
                          },
                          {
                              "title": "30 - 57",
                              "value": 38
                          }
                      ],
                      "gender": [
                          {
                              "title": "Male",
                              "value": 1
                          },
                          {
                              "title": "Female",
                              "value": 7
                          },
                          {
                              "title": "Unknow",
                              "value": 8
                          }
                      ]
                  },
                  "geo": {
                      "country": [
                          {
                              "title": "France",
                              "value": 58
                          },
                          {
                              "title": "Germany",
                              "value": 7
                          },
                          {
                              "title": "England",
                              "value": 3
                          }
                      ],
                      "city": [
                          {
                              "title": "Munster",
                              "value": 19
                          },
                          {
                              "title": "Paris",
                              "value": 7
                          },
                          {
                              "title": "Conakry",
                              "value": 78
                          }
                      ]
                  }
              }
          ]
      }
  ]
}

L'occupation disque

En injectant la collections précédente (le json) dans une base MongoDB, il en ressort que l'espace disque utilisé pour stocker une url d'un contenu est de 264 Ko.

Si on reprend donc notre chiffre d'estimation plus haut, on en arrive à une consommation en espace disque estimé à : $ 264 \times 4320 = 1140480 $

C'est à dire environ 1.08 Go de données à stocker par jour. Et donc pour stocker ça sur un an, on aurait besoin de 400 Go d'espace disque.

NB : Il est important de préciser que si on décide de ne pas considérer dans nos stats ni chapitres ni parties, on réduit la consommation de moitié, c'est à dire à 500 Mo par jour.

L'occupation Mémoire

Les systèmes NoSQL ont la particularité de consommer beaucoup de RAM quand il y'en a de disponible. Plus il y'a de RAM, plus le système pourra remonter les données rapidement. Cependant je n'ai pas d'information plus précise quant à la consommation de RAM dans notre cas.

L'occupation CPU pendant l'enregistrement des données

Comme pour n'importe quel batch de chargement le proco risque de prendre tout de qui est possible (en laissant un peu pour le reste des processus quand meme). Mais on peut très bien programmer ce chargement à des heures de faibles frequentation, ça ne devrait poser aucun souci.

Le temps d'enregistrement des données

Le json que j'ai présenté ci-dessus correspond à une collection de documents. Et dans notre cas présent nous en sommes à 155 documents. Le défi à relever est donc de pouvoir insérer $ 155 \times 4320 = 669600 $ documents. Si on se réfère en certains benchmarck de mongodb 3 (avec MMAPv1), avec un serveur, on a environ 10000 documents insérés par seconde.

ce qui signifie que charger tout ceci en base nous prendrait entre 1 à 3 minutes. Tout dépendra des I/O (HDD ? SSD ? ) de notre disque aussi.

L'occupation CPU pendant la restitution des données

Etant donné que chaque requete doit passer par l'API, c'est cette dernière qui va faire le tampon d'une part avec son système de pagination et d'autre part avec son système de cache à base d'eTag et cie. Les requetes seront finalement assez simple car les données qu'on stocke sont pour la plupart des données déjà caculées, donc je ne me fais aucun souci (bien au contraire) pour le CPU.

Conclusion

Si on veut réellement des statistiques telles que demandées dans la ZEP-11 pour notre contenu, il faudra prévoir au moins 400Go par an d'espace disque dédié aux stats. Si on a pas les sous pour ce faire il va falloir choisir entre les deux solutions suivantes :

revoir notre besoin à la baisse (moins de métriques ?, uniquement sur les tutos ?)
souscrire à Google Analytics premium (qui vaut 125K€/an à titre indicatif)

PS: Quoiqu'il en soit, je pense qu'il faudrait un serveur entièrement dédié au stockage de ces informations.

Voilà, j'espère ne pas a voir été trop long , mais je pense que ça répond a la question.

23/04/15 à 00h07

Tuto: Réussir un entretien | Articles : le Big Data / Elasticsearch / Continuous Delivery | Projet : Zest Writer

+0 -0

SpaceFox, jeudi 23 avril 2015 à 08h50
Modifié

Merci beaucoup pour ces précisions. On y voit en particulier que l'objectif en termes d'occupation d'espace disque est totalement irréaliste, y compris dans l'hypothèse ci-dessous :

NB : Il est important de préciser que si on décide de ne pas considérer dans nos stats ni chapitres ni parties, on réduit la consommation de moitié, c'est à dire à 500 Mo par jour.

Pour comparaison, la première étude des plate-formes d'hébergement qui correspondent à notre budget se trouve ici ; on parle plutôt d'une centaine de Go pour toute l'application (Système + code + dépendances + bases de données + tutos - images et dépôts + logs).

Je crains qu'on ait donc pas d'autre choix que de trancher largement dans les statistiques proposées aux auteurs et aux membres.

PS :

PS: Quoiqu'il en soit, je pense qu'il faudrait un serveur entièrement dédié au stockage de ces informations.

Avec le budget actuel, c'est impossible, sauf peut-être ce genre d'offre qui reste très particulier (le processeur est une sous-merde par contre, pour ceux qui y ont accès c'est lui ça qui sert le Munin de ZdS… ça vous donne une idée du temps de génération des graphes).

23/04/15 à 08h50
Modifié

Les textes de SpaceFox & Lisa Refur – Un Renard en Corée – Un renard au Japon – @spacefox@mastodon.spacefox.fr

+0 -0

Rockaround, jeudi 23 avril 2015 à 09h33

Est-ce vraiment utile de garder des statistiques jour par jour de plusieurs semaines/mois auparavant ?

Ne serait-il pas possible de réduire drastiquement l'espace disque nécessaire en adoptant une sauvegarde logarithmique de ces statistiques ?

23/04/15 à 09h33

L’énergie nucléaire dans l’espace Quelques unités étonnantes Cercle modulaire

+1 -0

Kje, jeudi 23 avril 2015 à 09h36

Il est vrai qu'on pourrait imaginer un compactage par semaine/mois a intervalle régulier. On garderait la meme structure sauf que la période serait plus longue avec le stockage d'une liste au lieu de valeurs individuel, dans un premier temps. Ensuite sur une plus longue période, a ton réellement besoin de la précision a la journée ?

23/04/15 à 09h36

+0 -0

Dominus Carnufex, jeudi 23 avril 2015 à 10h06

{
    "id": 1,
    "id_on_zds": 692,
    "type": "Comment réussir votre entretien d'embauche ?",
    "start_date": "2015-04-01T00:00:00",
    "end_date": "2015-04-01T23:59:59",
    "urls":[
        {
            "url_path": "/tutoriels/692/comment-reussir-votre-entretien-dembauche/",
            "metrics": [
                {
                    "name": "visits",
                    "social": [
                        {
                            "title": "Twitter",
                            "value": 15
                        },
                        {
                            "title": "Facebook",
                            "value": 3
                        },
                        {
                            "title": "GooglePlus",
                            "value": 7
                        }
                    ],
                    "referal": [
                        {
                            "title": "direct",
                            "path": "www.zestedesavoir.com",
                            "value": 18
                        },
                        {
                            "title": "Google search",
                            "path": "www.google.fr",
                            "value": 78
                        },
                        {
                            "title": "Openclassrooms",
                            "path": "openclassrooms.com",
                            "value": 3
                        },
                        {
                            "title": "Journal d'un avocat",
                            "path": "http://www.maitre-eolas.fr/",
                            "value": 7
                        }
                    ],
                    "platform": {
                        "os": [
                            {
                                "title": "Windows",
                                "value": 25
                            },
                            {
                                "title": "Gnu Linux",
                                "value": 3
                            },
                            {
                                "title": "OS X",
                                "value": 45
                            },
                            {
                                "title": "Android",
                                "value": 5
                            },
                            {
                                "title": "iOs",
                                "value": 12
                            }
                        ],
                        "screens": [
                            {
                                "title": "800x600",
                                "value": 52
                            },
                            {
                                "title": "1024x768",
                                "value": 125
                            },
                            {
                                "title": "1280x1024",
                                "value": 8
                            },
                            {
                                "title": "1600x1200",
                                "value": 4
                            }
                        ],
                        "devices": [
                            {
                                "title": "Mobile",
                                "value": 11
                            },
                            {
                                "title": "Tablet",
                                "value": 125
                            },
                            {
                                "title": "Personal Computer",
                                "value": 158
                            }
                        ]
                    },
                    "audience": {
                        "age": [
                            {
                                "title": "< 15",
                                "value": 8
                            },
                            {
                                "title": "15 - 18",
                                "value": 7
                            },
                            {
                                "title": "30 - 57",
                                "value": 38
                            }
                        ],
                        "gender": [
                            {
                                "title": "Male",
                                "value": 1
                            },
                            {
                                "title": "Female",
                                "value": 7
                            },
                            {
                                "title": "Unknow",
                                "value": 8
                            }
                        ]
                    },
                    "geo": {
                        "country": [
                            {
                                "title": "France",
                                "value": 58
                            },
                            {
                                "title": "Germany",
                                "value": 7
                            },
                            {
                                "title": "England",
                                "value": 3
                            }
                        ],
                        "city": [
                            {
                                "title": "Munster",
                                "value": 19
                            },
                            {
                                "title": "Paris",
                                "value": 7
                            },
                            {
                                "title": "Conakry",
                                "value": 78
                            }
                        ]
                    }
                },
                {
                    "name": "unique_visits",
                    "social": [
                        {
                            "title": "Twitter",
                            "value": 15
                        },
                        {
                            "title": "Facebook",
                            "value": 3
                        },
                        {
                            "title": "GooglePlus",
                            "value": 7
                        }
                    ],
                    "referal": [
                        {
                            "title": "direct",
                            "path": "www.zestedesavoir.com",
                            "value": 18
                        },
                        {
                            "title": "Google search",
                            "path": "www.google.fr",
                            "value": 78
                        },
                        {
                            "title": "Openclassrooms",
                            "path": "openclassrooms.com",
                            "value": 3
                        },
                        {
                            "title": "Journal d'un avocat",
                            "path": "http://www.maitre-eolas.fr/",
                            "value": 7
                        }
                    ],
                    "platform": {
                        "os": [
                            {
                                "title": "Windows",
                                "value": 25
                            },
                            {
                                "title": "Gnu Linux",
                                "value": 3
                            },
                            {
                                "title": "OS X",
                                "value": 45
                            },
                            {
                                "title": "Android",
                                "value": 5
                            },
                            {
                                "title": "iOs",
                                "value": 12
                            }
                        ],
                        "screens": [
                            {
                                "title": "800x600",
                                "value": 52
                            },
                            {
                                "title": "1024x768",
                                "value": 125
                            },
                            {
                                "title": "1280x1024",
                                "value": 8
                            },
                            {
                                "title": "1600x1200",
                                "value": 4
                            }
                        ],
                        "devices": [
                            {
                                "title": "Mobile",
                                "value": 11
                            },
                            {
                                "title": "Tablet",
                                "value": 125
                            },
                            {
                                "title": "Personal Computer",
                                "value": 158
                            }
                        ]
                    },
                    "audience": {
                        "age": [
                            {
                                "title": "< 15",
                                "value": 8
                            },
                            {
                                "title": "15 - 18",
                                "value": 7
                            },
                            {
                                "title": "30 - 57",
                                "value": 38
                            }
                        ],
                        "gender": [
                            {
                                "title": "Male",
                                "value": 1
                            },
                            {
                                "title": "Female",
                                "value": 7
                            },
                            {
                                "title": "Unknow",
                                "value": 8
                            }
                        ]
                    },
                    "geo": {
                        "country": [
                            {
                                "title": "France",
                                "value": 58
                            },
                            {
                                "title": "Germany",
                                "value": 7
                            },
                            {
                                "title": "England",
                                "value": 3
                            }
                        ],
                        "city": [
                            {
                                "title": "Munster",
                                "value": 19
                            },
                            {
                                "title": "Paris",
                                "value": 7
                            },
                            {
                                "title": "Conakry",
                                "value": 78
                            }
                        ]
                    }
                },
                {
                    "name": "avg_read_time",
                    "social": [
                        {
                            "title": "Twitter",
                            "value": 15
                        },
                        {
                            "title": "Facebook",
                            "value": 3
                        },
                        {
                            "title": "GooglePlus",
                            "value": 7
                        }
                    ],
                    "referal": [
                        {
                            "title": "direct",
                            "path": "www.zestedesavoir.com",
                            "value": 18
                        },
                        {
                            "title": "Google search",
                            "path": "www.google.fr",
                            "value": 78
                        },
                        {
                            "title": "Openclassrooms",
                            "path": "openclassrooms.com",
                            "value": 3
                        },
                        {
                            "title": "Journal d'un avocat",
                            "path": "http://www.maitre-eolas.fr/",
                            "value": 7
                        }
                    ],
                    "platform": {
                        "os": [
                            {
                                "title": "Windows",
                                "value": 25
                            },
                            {
                                "title": "Gnu Linux",
                                "value": 3
                            },
                            {
                                "title": "OS X",
                                "value": 45
                            },
                            {
                                "title": "Android",
                                "value": 5
                            },
                            {
                                "title": "iOs",
                                "value": 12
                            }
                        ],
                        "screens": [
                            {
                                "title": "800x600",
                                "value": 52
                            },
                            {
                                "title": "1024x768",
                                "value": 125
                            },
                            {
                                "title": "1280x1024",
                                "value": 8
                            },
                            {
                                "title": "1600x1200",
                                "value": 4
                            }
                        ],
                        "devices": [
                            {
                                "title": "Mobile",
                                "value": 11
                            },
                            {
                                "title": "Tablet",
                                "value": 125
                            },
                            {
                                "title": "Personal Computer",
                                "value": 158
                            }
                        ]
                    },
                    "audience": {
                        "age": [
                            {
                                "title": "< 15",
                                "value": 8
                            },
                            {
                                "title": "15 - 18",
                                "value": 7
                            },
                            {
                                "title": "30 - 57",
                                "value": 38
                            }
                        ],
                        "gender": [
                            {
                                "title": "Male",
                                "value": 1
                            },
                            {
                                "title": "Female",
                                "value": 7
                            },
                            {
                                "title": "Unknow",
                                "value": 8
                            }
                        ]
                    },
                    "geo": {
                        "country": [
                            {
                                "title": "France",
                                "value": 58
                            },
                            {
                                "title": "Germany",
                                "value": 7
                            },
                            {
                                "title": "England",
                                "value": 3
                            }
                        ],
                        "city": [
                            {
                                "title": "Munster",
                                "value": 19
                            },
                            {
                                "title": "Paris",
                                "value": 7
                            },
                            {
                                "title": "Conakry",
                                "value": 78
                            }
                        ]
                    }
                },
                {
                    "name": "load_speed",
                    "social": [
                        {
                            "title": "Twitter",
                            "value": 15
                        },
                        {
                            "title": "Facebook",
                            "value": 3
                        },
                        {
                            "title": "GooglePlus",
                            "value": 7
                        }
                    ],
                    "referal": [
                        {
                            "title": "direct",
                            "path": "www.zestedesavoir.com",
                            "value": 18
                        },
                        {
                            "title": "Google search",
                            "path": "www.google.fr",
                            "value": 78
                        },
                        {
                            "title": "Openclassrooms",
                            "path": "openclassrooms.com",
                            "value": 3
                        },
                        {
                            "title": "Journal d'un avocat",
                            "path": "http://www.maitre-eolas.fr/",
                            "value": 7
                        }
                    ],
                    "platform": {
                        "os": [
                            {
                                "title": "Windows",
                                "value": 25
                            },
                            {
                                "title": "Gnu Linux",
                                "value": 3
                            },
                            {
                                "title": "OS X",
                                "value": 45
                            },
                            {
                                "title": "Android",
                                "value": 5
                            },
                            {
                                "title": "iOs",
                                "value": 12
                            }
                        ],
                        "screens": [
                            {
                                "title": "800x600",
                                "value": 52
                            },
                            {
                                "title": "1024x768",
                                "value": 125
                            },
                            {
                                "title": "1280x1024",
                                "value": 8
                            },
                            {
                                "title": "1600x1200",
                                "value": 4
                            }
                        ],
                        "devices": [
                            {
                                "title": "Mobile",
                                "value": 11
                            },
                            {
                                "title": "Tablet",
                                "value": 125
                            },
                            {
                                "title": "Personal Computer",
                                "value": 158
                            }
                        ]
                    },
                    "audience": {
                        "age": [
                            {
                                "title": "< 15",
                                "value": 8
                            },
                            {
                                "title": "15 - 18",
                                "value": 7
                            },
                            {
                                "title": "30 - 57",
                                "value": 38
                            }
                        ],
                        "gender": [
                            {
                                "title": "Male",
                                "value": 1
                            },
                            {
                                "title": "Female",
                                "value": 7
                            },
                            {
                                "title": "Unknow",
                                "value": 8
                            }
                        ]
                    },
                    "geo": {
                        "country": [
                            {
                                "title": "France",
                                "value": 58
                            },
                            {
                                "title": "Germany",
                                "value": 7
                            },
                            {
                                "title": "England",
                                "value": 3
                            }
                        ],
                        "city": [
                            {
                                "title": "Munster",
                                "value": 19
                            },
                            {
                                "title": "Paris",
                                "value": 7
                            },
                            {
                                "title": "Conakry",
                                "value": 78
                            }
                        ]
                    }
                },
                {
                    "name": "new_users",
                    "social": [
                        {
                            "title": "Twitter",
                            "value": 15
                        },
                        {
                            "title": "Facebook",
                            "value": 3
                        },
                        {
                            "title": "GooglePlus",
                            "value": 7
                        }
                    ],
                    "referal": [
                        {
                            "title": "direct",
                            "path": "www.zestedesavoir.com",
                            "value": 18
                        },
                        {
                            "title": "Google search",
                            "path": "www.google.fr",
                            "value": 78
                        },
                        {
                            "title": "Openclassrooms",
                            "path": "openclassrooms.com",
                            "value": 3
                        },
                        {
                            "title": "Journal d'un avocat",
                            "path": "http://www.maitre-eolas.fr/",
                            "value": 7
                        }
                    ],
                    "platform": {
                        "os": [
                            {
                                "title": "Windows",
                                "value": 25
                            },
                            {
                                "title": "Gnu Linux",
                                "value": 3
                            },
                            {
                                "title": "OS X",
                                "value": 45
                            },
                            {
                                "title": "Android",
                                "value": 5
                            },
                            {
                                "title": "iOs",
                                "value": 12
                            }
                        ],
                        "screens": [
                            {
                                "title": "800x600",
                                "value": 52
                            },
                            {
                                "title": "1024x768",
                                "value": 125
                            },
                            {
                                "title": "1280x1024",
                                "value": 8
                            },
                            {
                                "title": "1600x1200",
                                "value": 4
                            }
                        ],
                        "devices": [
                            {
                                "title": "Mobile",
                                "value": 11
                            },
                            {
                                "title": "Tablet",
                                "value": 125
                            },
                            {
                                "title": "Personal Computer",
                                "value": 158
                            }
                        ]
                    },
                    "audience": {
                        "age": [
                            {
                                "title": "< 15",
                                "value": 8
                            },
                            {
                                "title": "15 - 18",
                                "value": 7
                            },
                            {
                                "title": "30 - 57",
                                "value": 38
                            }
                        ],
                        "gender": [
                            {
                                "title": "Male",
                                "value": 1
                            },
                            {
                                "title": "Female",
                                "value": 7
                            },
                            {
                                "title": "Unknow",
                                "value": 8
                            }
                        ]
                    },
                    "geo": {
                        "country": [
                            {
                                "title": "France",
                                "value": 58
                            },
                            {
                                "title": "Germany",
                                "value": 7
                            },
                            {
                                "title": "England",
                                "value": 3
                            }
                        ],
                        "city": [
                            {
                                "title": "Munster",
                                "value": 19
                            },
                            {
                                "title": "Paris",
                                "value": 7
                            },
                            {
                                "title": "Conakry",
                                "value": 78
                            }
                        ]
                    }
                }
            ]
        }
    ]
}

Y'a un truc qui me chagrine avec ça, c'est qu'il serait manifestement possible de gagner pas mal de place en évitant de stocker des infos inutiles. Quelques exemples.

Pourquoi stocker le nom entier des pays alors qu'on peut utiliser leur code ISO 3166-1 à deux lettres ?
De même, sachant qu'il y a un nombre limité de plate-formes, de tailles d'écran, et d'OS, pourquoi mettre leur nom en entier et pas sous forme d'un code ?
L'information géographique « ville » est-elle pertinente et nécessaire ?
Le referer prend énormément de place, et ne nombre de referers susceptibles d'atterrir sur ZdS n'est pas infini : avec une BDD relationnelle, on pourrait stocker une seule fois le nom complet du referer et ne stocker dans la table de stats que son identifiant.
Pourquoi stocker à la fois la métrique « visites » et « visites uniques » ? La première ne me paraît absolument pas pertinente…
De manière générale, le texte d'exemple que tu as donné pèse 27701 octets¹. Avec une compression XZ, il n'en pèse plus que 904, soit 3 % de la taille d'origine. C'est le signe qu'il y a énormément de répétitions et qu'il doit être possible de le stocker sous une forme plus compacte.

Tu es sûr que tu n'as pas oublié une virgule quand tu dis que MongoDB a besoin de 264 ko pour stocker ce JSON ? Parce que le rapport de 1 à 10 me met la puce à l'oreille… ↩

23/04/15 à 10h06

#JeSuisGrimur #OnVautMieuxQueÇa

+0 -0

Kje, jeudi 23 avril 2015 à 10h31
Modifié

En fait il serait pas ettonant qu'un collection ai une taille de la forme a+N*b où N est le nombre d'entrée. Avec une estimation utilisant une seule valeur, tu sur evalue beaucoup. Il faudrait faire un essai plus réaliste avec des données tirées au hasard sur une longue période, ce serait plus précis.

23/04/15 à 10h31
Modifié

+0 -0

SpaceFox, jeudi 23 avril 2015 à 10h32

aune seule Valérie

Je pense qu'il faut se relire quand on écrit sur mobile

23/04/15 à 10h32

Les textes de SpaceFox & Lisa Refur – Un Renard en Corée – Un renard au Japon – @spacefox@mastodon.spacefox.fr

+0 -0

Kje, jeudi 23 avril 2015 à 10h32

Tu ne m'a pas laissé le temps :-°

23/04/15 à 10h32

+0 -0

Coyote, jeudi 23 avril 2015 à 11h17

Je suis assez surpris par nos estimations de taille disque requise. La plupart des outils de stats du marché que j'ai eu l'occasion de toucher génèrent tout au plus une dizaine de Go de données par an, sur des serveurs pourtant très visités. Et une palanquée de métriques est dispo. C'est le NoSQL qui contraint à des tailles aussi grandes ?

23/04/15 à 11h17

Améliorons la validation ! - ZdS, faut bien secouer, sinon la pulpe, elle reste en bas !

+0 -0

Dominus Carnufex, jeudi 23 avril 2015 à 13h00

J'ai fait quelques essais, ça vaut ce que ça vaut.

À supposer que nous stockions non pas les données calculées sur une journée mais bien l'ensemble des visites reçues avec les infos adéquates, on pourrait calculer toutes les infos qui intéressent la communauté à partir des données suivantes (sauf le point 9, j'ignore comment une telle info peut être obtenue).

Identifiant de la visite : stockée dans un BIGINT (8 octets) pour nous permettre de voir venir jusqu'à environ 19 milliards de milliards de visites.
Date et heure d'arrivée sur la page, et date et heure de départ de la page : deux TIMESTAMP de 4 octets chacun.
Temps de chargement de la page : on peut le stocker en secondes dans un TINYINT. En effet, 255 secondes, ça fait 4 minutes 15, ce qui est largement plus que quoi que ce soit d'acceptable.
URL dont est arrivé, URL affichée et URL vers laquelle repart : trois identifiants en MEDIUMINT ou INT (3 ou 4 octets), qui renvoient vers une table de toutes les URL différentes.
Origine géographique : peut être stockée comme une chaîne de 2 caractères (3 octets) ou un code en SMALLINT (2 octets).
Mot-clé qui a permis d'aboutir sur la page : encore un MEDIUMINT (3 octets) qui renvoie vers une table des mots-clés. Cette colonne peut être supprimée si l'URL d'arrivée permet de déterminer cette information.
Infos sur le visiteur : on parle ici de son navigateur, son OS, sa taille d'écran, son type de machine, sa fourchette d'âge et son sexe. Comme il y a un nombre limité de valeurs différentes que peut prendre chaque info, en faisant les choses intelligemment, on peut tout faire tenir dans un MEDIUMINT de 3 octets.

Soit au total, entre 31 et 38 octets par visite. Même en prenant le pire scénario, pour stocker les 2 128 590 pages vues entre le lancement et le 4 avril, cette table demande environ 77 Mebioctets.

À cela, il faut rajouter une table des URL et une table des mots-clés. Il est plus difficile d'évaluer la taille que cela prendrait, mais si on part sur une moyenne de 15 caractères par mot-clé et de 100 caractères par URL (ça fait gros : même une URL comme celle-là ne fait que 190 caractères), et qu'on part sur un stockage des ID d'URL en MEDIUMINT (ce qui nous permet d'avoir environ 17 millions d'URL différentes, et 17 millions de mots-clés différents), alors notre table remplie ras la gueule pèserait environ 2 Gibioctets.

Il est possible de réduire drastiquement cette taille (au prix d'un peu d'information et de temps de calcul) au moyen de trois artifices.

Pour les URL entrantes, on peut ne stocker que le nom de domaine, et non l'URL complète (comme dans le JSON d'exemple de firm1) : non seulement, ça réduit le nombre d'entrées différentes, mais en plus, ça en réduit la longueur moyenne.
Pour les URL sortantes, on peut ne stocker que celles qui correspondent à un lien présent dans le corps du tuto et passer sous silence tous les départs qui n'auraient pas grand chose à voir avec le tuto (j'ai un nouveau message suivi sur le forum, je vais voir la liste des tutos, j'ai terminé un article et je vais lire mes mails, etc.). Je ne suis pas certain que ça fasse beaucoup baisser le nombre d'URL, mais c'est une option.
On peut envisager de « compacter les données » au-delà d'un certain temps (6 mois, un an, que sais-je), comme suggéré par Rockaround.

J'ai le sentiment que ma proposition est loin d'être la plus optimisée en temps de calcul pour stocker les données et les restituer à l'utilisateur. Cela étant, elle montre que toutes les données brutes depuis l'ouverture du site peuvent tenir dans 2 Gigas, et que par conséquent, une solution qui demanderait un Giga par jour est nécessairement mal pensée.

23/04/15 à 13h00

#JeSuisGrimur #OnVautMieuxQueÇa

+0 -0

firm1, jeudi 23 avril 2015 à 13h03

@Rockaround : si on compacte les données, autant stocker par semaine directement et même là on en serait a 1Go par semaine,je ne pense pas que ça tienne la route.

@Dominus : le problème c'est que l'API de Google ne nous donne pas le fameux code ISO des pays, ni le code des tailles d'écrans. En fait ce que tu voudrais c'est un stockage des données soi forme relationnelle, c'est possible mais il y'a aussi des inconvénients (que j'avais détaillé dans l'exposition des solutions).

@Coyote : Le problème de volumétrie de stockage vient surtout du fait qu'on utilise des données de Google Analytics qui sont déjà pré-calculées et nous empêchent de fabriquer d'autres métriques. Par exemple on est obligé de stocker les donnees a la fois des visiteurs et des visiteurs uniques alors qu'on peut naturellement imaginer que si on a led informations sources, ça se resume a un calcul.

C'est aussi pour ça que j'avais présente la solution de l'exploitation des logs du serveur. On gagnerait énormément en espace de stockage avec ça car on se contente de stocker la donnée de référence.

Il faut donc trouver une issue a ce problème. Si on a pas les moyens pour stocker 400Go par an, est ce que ça vaut le coup que je fasse une analyse comparative de la solution a base d'analyse de logs ?

EDIT : Dominus a posté entre temps, mais j'envoi quand même car je dois filer

23/04/15 à 13h03

Tuto: Réussir un entretien | Articles : le Big Data / Elasticsearch / Continuous Delivery | Projet : Zest Writer

+0 -0

SpaceFox, jeudi 23 avril 2015 à 13h10

C'est aussi pour ça que j'avais présente la solution de l'exploitation des logs du serveur. On gagnerait énormément en espace de stockage avec ça car on se contente de stocker la donnée de référence.

Ça ne change rien au fait qu'il faille stocker les données extraites des logs quelque part, puisqu'on ne peut pas se permettre ni de stocker les logs à l'infini¹ ni de les relire en intégralité dès qu'on a besoin d'une valeur.

Actuellement, ~40 Mo de données brutes / 4 Mo de données gzippées par jour sur nos access log. Sans compter sur l'augmentation du trafic, ça fait près de 15 Go de données à analyser pour avoir les statistiques sur 1 an, et 1.5 Go de données compressées par an à stocker (ça, ça va encore). ↩

23/04/15 à 13h10

Les textes de SpaceFox & Lisa Refur – Un Renard en Corée – Un renard au Japon – @spacefox@mastodon.spacefox.fr

+0 -0

firm1, jeudi 23 avril 2015 à 13h15

@Dominus : ton dernier raisonnement suppose que GA t'autorise a prendre les informations de chaque visite. Ce qui n'est pas le cas. Du coup –> premium.

SpaceFox : Oui bien sur il faut les stocker dans un SGBD les logs parsées. Et pour 40 Mo de logs brutes je pense qu'on devrait arriver pas loin de 100Mo par jour de stockage dans un SGBD avec l'augmentation de trafic, ce qui est fichtrement mieux que les 1Go par jour quand même

23/04/15 à 13h15

Tuto: Réussir un entretien | Articles : le Big Data / Elasticsearch / Continuous Delivery | Projet : Zest Writer

+0 -0

Kje, jeudi 23 avril 2015 à 13h16

@firm1 : je reste persuadé qu'estimer la taille a partir d'un seul document est probablement pas pertinent. Fait au moins un test avec quelques centaines de documents, ce sera plus proche de la réalité.

23/04/15 à 13h16

+1 -0

Dominus Carnufex, jeudi 23 avril 2015 à 13h21

@firm1 : même si nos données viennent de nos logs et pas de Google Analytics, explique-moi comment tu peux avoir besoin de 14 fois plus de place que ce que je propose ?

23/04/15 à 13h21

#JeSuisGrimur #OnVautMieuxQueÇa

+0 -0

Précédente
1
...

Indiquez la page à laquelle vous souhaitez vous rendre.
8
9
10
...

Indiquez la page à laquelle vous souhaitez vous rendre.
13
Suivante

Connectez-vous pour pouvoir poster un message.
Connexion

Pas encore membre ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte