Traitement de données en mode hors connexion

Bonjour je souhaiterais effectuer des analyses sur une grande quantité de données après avoir fait du scrapping (+ de 100.000 page) sur MySQL. Cependant je me retrouve confronté au problèmes de connexion car je suis dans une zone où la connexion internet est un luxe. Ma question est de savoir si je pourrais effectuer cette analyse en mode local c’est à dire sans connexion internet. Éventuellement si il existe des logiciels qui peuvent le faire merci de me le faire savoir.

Tu peux… télécharger un dump de la base et installer MySQL sur ta machine pour exécuter les requêtes en local. Tout simplement.

Au passage, avant de faire ton scrapping, tu t’es assuré que tu avais le droit d’utiliser et copier les données en question ?

Comment télécharger ce dump ? Effectivement je me heurte au problème de logiciel mais je suis à la recherche de outils qui sera autorisé.

Tout dépend de ce qui est disponible sur le serveur :

• tu peux utiliser la commande mysqldump -u db_user -p db_name > file_name.sql idéalement, pour ensuite télécharger le fichier ;
• dans PhpMyAdmin il y a un outil d’export ;
• avec un logiciel comme TablePlus ou DBeaver tu devrais pouvoir générer un dump également

Merci pour votre réponse

Si le dump est gros et que la connexion Internet est peu fiable/rapide, il est toujours possible de gziper à la volée pour diminuer la taille du téléchargement. En général les dump SQL se prêtent très bien à la compression. En reprenant la commande plus haut, ça serait donc : mysqldump -u db_user -p db_name | gzip > file_name.sql.gz.

Les clients graphiques proposent certainement aussi l’option, je présume.