Variable des URL

a marqué ce sujet comme résolu.

Bonjour à tous,

J’ai actuellement un bullshit job qui consiste à télécharger des donnés de client. J’aimerai automatiser cette partie de mon travail.

Ce que je veux faire, c’est un robot qui fait les recherches automatiquement sur une base de donné à ma place. Imaginons que mon site s’appelle BaseDeDonné.com

Je suis sur une page quelconque du site dont l’URL est: MaBaseDeDonné.com/view/pg3

Si je veux télécharger les informations du site de la page 4, il me faut juste changé la variable de l’url par “pg4”

Le problème arrive maintenant, j’aimerai faire la même chose sur un site web via une recherche.

Prenons le cas où sur un site internet, je cherche la référence “pomme” L’URL du site une fois la recherche effectué sera: MaBaseDeDonné.com/view/5586588552

Ici, on voit que la variable est différente de la référence “pomme” donc changer se segment par “poire” ne donnera rien par exemple.

Comment faire dans ce cas-ci, svp? Ne serait-ce qu’une idée?

Merci par avance!

+0 -0

Hello,

Très belle introduction 🙈 🙈 🙈.

Avec du code c’est en effet assez simple à faire (si c’est aussi simple que tu le dis). Malheureusement avant d’y arriver, il va donc falloir apprendre à coder. (coup de bol, t’es au bon endroit vu la section tutos!)

Sinon tu peux peut être jeter un coup d’oeil à certains projets "nocode". Je n’ai jamais testé je ne pourrai pas t’aider plus… 👀

Pour compléter cette réponse : quelles sont tes compétences en programmation ? Connais-tu Python, par exemple ? Ou un autre langage de programmation ? La réponse dépendra des technologies que tu connais (ou que tu es prêt(e) à apprendre, le cas échéant).

La marche à suivre dans le cas de la recherche, c’est de ne pas deviner l’URL (comme tu le soulignes, ce n’est pas vraiment possible), mais de refaire de façon automatisée la démarche que tu suis sur ton navigateur (donc, envoyer la requête de recherche depuis la page de recherche, puis voir vers quelle page tu es redirigé(e) et extraire les données de cette page).

Il existe des outils (bibliothèques logicielles, notamment) pour faire ça dans plein de langages, notamment l’excellent couple requests & beautifulsoup4 en Python ; si tu es sur d’autres langages, on pourra t’aiguiller en connaissant lesquelles :) .

+3 -0

Bonjour,

Merci à vous pour vos réponses!

Au moins c’est claire, mon approche n’est pas bonne. :D

J’ai oublié de préciser quelque chose… Le souci, c’est que je ne peux absolument rien télécharger sur internet parce que tout est verrouillé sur le PC du bureau donc je n’ai pas accès à une autre application.

Pour l’instant, j’ai codé toute "l’automatisation" avec Excel, Power Query et CSV en mode ninja :ninja:

Pour répondre à Amaury, je n’ai absolument aucune base en rien, mais ça ne me dérange pas d’apprendre. D’ailleurs, j’étais aussi au niveau zero de CSV avant de commencer et pourtant, j’ai pu faire un bot qui analyse toutes mes donnés. Donc je ne doute pas de moi pour réussir.

C’est vraiment la dernière étape qu’il me reste à faire pour boucler la boucle. :D

J’ai aussi passé la journée à lire le code source de la base de donné pour comprendre comment le Primary Key de l’URL était généré, mais le code source fait référence à une variable dont je n’ai pas accès…

Est-ce que mon rêve est possible avec CSV? :magicien:

Déjà merci pour votre aide, Bien à vous, FellDon

EDIT AJOUT: Je pensais à cet solution-ci: -Est-ce qu-il est possible d’obternir le lien d’un moteur de recherche en ligne? (Une peu comme une image sur un site internet afin d’isoler que cet élément).

+0 -0

Salut !

Pour le code, tu as plusieurs possibilités que je vois :

  • Python, qui est simple d’apprentissage, et avec son module BeautifulSoup, te permettra de faire plus ou moins facilement ce que tu veux. Par contre, il faut pouvoir installer python (et BeautifulSoup)
  • L’autre possibilité, c’est Javascript. L’avantage de Javascript, c’est que tu n’as besoin de rien installer, c’est supporté nativement. Un peu plus compliqué d’utilisation, cela dit ça reste parfaitement adapté pour parser une page web grâce à l’explorateur du DOM.
  • utiliser PowerQuery. C’est un outil que tu connais déjà, donc ce sera plus facile à utiliser pour toi. Du très peu que je connais, c’est pratique pour les gens qui ne savent pas coder ou qui débutent, mais ça manque de flexibilité. À voir.

En ce qui concerne la requête "pomme" qui redirige vers monsite.com/456456456456, je dirais que ça dépend, en fait, de comment fonctionne le site en dessous.

Si tu vas sur ton site, juste avant de lancer la recherche, active les outils de développement de ton navigateur (le plus souvent, CTRL+Shift+J). Va ensuite dans l’onglet "réseau", et lance la recherche. Tu vas voir plein de requêtes HTTP défiler, la première constitue la requête que tu lances au moment de lancer ta recherche.

Si dedans, tu vois explicitement le mot "pomme", c’est que le site lance une redirection. Si c’est le cas, il faut que ton outil (Javascript, powerquery ou autre) le détecte, puis lance une requête sur la nouvelle page.
Si ce n’est pas le cas, et que la première requête ne contient aucune trace de "pomme", c’est que c’est directement encodé par la page avant de lancer la recherche. Dans ce cas, deux possibilités : ou bien tu analyses le code source pour voir comment c’est encodé (tout est nécessairement écrit dans le code source), ou bien, plus simple, mais ne fonctionne que si tu dois toujours faire les mêmes recherches, tu stockes en donnée les URL des recherches que tu lances. C’est-à-dire, si par exemple chercher "pomme" envoie systématiquement sur monsite.com/456456456456, alors dans ta base de données, tu lances une requête sur monsite.com/456456456456, et tu sais que ça correspond à "pomme".

(Edit : c’est assez dur de t’aider plus précisément sans avoir de détails sur la page que tu dois scrapper, est-ce que c’est une page publique qu’on peut regarder ? Si non, est-ce que tu aurais un exemple semblable à ta page ?)

EDIT AJOUT: Je pensais à cet solution-ci: -Est-ce qu-il est possible d’obternir le lien d’un moteur de recherche en ligne? (Une peu comme une image sur un site internet afin d’isoler que cet élément).

Est-ce que ceci répond à ta question ? https://ssbipolar.com/2018/10/27/web-scraping-with-html-table-in-power-query/

+1 -0

Melepe!! Tu es un AMOUR!!!!! Tu serais à côté de moi, je t’embrasserai! :D

J’ai pu trouver la solution grâce à ta technique "CTRL + MAJ+ J" et dans la section "Network".

Bon par contre, je ne n’arrive pas à coder pour télécharger le PDF, mais je peux coder l’analyse de la page donc je vais faire ça en 2 jours et le tour est joué!!!

J’en pouvais plus, j’y ai passé des heures sans succès! Merci! Merci et encore merci!!!

Connectez-vous pour pouvoir poster un message.
Connexion

Pas encore membre ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte