Utiliser le module requests pour envoyer des infos en POST

Bonsoir,

Je me suis mis/remis au python dernièrement, et pour m’entraîner, je voulais écrire un script pour me simplifier l’utilisation d’un site que j’utilise régulièrement, https://tatoeba.org.

L’idée que j’avais, c’était de pouvoir avoir un fichier texte avec une phrase par ligne, et d’automatiser l’envoi. De cette manière, je pourrai contribuer même sans internet.

Pour commencer, de manière la plus simple possible, j’ai juste une phrase en dur dans le code. J’ai décidé d’utiliser le module requests, qui semble permettre de faire ce que je veux. Je me suis renseigné un peu auprès du créateur du site, et apparement, les phrases sont ajoutées sur l’url https://tatoeba.org/swe/sentences/add_an_other_sentence en méthode POST avec les paramètres suivants :

• selectedLang: ISO code de la langue de la phrase
• value: texte de la phrase

De là, j’ai écrit quelques lignes, ainsi

import requests

sentence = "Je ne sais pas programmer."
tato_url = "https://tatoeba.org/swe/sentences/add_an_other_sentence"
selectedLang="fra"
value=sentence
data={'selectedLang':selectedLang,'value':value}

r=requests.post(url=tato_url,data=data)

En faisant print(r.url), j’obtiens https://tatoeba.org/fra/users/login, que j’interprête comme quoi il faut que j’envoie un cookie.

L’ennui, c’est que je ne suis pas sûr que ce soit le soucis, et que je ne parviens pas à trouver le cookie en question. Il y en a 6, dont un qui s’appelle CakeCookie[User], mais son contenu est une longue chaîne de caractères, mon pseudo ne semble pas y être. Une fois trouvé, j’imagine qu’il me suffira d’ajouter/modifier ces lignes.

cookies=dict(MyUsername="Username",MyPassword="password")
r=requests.post(url=tato_url,data=data,cookies=cookies)

Mes questions:

1. Est-ce que je me trompe du tout au tout ?
2. Comment faire pour le cookie ?
3. Y a-t-il une manière plus simpe ou plus pythonesque de faire ?
4. Aurais-je du poster dans le forum de dev web ?

Merci !

Merci, c’est exactement le type de réponse qui m’aide.

J’ai donc été lire un peu la doc sur requests.Session(), et même si tout n’est pas clair pour moi, je crois comprendre le principe.

Ensuite, j’ai regardé le code source de la page de login. Déjà, il semblerait que le formulaire renvoie vers une autre page action="/fra/users/check_login". C’est sur celle-là qu’il faut que j’envoie mes infos?

Le second point, c’est que je ne trouve pas le nom des variables que je dois envoyer. Si je regarde le code des champs, ça donne

<input name="data[User][username]" maxlength="20" type="text" id="UserUsername" required="required" class="md-input">

Normalement, si j’ai tout suivi, c’est ce name qui est envoyé. Mais là, ça ne semble pas être une variable classique. Qu’est-ce ? Et comment puis-je l’utiliser dans mon petit script ?

Merci !

Encore une fois merci pour la réponse. Je n’avais pas du tout vu l’input caché, merci.

Maintenant, j’arrive à faire ma requête pour récupérer la clé, pas de soucis, mais ça ne marche toujours pas. Je copie mon code en dessous (password a bien entendu été changé, mais il est correct dans le script, vérifié).

import requests

#Phrase à insérer
sentence = "Un réacteur nucléaire produit autant d'énergie que plus de mille éoliennes."

#Différentes url utiles
login_url = "https://tatoeba.org/fra/users/login"
check_login_url = "https://tatoeba.org/fra/users/check_login"
add_sentence_url ="https://tatoeba.org/fra/sentences/add_an_other_sentence/"

#Arguments pour ajouter une phrase
selectedLang="fra"
value=sentence
data={'selectedLang':selectedLang,'value':value}

#Création de ma session
s=requests.Session()

#Récupération de la page pour pouvoir en extraire la clé cachée.
r0=s.get(url=login_url)

#Ça semble marcher, mais peut-être pas du tout pythonique. Je prends les conseils.
for line in r0.text.split("\n"):
    if (line.find("hidden")!=-1 and line.find("UserLoginForm")!=-1):
        hiddenkeyin=line
for attribute in hiddenkeyin.split():
    if "value" in attribute:
        key=attribute[7:-1]

#Création de l'argument pour se connecter
connexion={'data[User][username]':"Rockaround",'data[User][password]':"password",'data[_Token][key]':key}

#quelques tests
r1=s.post(url=check_login_url,data=connexion)
r2=s.post(url=login_url,data=connexion)
r=s.post(url=add_sentence_url,data=data)

r1 et r2 retourne une erreur 400.

r retourne un code 200, mais avec une redirection vers la page de login.

Il semblerait donc que je me trompe toujours. Ai-je bien géré les data[User][username] ? Se pourrait-il que la clé cachée ait changée entre mon GET et mon POST ?

En tout cas, j’aime bien ta manière de répondre : elle aide, mais elle me laisse réfléchir et (avec du bol) progresser. Là par exemple, j’ai mis un bon moment à comprendre que je ne pouvais pas récupérer la clé cachée dans le code source et l’inscrire en dur dans le script. Par contre, je ne suis pas sûr de voir l’intérêt de cette clé, si on peut de toute façon la récupérer.

Édit : c’est résolu ! Voir plus bas. Merci !

Merci pour la réponse.

Es-tu sûr

Ça semble ok. En dessous, hiddenkeyin

<form action="/fra/users/check_login" id="UserLoginForm" method="post" accept-charset="utf-8"><div style="display:none;"><input type="hidden" name="_method" value="POST"/><input type="hidden" name="data[_Token][key]" value="1ab777751d5c524c9f85230338119dc06be0258e9493a890dd940b0195c07549606ebddda67f8caa7d92dab6c5011b7b22f7b4126bcc57526b1932287c44733d" id="Token1963811480"/></div><div md-whiteframe="1" id="login-form">

Et ici, key

1ab777751d5c524c9f85230338119dc06be0258e9493a890dd940b0195c07549606ebddda67f8caa7d92dab6c5011b7b22f7b4126bcc57526b1932287c44733d

Donc d’après l’explication wikipedia, cette clé reste valide quelques minutes. La question que je me pose est donc si elle change entre ma requête GET pour l’isoler, et ma requête POST qui l’envoie. Je suis tenté de dire que oui, et que c’est le soucis, mais je n’en sais rien.

Pour BeautifulSoup, c’est bon à savoir, mais puisque j’essaie d’apprendre, je vais me concentrer sur requests pour l’instant. Déjà que mon python de base est pas génial… Mais merci pour l’information !

Et merci encore pour l’aide.

Édit : J’ai réussi ! En gros, il fallait que je mette tous les inputs, même ceux a priori inutiles (rememberMe) et les deux cachés. Ça donne (sans commentaires cette fois, c’est presque le même code)

import requests

sentence = "Un réacteur nucléaire produit autant d'énergie que plus de mille éoliennes."

login_url = "https://tatoeba.org/swe/users/login"
check_login_url = "https://tatoeba.org/swe/users/check_login"
add_sentence_url ="https://tatoeba.org/swe/sentences/add_an_other_sentence/"
selectedLang="fra"
value=sentence
data={'selectedLang':selectedLang,'value':value}

s=requests.Session()

r0=s.get(url=login_url)

for line in r0.text.split("\n"):
    if (line.find("hidden")!=-1 and line.find("UserLoginForm")!=-1):
        hiddenkeyin=line
    if (line.find("hidden")!=-1 and line.find("TokenFields")!=-1):
        Tokenline=line
for attribute in hiddenkeyin.split():
    if "value" in attribute:
        key=attribute[7:-1]
for attribute in Tokenline.split():
    if "value" in attribute:
        token=attribute[7:-1]
        break

connexion={'data[User][username]':"Rockaround",'data[User][password]':"password",'data[_Token][key]':key,'data[User][rememberMe]':"0",'data[_Token][fields]':token,'data[_Token][unlocked]':''}

r1=s.post(url=check_login_url,data=connexion)
r=s.post(url=add_sentence_url,data=data)

print(r1.url)
print(r1)
print(r.url)
print(r)

Un très gros merci pour l’aide. J’aurais pu chercher très longtemps sinon.

@Situphen, j’ai édité pendant que tu écrivais. Le problème venait bien des inputs manquants (bizarrement, pas _method). Il m’en manquait trois: rememberMe, et deux autres cachés (dont un vide). Mais ça marche maintenant, merci !