Parser HTML Python problème UTF-8

Bonjour, je ne suis absolument pas en train de faire du web mais bon c'est du python et du html

Je suis en train de faire un parser pour extraire du texte d'un fichier html en utilisant la classe HTMLParser. Sauf que quand je lance j'obtient cette erreur :

1

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 

Que dois-je faire ? De ce que j'ai compris c'est un problème d'encodage mais je ne sais pas si c'est le fichier python ou le fichier html. Le texte est en français donc avec des accents et 'ç'

Merci d'avance

Vérifie quel est l'encodage de tes fichiers. Il existe pas mal de moyens de savoir quel est l'encodage d'un fichier, mais théoriquement la commande file devrait suffire (sinon tu peux essayer le module chardet de python).

Bon, en cherchant un peu plus et grâce à la commande file, j'ai réussit grâce à cette explication

Merci

Salut,

Je sais que tu as résolu ton problème, mais je pense que ça peux en aider d'autres (c'était moi il n'y a pas longtemps) :

1
2

with open('foo.txt', encoding='utf-8') as f:
    pass

La partie importante est l'argument encoding.

Sauf si ce n'est pas en utf8, comme c'est justement le cas ici…

J'ai lu en diagonale, c'est de ma faute. Sorry.

Bon, j'ai une nouvelle question D:

Grâce à Victor Hugo je découvre les joies d'encodage foireux. Comme hier je souhaite convertir un fichier en UTF-8 pour le lire en python après sauf que notre cher Hugo a eut la bonne idée de mettre des caractères spéciaux : œ

Bien entendu je n'arrive pas à convertir et j'ai beaucoup de mal à trouver comment faire (malgré une bonne 1/2 h de recherche en anglais). Voici le lien du fichier en question.

Encore merci d'avance !

Je ne saisis pas exactement quelle est la question ? Tu veux convertir quoi en quoi ?

Je veux pouvoir utiliser le fichier html pour ne récupérer que le texte. Quand je le fais avec python3, python me dit qu'il ne peut pas lire le fichier parce qu'il y a un caractère non UTF-8. Du coup je voudrais transformer mon fichier en UTF-8. Sauf qu'à cause de l'E dans l'O, ça ne fonctionne pas.

Je ne connais pas l'encodage du fichier

Du coup je voudrais transformer mon fichier en UTF-8. Sauf qu'à cause de l'E dans l'O, ça ne fonctionne pas.

Je ne connais pas l'encodage du fichier

Ces deux phrases sont contradictoires: tu ne peux pas convertir ton fichier en utf8 tant que tu ne connais pas l'encodage de départ.

Si tu ouvre ton fichier html, il y a cette ligne dans le head (les bons parsers html sont capables de l'exploiter tout seuls) :

1

<meta http-equiv=Content-Type content="text/html; charset=windows-1252">

J'ai aussi testé chardet, mais il se plante :

1
2

yoch@pc1:~/Bureau$ chardetect LES\ CONTEMPLATIONS.html 
LES CONTEMPLATIONS.html: ISO-8859-2 with confidence 0.783891786184

Pour le parser j'utilise celui de python3 donc je suppose qu'il peut être catégorisé de "bon".

Pour les autres fichiers que j'ai récupéré de ce site, faire la conversion avec le ISO-8859 (il me semble) a parfaitement fonctionné.

Du coup si je comprend bien, il faut que j'utilise le format windows-1252 plutôt qu ele ISO ?

Je suis une quiche totale dans toutes ces choses et en plus c'est pas ma tasse de thé ^^.