Reconnaître la langue d'un texte

Bonjour,

J’essaye de développer un programme qui détecte la langue d’un texte (uniquement l’anglais, pour l’instant). Je compte faire des statistiques sur l’enchainement des lettres pour pouvoir évaluer la probabilité que le texte étudié soit anglais (ou une autre langue, à l’avenir).

Je me heurte toutefois à un problème assez simple : je ne sais pas où trouver de longs textes en anglais pour constituer mes données statistiques…

Pourriez-vous me donner un tuyau ?

Merci d’avance,

@flopy78

Salut !

Est-ce qu’un export de tous les articles de Wikipédia ferait un bon corpus ? Il y a pas mal d’articles bien longs. Des exports sont disponibles pour toutes les versions linguistiques de Wikipédia et des autres wikis de Wikimédia (Wiktionnaire, WikiNews, Wikiversité…).

il y a aussi le projet Gutenberg

Bonsoir,

Merci pour ces supers idées ! Je devrais pouvoir trouver mon bonheur là dedans.

Bonne soirée,

@flopy78

Est-ce qu’un export de tous les articles de Wikipédia ferait un bon corpus ?

Voir même juste l’ensemble des mots de wiktionnary, ce serait bien plus léger. J’imagine qu’il suffirait de compter la proportion de mot que tu retrouves dans chaque version du dictionnaire ?

on trouve facilement des listes de fréquence en anglais : bigrammes, trigrammes par exemple :
https://fr.sttmedia.com/frequences-de-syllabes-anglais
https://www.apprendre-en-ligne.net/crypto/stat/anglais.html
https://www.bibmath.net/crypto/index.php?action=affiche&quoi=chasseur/frequences_english