Appareil pour lire des documents à l'oral

Bonsoir,

Je me demandais si il existait des appareils capables de voir et d'analyser des documents papier avec une caméra et de les lire à l'oral avec de la synthèse vocale ? Ce serait impeccable pour des personnes malvoyantes. J'ai cherché un petit peu sur le web, je n'ai rien trouvé de tel.

Edit : en fait j'en ai trouvé quelques-uns, par exemple ici, mais ça coûte 2000 balles… Je pense qu'on peut faire pareil pour dix fois moins cher, non ? …

Si ça n'existe pas, pensez-vous à des difficultés particulières pour quelqu'un qui voudrait en fabriquer un ? Cela ferait intervenir de l'OCR (Optical Character Recognition), qui semble être bien maîtrisée avec par exemple la librairie tesseract ; et de la synthèse vocale, qui semble aussi être déjà répandue avec par exemple les librairies freeTTS ou festival speech synthesis system.

L'idéal serait de mettre un peu d'intelligence là-dedans pour que la lecture soit ergonomique. Par exemple le programme détecterait les grandes zones du document, et lirait les choses dans l'ordre de leur taille de police, etc. Mais ça ce n'est pas techniquement compliqué, il suffit d'y réfléchir un peu ; si les aspects OCR et synthèse vocale sont gérés ça ne représente plus que 10% à faire !

Bref voilà j'ai eu cette idée, qu'en pensez-vous, avez-vous des suggestions, avez-vous déjà réalisé ou vu un tel appareil, avez-vous des conseils à me donner ? Je prends tout.

Merci pour ta réponse.

J'ai sous-estimé la difficulté de l'OCR, en effet. J'ai regardé ton topic et la clusterisation est une bonne idée, je pense qu'on peut aussi se baser sur la typographie, surtout pour un article de journal : une fois les clusters définis, on les lit dans un ordre qui dépend de leur typographie et de leur position. En fait il faut se demander comment nous humains on fonctionne, quand on voit un article de journal : on lit d'abord le titre, qui généralement est vers le haut et possède la police la plus grande ; puis l'abstract s'il y en a un (ici en-dessous et en italique), puis le texte. Si les clusters sont allongés en hauteur, on les lit de gauche à droite, sinon de haut en bas. Des choses comme ça. Je suis persuadé qu'il est possible de mettre au point un algorithme assez simple et assez tout-terrain quand même.

Au pire moi je vise essentiellement un type de document bien précis : les documents administratifs, type relevés de banque, courriers, etc. En se limitant à un type donné de document on peut probablement simplifier pas mal le problème.

Un problème plus difficile que tu as mentionné c'est si tout le document n'est pas dans le champ de vision, ou si des parties sont masquées, dans l'ombre, ou illisibles. Mais dans un premier temps on peut négliger ce problème et compter sur l'utilisateur pour bien mettre son document entièrement dans le champ. On pourra utiliser par exemple une plaque de dimensions bien définies, par exemple A3, avec des bords qui se repèrent au toucher.

Je me doutais que le plus cher serait la caméra qui doit être de bonne qualité. Tu avais pu déterminer les caractéristiques minimales nécessaires quand tu étais sur ce projet, ou pas ? Genre la focale, le nombre de pixels, …

Yeap, des algos naïfs peuvent marcher. Des techniques autres existent, mais je ne vais pas expliquer ici vu que dans ce cas tu dis avoir un type particulier. Fait tout de même attention, il peut y avoir pas mal de formes de documents administratifs :).

Au final, passons sous silence toute la partie matérielle, j'y reviendrais plus loin. Un truc que tu peux faire sans te poser de question de prix, c'est est-ce que ça marche. Pour ça, tu as au final juste besoin d'un scanner pour avoir tes documents administratifs de qualité optimales ou des photos de tes documents (ce qui s'approche de ta caméra, donc le panel de test est meilleur pour le projet). Ça te donne la possibilité de faire toute la partie logicielle avant "sans probleme" et surtout effectuer pas mal de tests. Tu vas te rendre compte assez vite d'un paramètre qui modifie énormément les résultats : la luminosité. Le mieux c'est d'éviter la projection d'ombre sur le document (la caméra peut avoir un peu de mal à faire le focus, etc) (ça s'évite avec une lampe bien orienté vers le document à coté de ta caméra).

Passons maintenant au matériel. Alors la, c'est surtout une discussion avec toi et l'utilisateur. Perso j'ai fait dans le général, ma liseuse n'est pas censé etre portable (assez imposante), pas autonome (il faut un pc pour la partie soft), boitier de controle multi-handicap (icones clairs, bouttons avec encoche, positionnement du plateau, etc). D'ailleurs il faut que je repense ça entièrement mais bref, pas le sujet. En gros les questions c'est :

• La partie soft, elle est où ? PC/carte spécialisée ?
• Comment on fait l'affichage de sortie ?
• Comment l'utilisateur positionne le doc et comment il règle la machine le mieux possible ?
• Quels controles sont possibles ?
• Document fixe ou on peut le glisser (pratique pour un malvoyant avec zoom)
• etc.

Pour la caméra, elle doit pouvoir faire un focus à moins de 30 cm sans soucis, voir le maximum de document possible de manière lisible. Si elle s'adresse aussi à des malvoyants, le mieux et de pouvoir faire un zoom x24 sans trop de pixelisation (des algos marchent très bien pour refaire du beau texte, ou y a encore la technique de n'afficher que la sortie de l'OCR, donc plus besoin de zoom, c'est fait de manière logicielle, mais disons que c'est pratique). Si la caméra/le document bouge, il faut que le mouvement soit agréable à l'écran. Après ça dépend des besoins :).

Voilà pour avancer un peu.