Quel format d'image peut-on utiliser pour la lire de façon distribuée ?

Bonjour à tous,

Je souhaiterais faire usage d’Apache Spark pour lire une image de façon distribuée. Par exemple, chaque noeud de mon cluster se verrait octroyer un groupe de pixels, contigus ou non, et pourrait récupérer le RGB et les coordonnées (x ; y) de chacun d’eux.

@victor m’a dit que ça n’était pas possible avec PNG, et les recherches que j’ai effectuées n’ont rien donné.

Merci d’avance !

Salut,

Quel est l’intérêt ? La plupart des formats de fichier sont nés d’un besoin pratique.

Tu as une image de quelques gigapixels ? Si oui, pourquoi ne fais-tu pas comme tout le monde en la découpant en tuiles plutôt que l’encoder d’un seul coup ? (Je sais que tu parles ici de décoder, pas d’encoder, mais dans ce cas il suffit de demander aux guignolos qui te fournissent un PNG de 100Go de te le donner en tuiles plutôt que d’un coup, ils apprendront peut-être un truc.)

Je te vois créer beaucoup de topics, mais le but de ta question est presque jamais compréhensible :

• https://zestedesavoir.com/forums/sujet/8788/existe-t-il-une-valeur-de-couloeurs-chromatiques-en-javascala/
• https://zestedesavoir.com/forums/sujet/8739/apache-spark-et-scala-parcourir-un-fichier-image/
• https://zestedesavoir.com/forums/sujet/8702/existe-t-il-des-moteurs-de-recherches-scala-utilisant-des-chaines-de-caracteres/

Tu connais le concept de XY Problem ?

Dans le cas présent, je vois ta question un peu comme si tu disais : "Comment feriez-vous pour cuire un gâteau qui fait 1km² ?" Et on te répondrait "Bah, fais des plus petits gâteaux et tu les mets ensemble à la fin", et tu dirais "Non je veux faire un gâteau que je cuis en une pièce d’1km², comment faire ?" C’est quoi le but ? Apprendre à faire un four ? Si oui, apprends à faire un four avant de tenter le plus grand four du monde. En chemin tu risques même de comprendre pourquoi les fours sont pas si grands.

Yop Victor,

En fait j’ai juste écrit un petit programme qui calcule des données de façon distribuée (i.e. : le calcul est distribué) à partir d’une image. Mais la lecture/décodage de cette image est pour l’instant non-distribué. Dans un souci d’uniformité, j’aurais souhaité effectuer cette lecture/décodage de manière distribuée également.

Après effectivement, niveau "rapidité d’exécution", la solution que tu proposes (découper l’image en plusieurs parties et les donner chacune à mon programme en entrée) semble OK.

Non mais je te l’ai déjà dit, tu peux distribuer une bonne partie du décodage PNG, seulement faut implémenter PNG pour ça. Essaie ? C’est un bon exercice !

Je n’ai pas le niveau x)

Mais si, t’es en M2.

Salut,

Si tu est effectivement en M2 (dans un domaine en rapport) du devrais largement avoir le niveau pour ce genre de taches. En M1 ingénieur audiovisuel on avait des TP pour coder des codeur/décodeurs JPEG, analyse et compensation de mouvement sur des séquences d’images. On faisait ça sous Matlab (pour le côté scientifique je suppose ?!), mais on a poussé plus loin dans d’autres cours avec des implémentations en C++ par exemple.

(Je précise que mon message était une blague, j’ai pas poussé les études jusqu’au master, je suis pas français, et je connais pas trop votre système éducatif. C’était une blague en référence à ça : https://zestedesavoir.com/forums/sujet/8739/apache-spark-et-scala-parcourir-un-fichier-image/?page=1#p152273 , ce qui m’amuse étant l’impression d’oscillation entre "tu expliques des choses trop évidentes" et "c’est trop compliqué" que j’ai à la lecture de certains messages. Hors aspect "amusant", mon message était une forme d’encouragement. Je crois fermement que si tu tentes d’implémenter un décodeur PNG jusqu’à ce que tu y parviennes, quand t’y seras parvenu tu auras le niveau pour implémenter un décodeur PNG.)