Est-ce possibel de se faire un gros calculateur

Oui.. Les reseaux de neurones c'est long a calculer

L'auteur de ce sujet a trouvé une solution à son problème.
Auteur du sujet

Bonjour a tous, depuis que je me suis mis a devoir faire des calculs long qui monopolisent mon ordi une question trotte entre mes neurones !

Serait-il possible de se faire quelque chose a l'image des super-ordinateur ?

Mon but est surtout d'exploiter plusieurs ordinateurs qui sont inutilisables car trop vieux pour en faire des grosses calculatrices. J'utilisirais essentiellement leur gpu. Le but principal est d'avoir une puissance correct de calcul, mais surtout de ne bloquer aucun ordinateur utile. J'espere que je me suis bien exprimé !

Cette question est d'ordre general, si il y a des specificité en fonctions des ordis, je verrais ca plus tard

+0 -0
Auteur du sujet

Mmh.. J'avoue ne pas etre sur qu'ils soient vraiment parralelisable, mais avec des traitement en batch plus gros ca le fait quand meme !

Merci beaucoup pour vos reponses !

Du coup d'un point de vue logiciel, il me suffit d'avoir une lib intelligente ? Ou un truc qui reparti les calculs ? Vous avez des noms ? :)

+0 -0
Staff

Cette réponse a aidé l'auteur du sujet

Un truc pratique aussi, c'est d'utiliser un gestionnaire style TORQUE pour soumettre les jobs. Tu peux même te connecter en SSH sur ton cluster et lancer des calculs et voir où ils en sont depuis n'importe où.

I don't mind that you think slowly, but I do mind that you are publishing faster. – W. Pauli

+0 -0
Staff

Je dirais comme adr1, sauf que je mettrais YARN à la place de TORQUE, parce que YARN est beaucoup plus répandu que TORQUE. Après t'écris tes trucs en python/scala/java, et tu les distribues en deux temps trois mouvements avec apache spark. Sensations garanties.

Je parle de JavaScript et d'autres trucs sur mon blog : https://draft.li/blog

+2 -0
Vous devez être connecté pour pouvoir poster un message.
Connexion

Pas encore inscrit ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte