Est-ce possibel de se faire un gros calculateur

Bonjour a tous, depuis que je me suis mis a devoir faire des calculs long qui monopolisent mon ordi une question trotte entre mes neurones !

Serait-il possible de se faire quelque chose a l'image des super-ordinateur ?

Mon but est surtout d'exploiter plusieurs ordinateurs qui sont inutilisables car trop vieux pour en faire des grosses calculatrices. J'utilisirais essentiellement leur gpu. Le but principal est d'avoir une puissance correct de calcul, mais surtout de ne bloquer aucun ordinateur utile. J'espere que je me suis bien exprimé !

Cette question est d'ordre general, si il y a des specificité en fonctions des ordis, je verrais ca plus tard

Oui. Plusieurs des libs de deep-learning permettent de facilement distribuer l'apprentissage.

Je parlais plutot d'un point de vue materiel en fait

Comment est-ce qu'on fait ? On met les ordis en reseau et on distribue les calculs via le reseau ?

Et en effet se tourner vers les GPU est ce qu'il y a de plus économique, si tes calculs sont facilement parallélisables c'est la meilleure solution.

Mmh.. J'avoue ne pas etre sur qu'ils soient vraiment parralelisable, mais avec des traitement en batch plus gros ca le fait quand meme !

Merci beaucoup pour vos reponses !

Du coup d'un point de vue logiciel, il me suffit d'avoir une lib intelligente ? Ou un truc qui reparti les calculs ? Vous avez des noms ?

Je dirais comme adr1, sauf que je mettrais YARN à la place de TORQUE, parce que YARN est beaucoup plus répandu que TORQUE. Après t'écris tes trucs en python/scala/java, et tu les distribues en deux temps trois mouvements avec apache spark. Sensations garanties.

Et en Lua c'est possible ?

Si tu peux utiliser le réseau en lua, je pense que c'est possible

Tu utilise torch ? Si oui il serait étonnant qu'il n'y ai pas déjà des modules dédié à l'apprentissage distribué

Ca marche. Eh bien merci beaucoup ! Je vais étudier de plus près comment je vais faire ça