En réponse aux nombreux articles que j’ai lu sur le sujet et à une certaine curiosité personnelle, j’ai décidé de faire des recherches sur les émissions de carbone des LLMs. Le texte se veut davantage descriptif que prescriptif et j’aimerais que vous validiez la qualité des sources, la forme du texte et la pertinence générale de l’article. N’hésitez pas à me partager vos commentaires!
J’ai lu un peu en diagonale, et il y a quelques choses qui me posent déjà question :
Es-tu certain de tes 0.63 T eqCO2 pour les GPU ? En faisant le calcul avec les chiffres que tu donnes (et qui sont bien cohérents avec ta première référence) je trouve 625 T, donc un facteur 1000. Ceci dit la conclusion ne devrait pas fondamentalement changer.
Comment justifies-tu la durée de vie de 6 ans et le taux d’utilisation de 85% ? Est-ce que tu as des données ou c’est une hypothèse que tu juges raisonnable ?
Est-ce qu’utiliser le TDP des GPU est vraiment suffisant pour estimer la consommation électrique des serveurs ? Il y a d’autres points de consommation, notamment l’infrastructure réseau et le refroidissement (sans compter les CPU et le stockage). Sur ce point par exemple, une étude sur Grid5000 montre que la consommation en charge des composants "de calcul" n’explique pas toute la consommation.
En effet il y a un facteur de 1000 qui s’est perdu. Probablement une erreur d’unité de ma part.
C’est une valeur qui a été fournie par l’IDRIS pour leur supercluster lors de l’étude de cette source: https://arxiv.org/pdf/2211.02001 .
Tu as raison qu’une ACV robuste analyserait l’ensemble de la consommation des datacenters. Cependant, je n’ai pas pu trouver de données fiables sur l’ensemble de l’infrastructure. J’ai donc préféré simplifier les estimations plutôt que de les rendre davantage approximatives. Pour ce qui est du CPU, stockage et de la RAM, dans le cas de BLOOM:
[…] 22.7% was
consumed by the RAM (207.2 kWh), 2% by the CPU (18.5 kWh) and 75.3% by the GPU (688.38 kWh).
Je l’ai omis, car la majorité de la consommation provient du GPU et c’est le composant sur lequel je me suis concentré (en posant A100 comme le GPU utilisé) durant l’ensemble de l’article. Ceci dit, je devrais probablement ajouter la RAM, car j’ai un 23% en angle mort.
Salut, sujet intéressant. Une surprise sur les nombres :
Niveau émission de fabrication, tu indiques 25 kg (de CO2eq) par GPU selon ta source (1) et 2500 kg par serveur selon ta source (2). Ça fait 8×25=200 kg pour les GPU d’un serveur versus 2500kg.
Le rapport émission des GPU sur émission du reste me parait peu élevé pour des machines spécifiques à cet usage. Ça fait uniquement 8×25+25008×25=2700200≈7.4%
La source (1) ne donne pas de valeur pour l'embodied carbon des super-ordinateurs (je n’ai vu que des graphes qui donnent une distribution du footprint global par type de produit, mais ils n’expliquent pas leur calcul). Franchement, de ce que j’ai vu, ça ressemble à du calcul à la louche qui n’est pas justifié.
Scope 1 covers emissions from sources that an organisation owns or controls directly – for example from burning fuel in our fleet of vehicles (if they’re not electrically-powered).
Il semblerait même envisageable d’utiliser le scope 3 (inclut les émissions des sous-traitants), qui est 253 fois le scope 1. La logique est : si Nvidia vendait 0 GPU (ie Nvidia n’existait pas), alors l’intégralité de leurs émissions serait nulle, ainsi que celle de leurs sous-traitants ; on peut donc distribuer ces émissions ~linéairement à chaque GPU.
On est à 3/6 ordres de grandeur de l’estimation de ta source (1). Il y a sûrement un juste milieu.
Bref, les nombres d’émissions liés à la fabrication me semblent étrangement bas et je n’ai pas de solution pour avoir des nombres fiables.
Connectez-vous pour pouvoir poster un message.
Connexion
Pas encore membre ?
Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte
