WisdomTree : Les IA vont-elles consumer toute l’énergie du monde ?

WisdomTree : Sur des questions aussi importantes, rien ne demeure constant.

Inscrivez-vous pour recevoir les Newsletters gratuites de ETFWorld.fr

Par Chris Gannatti, Global Head of Research, WisdomTree

Quand on considère une nouvelle technologie :

• On ne peut présupposer que les taux d’adoption ou d’utilisation vont demeurer constants : ils peuvent baisser, ils peuvent aussi augmenter.
• On ne peut présupposer que la technologie répondant à nos besoins énergétiques va demeurer constante, il pourrait y avoir des progrès en matière d’efficacité ou des changements dans la composition énergétique globale.
• On ne peut présupposer que l’efficacité de la technologie spécifique adoptée va demeurer constante : nous avons observé de nombreux exemples de secteurs pour lesquels la version initiale d’une technologie ou du logiciel s’est ensuite améliorée, pour présenter des capacités optimisées tout en consommant moins d’énergie

Nous devons également reconnaître que l’intelligence artificielle (IA) elle-même pourrait apporter des solutions en matière d’efficacité énergétique pour des applications spécifiques, comme le chauffage et la climatisation d’un bâtiment. Par conséquent, toute analyse de l’utilisation de l’énergie et de l’IA doit comprendre que la seule constante sera le changement.

L’impact environnemental de grands modèles de langage (LLM) spécifiques

Les LLM se taillent la part du lion dans l’effervescence actuelle autour de l’IA générative. Il est logique de considérer la quantité d’émissions de carbone générée par certains de ces systèmes. Le rapport Stanford AI Index, publié en 2023, a fourni des données et a noté que des facteurs tels que le nombre de paramètres dans un modèle, l’indicateur d’efficacité énergétique[1] d’un centre de données et l’intensité carbone du réseau ont tous leur importance.

Les Graphiques 1a et 1b fournissent plus de détail concernant l’intensité de dioxyde de carbone de différents LLM :

• De multiples facteurs déterminent le résultat : dans le Graphique 1a, il est tentant d’observer le « Nombre de paramètres » et de prédire qu’un plus grand nombre de paramètres signifie toujours plus d’émissions. On peut voir que Gopher, à 280 milliards de paramètres, n’avait pas l’équivalent d’émissions de dioxyde de carbone le plus élevé x IEE (cette distinction est revenue à GPT-3).
• GPT-3, bien qu’il ne soit pas le plus grand modèle en termes de nombre de paramètres, a été utilisé avec une intensité de carbone en réseau la plus élevée des modèles montrés et avait la consommation d’énergie la plus importante. Cette situation est certainement propice à des émissions élevées, mais il est intéressant de constater que cela nous force à réfléchir non seulement au nombre de paramètres, mais à la localisation du centre de données où a lieu la formation, à l’intensité de réseau des émissions de carbone du centre de données, et à la consommation d’énergie du modèle.
• Le Graphique 1b est conçu pour prendre une activité relativement abstraite (par exemple l’entraînement d’un LLM) et y lier des émissions de carbone résultant d’activités plus concrètes, par exemple un vol de New York à San Francisco. Cela permet de donner une échelle et de mieux comprendre ce que signifie le fait que « GPT-3 est associé à l’équivalent de l’émission de 502 tonnes de dioxyde de carbone ».

Graphique 1a : L’impact environnemental de modèles spécifiques de machine learning, 2022

Source : Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark, and Raymond Perrault, « The AI Index 2023 Annual Report », AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, avril 2023.

Graphique 1b : L’équivalent des émissions de carbone dioxyde (tonnes) par modèle spécifique de machine learning et exemples de la vie réelle

Source : Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark, and Raymond Perrault, « The AI Index 2023 Annual Report », AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, avril 2023.

Réfléchir à la consommation d’énergie d’un LLM

Les concepteurs de différents LLM disposent de nombreux leviers qu’ils peuvent actionner pour influencer différentes caractéristiques, notamment la consommation d’énergie. Des chercheurs de Google ont proposé une famille de modèles de langage nommée GLaM (Generalist Language Model), qui utilise un « mélange d’experts peu activés ». Bien qu’une discussion complète sur le fonctionnement de ce type d’approche dépasse le cadre de cet article, on peut noter que le plus grand des modèles de GLaM compte 1,2 billion de paramètres. En ne connaissant que ce point de données, on pourrait supposer que ce modèle consomme plus d’énergie que n’importe lequel des modèles présentés dans les figures 1a et 1b.

En réalité, le modèle GLaM avec 1,2 billion de paramètre consomme seulement un tiers de l’énergie nécessaire pour entraîner GPT-3 et nécessite seulement la moitié des flops de calcul pour les opérations d’inférence. Une façon simple d’y réfléchir est de penser que, si le modèle total compte 1,2 billion de paramètres, un jeton d’entrée donné dans le modèle GLaM active seulement un maximum de 95 milliards de paramètres, c’est-à-dire que le modèle entier n’est pas actif pour tous les paramètres. GPT-3, lui, activait tous ses 175 milliards de paramètres à chaque jeton d’entrée[2]. Il est à noter que, même si la mesure des performances des modèles d’IA s’effectue sur plusieurs dimensions, le modèle GLaM est également capable de surpasser le modèle GPT-3 selon de nombreuses mesures[3].

Conclusion

Pour résumer, la conception des modèles est importante, et si les concepteurs de modèles veulent trouver des façons de maintenir la performance en utilisant moins d’énergie, ils disposent de nombreuses options pour ce faire.

[1] L’indicateur d’efficacité énergétique (IEE) est utile dans son évaluation de l’efficacité énergétique des centres de données de façon normée. IEE = (quantité totale d’énergie utilisée par un centre de données informatique) / (énergie délivrée à un équipement informatique). Un IEE plus élevé signifie que le centre de données est moins efficace.

[2] Source : Patterson, David; Gonzalez, Joseph; Hölzle, Urs; Le, Quoc Hung ; Liang, Chen; Munguia, Lluis-Miquel; et al. (2022) : The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink. TechRxiv. Preprint. https://doi.org/10.36227/techrxiv.19139645.v4

[3] Source : Du et al, 1 août 2022.

Source: ETFWorld