Si la energía ya era un problema en la era de los chatbots de IA, un estudio apunta a que con los agentes la cosa se pondrá aún más tensa
Si la energía ya era un problema en la era de los chatbots de IA, un estudio apunta a que con los agentes la cosa se pondrá aún más tensa
Durante un tiempo, una de las polémicas alrededor del consumo de la inteligencia artificial tenía que ver con el agua. Tiempo después supimos que los cálculos (aún consumiendo una burrada) no eran acertados y empezamos a mirar a algo tan preocupante: la tremenda cantidad de energía que necesitan los centros de datos, y la IA, para funcionar. Es algo que está poniendo en peligro la integridad energética de algunos países, pero a medida que la IA se acerca a la adolescencia y a la etapa agéntica, entraremos en una nueva fase.
La de un consumo multiplicado de forma obscena.
En corto. El Instituto Avanzado de Ciencia y Tecnología de Corea, o KAIST, ha realizado un estudio en el que ha cuantificado el costo energético de los agentes de IA. A diferencia de un chatbot, que es un sistema al que realizamos una petición, nos da un resultado y se terminó, un agente es una cadena de funcionamiento en el que el software realiza diferentes acciones de forma autónoma. Eso, evidentemente, implica que el hardware que está moviendo ese software está más tiempo haciendo cosas
En el estudio, midieron el consumo energético tanto de chatbots como de agentes y la conclusión es que, utilizando un modelo de lenguaje de gran escala comparable a los servicios comerciales actuales de IA, una sola petición compleja a un agente consumía 348,41 Wh de electricidad. Dependiendo del agente y el modelo que use, también consumirán más o menos. Por ejemplo, un framewoprk llamado LATS utilizó 62,1 veces más energía en pruebas respecto a un chatbot de IA, mientras que uno sobre el modelo Llama-3.1 Instruct 70B de Meta consumió el pico de 136,5 veces más por consulta.
GPUs a la espera (y consumiendo). Hay otra clave, y es el tiempo. Esas consultas consumen más energía porque entran más recursos en escena y han estimado que los agentes tardan hasta 153,7 veces más que los chatbots convencionales en procesar las respuestas. Durante ese tiempo, las GPU permanecen inactivas más de la mitad del tiempo, pero siguen consumiendo electricidad.
No están a pleno rendimiento, pero sí "en guardia" esperando la respuesta de herramientas externas y de sitios web para, cuando llega esa respuesta, ponerse a procesar los datos y realizar la acción correspondiente. Esto de las GPU paradas no es nuevo y hace unas semanas se apuntó que la inmensa mayoría de los equipos que habían comprado los hiperescaladores estaban sin hacer nada la mayor parte del tiempo.
La red eléctrica. Y el problema es la proyección. Actualmente, esta tecnología se encuentra en la era de los chatbots, pero la industria se está moviendo hacia los agentes. Ahora mismo se están fabricando plataformas como Vera Rubin de Nvidia justo para eso, y cuando entren en juego, la proyección del estudio es que la demanda de energía alcance un equivalente a la mitad del consumo eléctrico de todo Estados Unidos.
Se estima que, en 2023, los centros de datos estadounidenses "apenas" consumieron el 4,4% del total nacional y se duplicará para 2030, pero las estimaciones de KAIST superan, ampliamente, las previsiones anteriores.
Rediseño. Mientras esos centros de datos siguen creciendo, la red eléctrica no puede decir lo mismo. Las renovables no bastan para saciar la voracidad de la IA y hay que recurrir a las nucleares, al gas y hasta al carbón y, en Europa, ya estamos viendo reacciones de algunos países que, o alejan los nuevos centros de datos de sus grandes ciudades, o directamente los rechazan. ¿El motivo? Redes saturadas y centros de datos que tendrían una demanda mayor a la de la propia población, generando problemas en la infraestructura energética.
No tiene pinta de que los hiperescaladores atiendan a estas cuestiones porque, como el propio Jensen Huang, CEO de Nvidia, apuntó hace un tiempo, queda más de un lustro de inversión salvaje en infraestructura para IA, pero desde el estudio surcoreano se comentó que una solución a la demanda energética vendría de un rediseño de toda la red. Desde los microchips hasta los modelos de IA y la propia infraestructura eléctrica de los centros de datos.
Como si eso fuera sencillo, y más ahora que las Big Tech están en la carrera por desplegar los agentes de IA en aplicaciones tanto empresariales como de consumo. Veremos si la red eléctrica puede seguir ese ritmo.
En Xataka | Hablar de inteligencia artificial es hablar de energía, y el término de moda es 'bragawatts'
