Como parte de un plan para construir una nueva generaci\u00f3n de infraestructuras para la Inteligencia Artificial (IA), Meta ha revelado recientemente algunos detalles sobre los avances en este campo, entre ellos un nuevo dise\u00f1o optimizado de centro de datos, as\u00ed como el primer chip de la empresa espec\u00edfico para ejecutar modelos de IA y la segunda fase de un superordenador con 16.000 GPU para la investigaci\u00f3n en IA. Seg\u00fan Meta, estos esfuerzos le permitir\u00e1n desarrollar modelos de IA m\u00e1s grandes y sofisticados y, a continuaci\u00f3n, desplegarlos eficientemente a escala.<\/p>\n\n\n\n
Desde la apertura de su primer centro de datos en 2010, Meta ha ido construyendo una infraestructura global para su familia de aplicaciones. Seg\u00fan la empresa, la IA ha sido una parte importante de estos sistemas durante muchos a\u00f1os, incluyendo elementos como el hardware Big Sur<\/a>, el desarrollo del marco de aprendizaje autom\u00e1tico PyTorch<\/a> y el superordenador<\/a> para la investigaci\u00f3n en IA.<\/p>\n\n\n\n Ahora, el nuevo dise\u00f1o del centro de datos podr\u00e1 trabajar con futuras generaciones de hardware centrado en el entrenamiento y la inferencia de IA. Contar\u00e1 con un dise\u00f1o optimizado capaz de soportar hardware refrigerado por l\u00edquido y una red de IA de alto rendimiento que conectar\u00e1 miles de chips para cl\u00fasteres de entrenamiento de IA. Tambi\u00e9n ser\u00e1 m\u00e1s r\u00e1pido y rentable de construir y complementar\u00e1 otras nuevas piezas de hardware, como el Meta Scalable Video Processor (MSVP<\/a>), la primera soluci\u00f3n ASIC desarrollada internamente por Meta para alimentar cargas de trabajo de v\u00eddeo, un \u00e1rea en constante crecimiento en la empresa.<\/p>\n\n\n\n Por su parte, la pr\u00f3xima generaci\u00f3n del acelerador de formaci\u00f3n e inferencia de Meta (MTIA<\/a>) se compone de los primeros chips aceleradores orientados a las cargas de trabajo de inferencia de IA. Ofrece mayor potencia y eficiencia de c\u00e1lculo que las CPU y est\u00e1 personalizado para las cargas de trabajo internas de Meta. Al adoptar los chips MTIA y las GPU, Meta puede ofrecer mejor rendimiento, menor latencia y m\u00e1s eficiencia.<\/p>\n\n\n\n La primera generaci\u00f3n de MTIA se present\u00f3 en 2020. Ahora, este acelerador de inferencia forma parte de una soluci\u00f3n de pila completa que incluye chip, PyTorch y plantillas de recomendaci\u00f3n. Se fabrica utilizando el proceso de 7 nm de TSMC y funciona a 800 MHz, ofreciendo 102,4 TOPS (teraoperaciones por segundo) con precisi\u00f3n INT8 y 51,2 TFLOPS (teraoperaciones de coma flotante por segundo) con precisi\u00f3n FP16. Tiene una potencia de dise\u00f1o t\u00e9rmico (TDP) de 25 W.<\/p>\n\n\n\n En el campo de los superordenadores, la noticia desvelada por Meta tiene que ver con la segunda fase del RSC<\/a>, que la empresa considera uno de los modelos centrados en IA m\u00e1s r\u00e1pidos del mundo. Est\u00e1 construido para entrenar la pr\u00f3xima generaci\u00f3n de grandes modelos de IA y trabajar con nuevas herramientas de realidad aumentada, sistemas de comprensi\u00f3n de contenidos, tecnolog\u00eda de traducci\u00f3n y mucho m\u00e1s. Cuenta con 16.000 GPU, todas accesibles a trav\u00e9s de la malla de red Clos, que dispone del ancho de banda necesario para dar servicio a cada uno de los 2.000 sistemas de entrenamiento.<\/p>\n\n\n\n El RSC puede alcanzar casi 5 exaflops de potencia de c\u00e1lculo, lo que significa que puede realizar un quintill\u00f3n o un bill\u00f3n de billones de c\u00e1lculos por segundo. Este nivel de rendimiento puede alcanzarse utilizando 2.000 sistemas NVIDIA DGX A100 como nodos de c\u00e1lculo del RSC, un total de 16.000 GPU NVIDIA A100 Tensor Core, conectadas a trav\u00e9s de una malla de redes NVIDIA Quantum InfiniBand de 16 Tb\/s.<\/p>\n\n\n\n Seg\u00fan Meta, algunos proyectos que utilizan CSR ya le est\u00e1n permitiendo acelerar la investigaci\u00f3n en \u00e1reas como LLM (Large Language Model)<\/a>, traducci\u00f3n universal del habla<\/a> y demostraci\u00f3n de teoremas<\/a>. Meta est\u00e1 observando el rendimiento de los primeros proyectos para entender c\u00f3mo gestionar mejor la asignaci\u00f3n de GPU y extraer otras lecciones que ayuden en el futuro desarrollo del superordenador. Ya ha aprendido, por ejemplo, que la asignaci\u00f3n de capacidad puede adoptar un modelo de calidad de servicio din\u00e1mico para reducir la contenci\u00f3n de recursos en las 16.000 GPU. En colaboraci\u00f3n con Penguin Computing, tambi\u00e9n ha mejorado la gesti\u00f3n general del cl\u00faster y ha conseguido mantener la disponibilidad por encima del 95% de forma constante.<\/p>\n\n\n\n Durante la Conferencia Internacional de Supercomputaci\u00f3n (ISC) celebrada en Alemania, Intel dio m\u00e1s detalles sobre un chip de IA cuyo lanzamiento est\u00e1 previsto para 2025. Seg\u00fan Jeff McVeigh, vicepresidente del grupo de supercomputaci\u00f3n de Intel, la plataforma Falcon Shores ya no reunir\u00e1 CPU y GPU en una XPU, argumentando que el mercado hab\u00eda cambiado tanto que ya no ten\u00eda sentido seguir con la integraci\u00f3n. Ahora Falcon Shores ser\u00e1 s\u00f3lo una GPU con 288 gigabytes de memoria y procesamiento en coma flotante de 8 bits.<\/p>\n\n\n\n \u00abCuando las cargas de trabajo son fijas, cuando est\u00e1 muy claro que no van a cambiar dr\u00e1sticamente, la integraci\u00f3n es genial\u00bb, explica McVeigh, afirmando que actualmente las cargas de trabajo de IA y HPC son demasiado din\u00e1micas para que la integraci\u00f3n tenga sentido.<\/p>\n\n\n\n La decisi\u00f3n<\/a> de no seguir adelante con la arquitectura combinada CPU-GPU tiene que ver con el cambio de estrategia de Intel para hacer frente al liderazgo de Nvidia en el mercado de chips de IA, y tambi\u00e9n con el pr\u00f3ximo chip MI300 de AMD<\/a>.<\/p>\n\n\n\nMientras tanto…<\/h2>\n\n\n\n
Mercado de los centros de datos y la IA<\/h2>\n\n\n\n