Nvidia presenta H200, su nuevo chip de alta gama para entrenar modelos de IA
Jensen Huang, presidente de Nvidia, sosteniendo la CPU con superchip Grace hopper utilizada para la IA generativa en la presentación principal de Supermicro durante Computex 2023.
Walid Berrazeg | Cohete ligero | imágenes falsas
NVIDIA el lunes presentó el H200, una unidad de procesamiento de gráficos diseñada para entrenar e implementar los tipos de modelos de inteligencia artificial que están impulsando el auge de la IA generativa.
La nueva GPU es una actualización del H100, el chip que OpenAI utilizó para entrenar su modelo de lenguaje grande más avanzado, GPT-4. Grandes compañías, Inauguración y gobierno Todas las agencias están compitiendo por un suministro limitado de chips.
Los chips H100 cuestan entre 25.000 y 40.000 dólares, según una estimación de Raymond James, y se necesitan miles de ellos trabajando juntos para crear los modelos más grandes en un proceso llamado «entrenamiento».
El entusiasmo por las GPU con IA de Nvidia ha aumentado sobrealimentado Las acciones de la compañía, que han subido más del 230% en lo que va de 2023. Nvidia espera alrededor de $ 16 mil millones de ingresos para su tercer trimestre fiscal, un 170% más que hace un año.
La mejora clave con el H200 es que incluye 141 GB de memoria «HBM3» de próxima generación que ayudará al chip a realizar «inferencias», o utilizar un modelo grande después de haber sido entrenado para generar texto, imágenes o predicciones.
Nvidia dijo que el H200 generará una producción casi dos veces más rápido que el H100. Esto se basa en una prueba usando meta Llama 2 LLM.
El H200, que se espera que se envíe en el segundo trimestre de 2024, competirá con GPU MI300X de AMD. AMD El chip, similar al H200, tiene memoria adicional respecto a sus predecesores, lo que ayuda a adaptar modelos grandes al hardware para ejecutar inferencias.
Chips Nvidia H200 en un sistema Nvidia HGX de ocho GPU.
NVIDIA
Nvidia dijo que el H200 será compatible con el H100, lo que significa que las empresas de IA que ya están entrenando con el modelo anterior no necesitarán cambiar sus sistemas de servidor o software para usar la nueva versión.
Nvidia dice que estará disponible en configuraciones de servidor de cuatro GPU u ocho GPU en los sistemas completos HGX de la compañía, así como en un chip llamado GH200, que combina la GPU H200 con una Brazo-procesador basado en.
Sin embargo, es posible que el H200 no mantenga la corona del chip Nvidia AI más rápido por mucho tiempo.
Si bien empresas como Nvidia ofrecen muchas configuraciones diferentes de sus chips, los nuevos semiconductores a menudo dan un gran paso adelante aproximadamente cada dos años, cuando los fabricantes pasan a una arquitectura diferente que desbloquea ganancias de rendimiento más significativas que agregar memoria u otras optimizaciones más pequeñas. Tanto el H100 como el H200 se basan en la arquitectura Hopper de Nvidia.
En octubre, Nvidia dijo a los inversores que pasaría de una cadencia de arquitectura de dos años a un patrón de lanzamiento de un año debido a la alta demanda de sus GPU. La empresa mostró una diapositiva que sugiere anunciará y lanzará su chip B100, basado en la próxima arquitectura Blackwell, en 2024.
MIRAR: Creemos firmemente en la tendencia de la IA que llegará el próximo año.
No te pierdas estas historias de CNBC PRO: