Os principais usuários e os benchmarks padrão do setor concordam: as GPUs NVIDIA H100 Tensor Core oferecem o melhor desempenho de IA, especialmente nos grandes modelos de linguagem (LLMs) que alimentam a IA generativa.
As GPUs H100 estabeleceram novos recordes em todos os oito testes nos últimos benchmarks de treinamento MLPerf lançados, destacando-se em um novo teste MLPerf para IA generativa. Essa excelência é fornecida por acelerador e em escala em servidores massivos.
Por exemplo, em um cluster comercialmente disponível de 3.584 GPUs H100 co-desenvolvido pela startup Inflection AI e operados pela CoreWeave, um provedor de serviços em nuvem especializado em cargas de trabalho aceleradas por GPU, o sistema concluiu o enorme benchmark de treinamento baseado em GPT-3 em menos de onze minutos.
“Nossos clientes estão construindo IA generativa e LLMs de última geração em escala, graças a nossas milhares GPUs H100 em redes InfiniBand rápidas e de baixa latência”, diz Brian Venturo, cofundador e CTO da CoreWeave. “Nossa submissão MLPerf conjunta com a NVIDIA demonstra claramente o excelente desempenho que nossos clientes desfrutam.”
Desempenho superior disponível
A Inflection AI aproveitou esse desempenho para construir o LLM avançado por trás de sua primeira IA pessoal, Pi, que significa inteligência pessoal. A empresa atuará como um estúdio de IA criando IAs pessoais com as quais os usuários poderão interagir de maneira simples e natural.
“Qualquer um pode experimentar o poder de uma IA pessoal com base em nosso grande modelo de linguagem de última geração que foi treinado na poderosa rede de GPUs H100 da CoreWeave”, afirma Mustafa Suleyman, CEO da Inflection AI.
Cofundada no início de 2022 por Mustafa e Karén Simonyan da DeepMind e Reid Hoffman, a Inflection AI visa trabalhar com a CoreWeave para construir um dos maiores clusters de computação do mundo usando GPUs NVIDIA.
Comparativo de dados
Essas experiências do usuário refletem o desempenho demonstrado nos benchmarks MLPerf anunciados.
As GPUs H100 ofereceram o mais alto desempenho em todos os benchmarks, incluindo grandes modelos de linguagem, recomendações, visão computacional, imagens médicas e reconhecimento de fala. Eles foram os únicos chips a executar todos os oito testes, demonstrando a versatilidade da plataforma NVIDIA AI.
Excelência em execução em escala
O treinamento geralmente é um trabalho executado em escala por muitas GPUs trabalhando em conjunto. Em cada teste MLPerf, as GPUs H100 estabelecem novos recordes de desempenho em escala para treinamento de IA.
As otimizações em todo o conjunto completo de tecnologias permitiram o dimensionamento de desempenho quase linear no exigente teste LLM, à medida que os envios foram escalados de centenas para milhares de GPUs H100.
“Ficamos muito felizes em anunciar que as GPUs H100 estabeleceram consistentemente novos recordes de desempenho em escala para treinamento de IA, o que evidencia sua excelência na execução em larga escala”, reforça Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Além disso, o CoreWeave forneceu da nuvem desempenho semelhante ao que a NVIDIA obteve de um supercomputador de IA executado em um data center local. Isso é uma prova da rede de baixa latência da rede NVIDIA Quantum-2 InfiniBand que o CoreWeave usa.
Nesta rodada, o MLPerf também atualizou seu benchmark para sistemas de recomendação.
O novo teste usa um conjunto de dados maior e um modelo de IA mais moderno para refletir melhor os desafios que os provedores de serviços em nuvem enfrentam. A NVIDIA foi a única empresa a apresentar resultados no benchmark aprimorado.
Um ecossistema de IA da NVIDIA em expansão
Quase uma dúzia de empresas apresentaram resultados na plataforma NVIDIA nesta rodada. O trabalho deles mostra que a NVIDIA AI é apoiada pelo ecossistema mais amplo do setor em machine learning.
As inscrições vieram dos principais fabricantes de sistemas que incluem ASUS, Dell Technologies, GIGABYTE, Lenovo e QCT. Mais de 30 envios foram executados em GPUs H100.
Esse nível de participação permite que os usuários saibam que podem obter um ótimo desempenho com a NVIDIA AI tanto na nuvem quanto em servidores executados em seus próprios data centers.
Desempenho em todas as cargas de trabalho
Os parceiros do ecossistema NVIDIA participam do MLPerf porque sabem que é uma ferramenta valiosa para clientes que avaliam plataformas e fornecedores de IA.
Os benchmarks abrangem as cargas de trabalho com as quais os usuários se preocupam – visão computacional, tradução e aprendizado por reforço, além de IA generativa e sistemas de recomendação.
Os usuários podem confiar nos resultados do MLPerf para tomar decisões de compra informadas, pois os testes são transparentes e objetivos. Os benchmarks contam com o apoio de um amplo grupo que inclui Arm, Baidu, Facebook AI, Google, Harvard, Intel, Microsoft, Stanford e a Universidade de Toronto.
Os resultados do MLPerf estão disponíveis nas plataformas H100, L4 e NVIDIA Jetson em treinamento de IA, inferência e benchmarks de HPC. Os envios em sistemas NVIDIA Grace Hopper serão realizados em futuras rodadas de MLPerf.
A importância da eficiência energética
À medida que os requisitos de desempenho da IA aumentam, é essencial expandir a eficiência de como esse desempenho é alcançado. É isso que a computação acelerada faz.
Data centers acelerados com GPUs NVIDIA usam menos nós de servidor, e consequentemente, menos espaço de rack e energia. Além disso, a rede acelerada aumenta a eficiência e o desempenho, e as otimizações contínuas de software trazem ganhos de fator x no mesmo hardware.
O desempenho com eficiência energética também é bom para o planeta e para os negócios. O aumento do desempenho pode acelerar o tempo de lançamento no mercado e permitir que as organizações criem aplicações mais avançadas.
A eficiência energética também reduz os custos porque os data centers acelerados com GPUs NVIDIA usam menos nós de servidor. A NVIDIA alimenta 22 dos 30 principais supercomputadores da última lista Green500.
Software disponível para todos
NVIDIA AI Enterprise, a camada de software da plataforma NVIDIA AI, permite desempenho otimizado na principal infraestrutura de computação acelerada. O software vem com suporte, segurança e confiabilidade de nível empresarial necessários para executar a IA no data center corporativo.
Todo o software usado para esses testes está disponível no repositório MLPerf, portanto, praticamente qualquer pessoa pode obter esses resultados de classe mundial.
As otimizações são continuamente agrupadas em contêineres disponíveis no NGC, o catálogo da NVIDIA para software acelerado por GPU.
