PyTorch 2.0 é lançado com melhor desempenho de CPU e GPU.

PyTorch 2.0 é lançado com otimização para CPU e GPU

PyTorch é uma estrutura de aprendizado de máquina baseada na biblioteca Torch, usada para aplicativos como visão computacional e processamento de linguagem natural, originalmente desenvolvida pela Meta AI e agora parte do guarda-chuva da Linux Foundation. Wikipedia.

 

O anuncio foi feito em 15 de Março de 2023

"Temos o prazer de anunciar o lançamento do PyTorch® 2.0, que destacamos durante a Conferência PyTorch em 02/12/22! O PyTorch 2.0 oferece o mesmo desenvolvimento de modo avançado e experiência do usuário, ao mesmo tempo em que altera e sobrecarrega fundamentalmente como o PyTorch opera no nível do compilador sob o capô com desempenho mais rápido e suporte para formas dinâmicas e distribuídas."

Destaques

• arch.compile é a API principal do PyTorch 2.0, que envolve seu modelo e retorna um modelo compilado. É um recurso totalmente aditivo (e opcional) e, portanto, 2.0 é 100% compatível com versões anteriores por definição.

• Como uma tecnologia de base do arch.compile, o TorchInductor com GPUs Nvidia e AMD contará com o compilador de aprendizado profundo OpenAI Triton para gerar código de alto desempenho e ocultar detalhes de hardware de baixo nível. Os kernels gerados pelo OpenAI Triton alcançam desempenho comparável aos kernels escritos à mão e bibliotecas cuda especializadas, como cublas.

• Accelerated Transformers introduz suporte de alto desempenho para treinamento e inferência usando uma arquitetura de kernel personalizada para atenção de produto ponto escalado (SPDA). A API é integrada com o arch.compile() e os desenvolvedores de modelo também podem usar os núcleos de atenção do produto escalado diretamente chamando o novo operador scaled_dot_product_attention().

• O back-end Metal Performance Shaders (MPS) fornece treinamento PyTorch acelerado por GPU em plataformas Mac com suporte adicional para as 60 operações mais usadas, trazendo cobertura para mais de 300 operadores.

• Amazon AWS otimiza a inferência de CPU PyTorch em instâncias C7g baseadas em AWS Graviton3. O PyTorch 2.0 melhora o desempenho de inferência no Graviton em comparação com as versões anteriores, incluindo melhorias para Resnet50 e Bert.

• Novos recursos e tecnologias de protótipo em TensorParallel, Dtensor, paralelo 2D, TorchDynamo, AOTAutograd, PrimTorch e TorchInductor.