Google lança TPU 8tx e TPU 8i Max, chips de IA para dados sensíveis e grandes volumes de contexto

O Google Cloud anunciou nesta segunda-feira (9) dois novos sistemas de chips de inteligência artificial: o TPU 8tx e o TPU 8i Max. Eles se juntam ao TPU 8t e ao TPU 8i, apresentados em abril no Google Cloud Next. Com isso, a empresa passa a ter quatro sistemas TPU de oitava geração em um único ano.

O TPU 8tx foi pensado para empresas e governos que precisam processar informações sensíveis sem expô-las. Ele traz recursos de computação confidencial no próprio hardware, que mantêm protegidos os dados e as informações internas dos modelos enquanto o sistema os usa. Segundo o Google, o chip usa a mesma tecnologia de processamento do TPU 8t, combinada com processadores AMD EPYC de quinta geração e com a rede Boardfly. A empresa diz que essa configuração tem até metade do tempo de resposta do TPU 8t, com impacto quase nulo no desempenho.

A arquitetura também permite adaptar modelos com dados privados, criar versões menores a partir de modelos maiores e treinar agentes sem transferir informações entre diferentes conjuntos de servidores.

O TPU 8i Max reúne dois chips TPU 8i na mesma estrutura física. O resultado é o dobro da capacidade de processamento e de memória em relação ao modelo convencional, além de duas vezes mais componentes de processamento no mesmo espaço de rack. O chip é voltado a aplicações que analisam muita informação de uma só vez, como agentes que examinam bases de código extensas ou horas de vídeo. Segundo o Canaltech, ele também amplia a largura de banda de memória e busca eliminar gargalos nesse ponto.

Amin Vahdat, vice-presidente sênior e diretor de tecnologia de IA e infraestrutura do Google, explicou o motivo dos lançamentos. Segundo ele, com a computação migrando da escala humana para a escala de agentes, as empresas pedem aceleradores capazes de raciocinar sobre janelas de contexto enormes. Ele afirmou ainda que alguns clientes altamente regulamentados pedem recursos de criptografia especializados.

O Google também apresentou ferramentas de software. O TorchTPU, de código aberto, roda aplicações em PyTorch e modelos do Hugging Face nas TPUs sem reescrever o código. O TPU Sync melhora a comunicação entre chips, servidores e armazenamento e, segundo a empresa, pode reduzir em mais de 90% o tempo de transferência de dados reaproveitados pela IA e a espera até o início da resposta. Já o Cloud Pathways está disponível de forma geral no Google Kubernetes Engine e permite coordenar vários conjuntos de TPUs como se fossem uma única máquina.

O Google afirma que quase 100 clientes já usam suas TPUs, entre laboratórios de IA, empresas financeiras, varejistas e universidades. Sobre os modelos anteriores da geração, a empresa diz que o TPU 8t oferece até 2,7 vezes mais desempenho em treinamento e que o TPU 8i tem relação entre preço e desempenho de inferência 80% melhor que a geração anterior. Todos os números são da própria empresa.