Teknologi – Intel memamerkan akselerator AI terbarunya yang bernama Gaudi 3, yabg diklaim punya performa 50% lebih baik dibanding Nvidia H100. Gaudi 3 dipamerkan di konferensi Vision 2024 yang digelar di Phoenix, Arizona, Amerika Serikat, setelah sebelumnya pernah diungkap di acara Intel AI Everywhere pada Desember 2023 lalu. Saat itu CEO Intel Pat Gelsinger menggadang Gaudi 3 bakal menjadi rival berat untuk chip AI Nvidia dan AMD. Gaudi 3 adalah penerus Gaudi 2, terbuat dari dua chip TSMC 5nm dan dilengkapi 64 core Tensor generasi ke-5.
Kapasitas memori HBM2e-nya mencapai 128GB dengan kecepatan 3,7Gbps dan bandwidth 3,7 TB per detik. Peningkatannya dibanding Gaudi 2 cukup signifikan, karena chip generasi sebelunnya itu cuma punya 24 core Tensor, memori HBM2e 96GB dengan kecepatan 3,27Gbps, dan bandwidth 2,45TB per detik. Gaudi 3 juga tersedia dalam varian SRAM 96GB dan bandwidth 12,8TB per detik.
Spek penting lainnya adalah VRAM berkapasitas 128GB, kemampuan komputasi 1,835 TFLOPS FP8 dan BF16 matrix, serta konsumsi daya sebesar 900 watt. Sebagai perbandingan, Gaudi 2 punya VRAM 96GB, dan punya 835 TFLOPS di FP8 Matrix, 432 TFLOPS di BF16 Matrix, dan konsumsi dayanya hanya 600W. Sebagai tambahan, Gaudi 3 juga dilengkapi 24 port Ethernet 200Gb agar lebih felksibel dan mendukung standar jaringan terbuka. Tersedia juga dukungan PCIe untuk berbagai kebutuhan, termasuk retrieval-augmented generation (RAG).
Menurut Intel, Gaudi 3 ini punya kemampuan komputasi AI 4x lebih kencang di BF16, bandiwidth memori 1,5x lebih tinggi, dan bandwidth jaringan 2x lebih tinggi dibanding pendahulunya, cocok untuk keperluan “melatih” generative AI (GenAI). Sementara itu jika dibandingkan dengan Nvidia H100 FOR4D, Intel mengklaim chip AI terbarunya ini 50% lebih kencang saat dipakai untuk komputasi Llama2 7B dan 13B, begitu juga untuk model parameter GPT-3 175B. Selain lebih kencang, konsumsi dayanya pun 40% lebih efisien dalam parameter yang sama.
Saat ini sampel chip Gaudi 3 sudah mulai dikirimkan untuk mitra Intel, dan produksi massalnya dijadwalkan akan dimulai pada pertengahan kedua tahun ini. Gaudi 3 dengan pendingin udara mulai dikapalkan pada Q3 2024, sementara varian dengan pendingin air baru mulai tersedia pada Q4 2024.