by 
Oracle Cloud Infrastructure (OCI) mengimplementasikan akselerator AMD Instinct MI300X dengan perangkat lunak terbuka ROCm untuk instans OCI Compute Supercluster terbarunya, BM.GPU.MI300X.8.
Instans baru ini dirancang untuk menangani model AI tingkat lanjut dengan ratusan miliar parameter. OCI Supercluster dapat mendukung hingga 16.384 GPU dalam satu jaringan tunggal, memanfaatkan teknologi sangat cepat yang sama yang digunakan dalam akselerator OCI lainnya.
Baca Juga: icrosoft Azure Jadi Cloud Publik Pertama Pakai AMD Instinct MI200
Instans bare metal OCI baru ini melayani beban kerja AI yang menuntut, termasuk inferensi dan pelatihan model bahasa besar (LLM), yang membutuhkan throughput, kapasitas memori, dan bandwidth yang tinggi. Perusahaan seperti Fireworks AI telah mulai menggunakan instans ini untuk meningkatkan kemampuan inferensi dan pelatihan AI mereka.
“Perangkat lunak terbuka AMD Instinct MI300X dan ROCm terus mendapatkan momentum sebagai solusi tepercaya untuk mendukung beban kerja AI OCI yang paling penting,” kata Andrew Dieckmann, Wakil Presiden Perusahaan dan Manajer Umum Bisnis GPU Pusat Data di AMD, dalam pernyataan tertulis, Kamis, 26 September 2024.
“Seiring solusi ini semakin meluas ke pasar yang semakin intensif AI, kombinasi ini akan menguntungkan pelanggan OCI dengan kinerja tinggi, efisiensi, dan fleksibilitas desain sistem yang lebih besar,” tambahnya.
Baca Juga: Inilah Keunggulan dan Testimoni AMD Instinct MI100
“Kemampuan inferensi akselerator AMD Instinct MI300X menambah pilihan ekstensif instans bare metal berkinerja tinggi milik OCI untuk menghilangkan beban komputasi virtual yang umum digunakan untuk infrastruktur AI,” kata Donald Lu, Wakil Presiden Senior Pengembangan Perangkat Lunak OCI.
AMD Instinct MI300X telah menjalani pengujian dan validasi menyeluruh oleh OCI, yang menunjukkan keefektifannya dalam inferensi dan pelatihan AI, khususnya untuk aplikasi yang sensitif terhadap latensi dan ukuran batch yang lebih besar. Performa ini telah menarik perhatian pengembang model AI, yang menegaskan kemampuan akselerator untuk menangani beberapa beban kerja yang paling berat di industri.
Fireworks AI, perusahaan yang menawarkan platform untuk membangun dan menerapkan AI generatif, memanfaatkan kemampuan instans OCI yang didukung oleh AMD Instinct MI300X. Lin Qiao, CEO Fireworks AI, membahas manfaat yang terlihat dari teknologi ini. “Fireworks AI membantu perusahaan membangun dan menerapkan sistem AI gabungan di berbagai industri dan kasus penggunaan,” kata Qiao.
Baca Juga: Computex 2024: Adu Pesona CEO AMD dan Nvidia dalam Memimpin Inovasi AI
“Jumlah kapasitas memori yang tersedia pada perangkat lunak terbuka AMD Instinct MI300X dan ROCm memungkinkan kami untuk meningkatkan layanan kepada pelanggan kami seiring dengan terus berkembangnya model.”
Penerapan akselerator AMD Instinct MI300X di Supercluster OCI menandai perkembangan signifikan dalam infrastruktur yang tersedia untuk pelatihan dan inferensi AI. Ia menawarkan solusi khusus yang dirancang untuk memenuhi tuntutan tinggi aplikasi AI masa kini, yang memberikan pelanggan OCI peningkatan kinerja dan efektivitas biaya.
by 