Berapa Biaya Menjalankan AI di Perangkat Keras Sendiri?

Para pemilik bisnis terus menanyakan hal yang sama kepada kami: data kami sensitif dan tagihan penggunaan naik setiap bulan, jadi bisakah kami menjalankan modelnya sendiri alih-alih bergantung pada layanan eksternal?

Jawaban yang jujur dimulai dengan sebuah koreksi: bobot Claude dan GPT tidak dipublikasikan, sehingga tidak ada yang menjalankannya sendiri apa pun perangkat kerasnya. Yang benar-benar bisa Anda jalankan adalah model open-weight yang kini mencapai 200 miliar parameter atau lebih, dan pada banyak tugas praktis mendekati apa yang diberikan layanan berbayar: merangkum dokumen, menjawab pertanyaan tentang data Anda sendiri, menulis kode, menerjemahkan. Kesenjangannya menyempit setiap beberapa bulan.

Jadi pertanyaan sebenarnya bukan apakah itu mungkin, melainkan berapa banyak parameter yang dapat ditampung mesin Anda. Itu membawa kita ke satu-satunya aturan yang menentukan segalanya.

Aturan penentu: memori sebelum kecepatan

Sebuah model harus muat sepenuhnya di memori agar bisa berjalan. Hitungannya lebih sederhana daripada kelihatannya:

• Pada presisi penuh: dua byte per parameter.
• Pada kuantisasi 8-bit: satu byte per parameter.
• Pada kuantisasi 4-bit: setengah byte per parameter, pilihan praktis untuk sebagian besar penggunaan.

Lalu tambahkan sekitar 20 hingga 30% untuk konteks dan overhead runtime. Hasilnya adalah tabel perkiraan ini, yang bisa Anda gunakan untuk menilai mesin apa pun:

Angka-angka ini sudah mencakup ruang cadangan runtime dan merupakan perkiraan; nilainya sedikit bergeser tergantung metode kuantisasi dan panjang konteks.

Tabel itu saja sudah memangkas sebagian besar perbandingan: lihat kapasitas memori terlebih dahulu, karena itulah yang menentukan apa yang bisa Anda jalankan. Bandwidth dan jenis prosesor menentukan seberapa cepat.

Pilihan yang tersedia saat ini

Apple: Mac Studio baru

Pada 25 Agustus 2026 Apple mengumumkan generasi baru Mac Studio yang dikirim mulai 22 September, dengan konfigurasi 512GB hadir pada akhir Oktober. Saat ini Mac Studio adalah pilihan dengan kapasitas paling lapang:

• M5 Max: CPU 18-core, GPU hingga 40 core dengan Neural Accelerator di setiap core, dan memori terpadu hingga 128GB dengan bandwidth hingga 614GB/s.
• M5 Ultra: CPU hingga 36 core, GPU hingga 80 core, dan memori terpadu hingga 512GB, cukup untuk menjalankan model yang sangat besar sepenuhnya di perangkat.
• Thunderbolt 5 memungkinkan beberapa unit diklaster, mencapai hingga 3x kinerja satu sistem untuk inferensi terdistribusi.

Keunggulan sebenarnya adalah memori yang terpadu antara CPU dan GPU, sehingga Anda tidak memerlukan kartu terpisah dengan memorinya sendiri. Mac Studio hadir dengan dua framework untuk pengembang: Core AI yang baru dan MLX yang open-source.

AMD: Ryzen AI Max+ 395

Prosesor ini hadir di mesin desktop kecil dengan memori terpadu 128GB, menjalankan Windows atau Linux, dan harganya lebih murah daripada pesaing langsungnya dari Nvidia. Ini pilihan praktis bagi siapa pun yang menginginkan 128GB dengan biaya terendah, atau yang timnya lebih suka lingkungan Linux yang sudah dikenal.

Nvidia: DGX Spark

Kotak berukuran kira-kira satu liter yang membawa chip Grace Blackwell dan 128GB, sekaligus produk yang menciptakan kategori ini. Keunggulan terpentingnya bukan spesifikasi, melainkan ekosistem CUDA: sebagian besar perangkat AI dan framework pelatihan ditulis untuknya terlebih dahulu. Jika tim Anda akan melatih atau melakukan fine-tuning model, bukan sekadar menjalankannya, ini pertimbangan yang menentukan.

Jalur tradisional: server dengan GPU diskret

Masih menjadi jawaban yang tepat ketika Anda melayani beberapa pengguna sekaligus. Kartu server memberikan bandwidth jauh lebih tinggi daripada mesin memori terpadu, dan itu terlihat pada permintaan bersamaan, bukan pada ukuran model. Kekurangannya: biaya lebih tinggi, ditambah daya listrik, panas, dan kebisingan yang memerlukan ruangan yang sesuai.

Perbandingan mesin

Harga pasti dan tempat membeli

Kami mengambil harga Apple langsung dari toko resminya di AS dan Arab Saudi pada tanggal artikel ini diterbitkan:

Beli dari toko Apple Arab Saudi atau toko Apple AS. Ini adalah harga awal untuk setiap konfigurasi; memaksimalkan memori akan menaikkannya cukup besar, dan opsi 512GB hadir pada akhir Oktober, bukan saat peluncuran. Perhatikan bahwa harga Arab Saudi sudah termasuk PPN, sedangkan harga AS belum termasuk pajak.

AMD dan Nvidia tidak menjual mesin ini secara langsung dengan satu harga: chip AMD dikirim di dalam perangkat dari berbagai produsen dengan harga sekitar $1.500 hingga $4.000 tergantung produsen dan konfigurasinya, sedangkan DGX Spark diluncurkan di kisaran $4.000 dan harganya di pasaran telah naik. Kami tidak menemukan daftar ritel resmi untuk keduanya di Arab Saudi per tanggal terbit, sehingga membeli berarti melalui distributor atau mengimpor, dan dalam hal itu tambahkan PPN, bea cukai, dan ongkos kirim. Halaman resmi keduanya: NVIDIA DGX Spark dan AMD Ryzen AI Max+ 395.

Model terbuka mana yang dijalankan, dan di mesin apa?

Mesin hanyalah separuh keputusan; separuh lainnya adalah modelnya sendiri. Berikut model open-weight terkemuka yang dapat Anda unduh dan jalankan hari ini, beserta mesin yang dapat menampung masing-masing pada 4-bit dan perkiraan kemampuan praktisnya:

Apa arti persentase kemampuan di sini? Seberapa dekat model itu, dalam pekerjaan bisnis sehari-hari seperti merangkum, menjawab pertanyaan berdasarkan dokumen, menulis kode, dan menerjemahkan, dengan model tertutup berbayar terkuat. Ini adalah perkiraan editorial Origami berdasarkan spesifikasi yang dipublikasikan dan angka yang dilaporkan sendiri oleh para vendor, bukan hasil satu pengujian netral. Alasannya sederhana: setiap laboratorium menerbitkan angkanya dengan perangkat uji dan pengaturan yang berbeda, sehingga saat ini tidak ada satu tolok ukur netral yang memeringkat semua model ini. Anggap ini sebagai panduan, bukan vonis, dan uji model pada tugas Anda sendiri sebelum memutuskan.

Dua catatan yang merangkum seluruh tabel: model yang ditandai "aktif" hanya menggunakan sebagian kecil parameternya per permintaan, sehingga lebih cepat daripada yang dikesankan ukurannya, tetapi tetap membutuhkan memori penuh. Dan selisih antara 72% dan 90% sama sekali tidak terasa dalam sebagian besar pekerjaan kantor, sementara terlihat jelas pada tugas yang panjang dan kompleks. Jangan membayar 512GB untuk keunggulan yang tidak akan pernah Anda rasakan.

Cara memilih secara praktis

• Satu atau dua pengguna? Mesin memori terpadu sudah cukup dan menghemat banyak biaya.
• Tim yang menggunakan sistem secara bersamaan? Anda akan membutuhkan GPU diskret, karena masalahnya kini adalah permintaan bersamaan, bukan ukuran model.
• Pelatihan atau fine-tuning? Condonglah ke CUDA.
• Ingin model sebesar mungkin dengan kerumitan paling sedikit? Kapasitas terbesar saat ini milik Apple.
• Anggaran terbatas? 128GB mencakup model hingga 200 miliar parameter pada 4-bit, yang benar-benar memenuhi sebagian besar kebutuhan perusahaan.

Kompromi yang perlu dipahami sebelum membeli: mesin memori terpadu memberi Anda kapasitas besar dengan bandwidth lebih rendah dibanding kartu server. Mesin ini memuat model besar tanpa masalah, tetapi menghasilkan teks lebih lambat. Untuk chat dan perangkuman Anda hampir tidak akan menyadarinya; untuk pemrosesan batch berat Anda akan menyadarinya.

Kapan server pribadi adalah keputusan yang salah

Kami mengatakannya terus terang karena sering melihatnya: perangkat keras bukan akhir proyek, melainkan awalnya. Anda juga membeli tanggung jawab atas pembaruan, cadangan, pemantauan, dan siapa yang memperbaikinya saat berhenti pada hari Kamis. Jika penggunaan Anda tidak rutin dan kecil, tagihan bulanan layanan eksternal lebih murah daripada mesin, listriknya, dan waktu orang yang mengoperasikannya.

Server pribadi layak mendapat tempatnya ketika tiga hal bertemu: data yang tidak boleh keluar, penggunaan berat yang stabil, dan orang atau pihak yang akan mengoperasikannya. Jika salah satu dari ketiganya tidak ada, hitung ulang.

Pandangan Origami

Menurut kami pertanyaan pentingnya bukan mesin mana yang dibeli, melainkan apa yang akan Anda jalankan di atasnya. Sebagian besar orang yang bertanya kepada kami tentang server pribadi sebenarnya membutuhkan model berukuran sedang yang menjawab pertanyaan tentang dokumen perusahaan mereka, dan model seperti itu berjalan dengan nyaman di 128GB, kadang bahkan lebih sedikit. Membeli 512GB untuk menjalankan model 70 miliar parameter adalah pengeluaran tanpa imbal hasil.

Saran praktis kami: tentukan tugasnya, lalu pilih model yang mengerjakannya, lalu beli mesin yang dapat menampung model itu dengan ruang cadangan. Kami membantu dengan urutan itu: menentukan tugas, memilih model, dan membangun lapisan yang menghubungkannya dengan data dan sistem Anda, karena model yang tidak terhubung dengan data Anda tetap menjadi alat umum, bukan sistem yang melayani perusahaan Anda. Anda dapat menemukan kami di halaman kontak.

Kesimpulan

Anda tidak akan menjalankan Claude sendiri, tetapi Anda akan menjalankan model terbuka yang andal yang mencakup sebagian besar pekerjaan bisnis. Ukur kebutuhan Anda dalam parameter terlebih dahulu: setengah byte per parameter pada 4-bit, ditambah ruang cadangan. Lalu pilih antara memori terpadu, yang memberi kapasitas dengan biaya wajar, dan kartu diskret, yang memberi kecepatan dan kemampuan melayani secara bersamaan. Keputusan terpenting tetap datang sebelum perangkat keras: apa yang akan Anda jalankan, dan mengapa.

Sumber

• Siaran pers Apple, 25 Agustus 2026: spesifikasi Mac Studio dengan M5 Max dan M5 Ultra, kapasitas dan bandwidth memori terpadu, klasterisasi Thunderbolt 5, serta framework Core AI dan MLX.
• Ulasan independen dari StorageReview dan HotHardware tentang AMD Ryzen AI Max+ 395 dan Nvidia DGX Spark, termasuk perbandingan kapasitas dan harganya.
• Perhitungan memori mengikuti aturan standar untuk menjalankan model: dua byte per parameter pada presisi penuh, berkurang seiring kuantisasi.
• Kartu model resmi Hugging Face untuk Qwen3.8, Llama 4, Mistral, gpt-oss, DeepSeek V4, GLM-5.3 dan Kimi K3, sumber jumlah parameter dan lisensi. Persentase kemampuan adalah perkiraan editorial Origami, sebagaimana dijelaskan di atas.