Berapakah Kos Menjalankan AI pada Perkakasan Sendiri?

Pemilik perniagaan sering bertanya kepada kami soalan yang sama: data kami sensitif dan bil penggunaan meningkat setiap bulan, jadi bolehkah kami menjalankan model itu sendiri dan bukannya bergantung pada perkhidmatan luar?

Jawapan yang jujur bermula dengan satu pembetulan: pemberat Claude dan GPT tidak diterbitkan, jadi tiada sesiapa yang menjalankannya sendiri walau apa pun perkakasannya. Apa yang benar-benar boleh anda jalankan ialah model pemberat terbuka yang hari ini mencecah 200 bilion parameter dan lebih, dan dalam banyak tugas praktikal menghampiri apa yang diberikan oleh perkhidmatan berbayar: meringkaskan dokumen, menjawab soalan tentang data anda sendiri, menulis kod, menterjemah. Jurangnya mengecil setiap beberapa bulan.

Jadi persoalan sebenar bukanlah sama ada ia mungkin, tetapi berapa banyak parameter yang boleh dimuatkan oleh mesin anda. Itu membawa kepada satu-satunya peraturan yang menentukan segala-galanya.

Peraturan penentu: memori sebelum kelajuan

Sesuatu model mesti muat sepenuhnya dalam memori untuk berjalan. Kiraannya lebih mudah daripada yang disangka:

• Pada ketepatan penuh: dua bait bagi setiap parameter.
• Pada pengkuantuman 8-bit: satu bait bagi setiap parameter.
• Pada pengkuantuman 4-bit: setengah bait bagi setiap parameter, pilihan praktikal untuk kebanyakan kegunaan.

Kemudian tambah kira-kira 20 hingga 30% untuk konteks dan overhed masa jalan. Hasilnya ialah jadual anggaran ini, yang boleh anda gunakan untuk menilai mana-mana mesin:

Angka-angka ini termasuk ruang lebihan masa jalan dan merupakan anggaran; ia berubah sedikit mengikut kaedah pengkuantuman dan panjang konteks.

Jadual itu sahaja memendekkan kebanyakan perbandingan: lihat kapasiti memori dahulu, kerana ia menentukan apa yang boleh anda jalankan. Lebar jalur dan jenis pemproses menentukan betapa pantas.

Pilihan yang tersedia hari ini

Apple: Mac Studio baharu

Pada 25 Ogos 2026 Apple mengumumkan generasi baharu Mac Studio yang dihantar mulai 22 September, dengan konfigurasi 512GB tiba pada akhir Oktober. Ia kini pilihan yang paling luas dari segi kapasiti:

• M5 Max: CPU 18 teras, GPU sehingga 40 teras dengan Neural Accelerator terbina dalam setiap teras, dan memori bersatu sehingga 128GB pada lebar jalur sehingga 614GB/s.
• M5 Ultra: CPU sehingga 36 teras, GPU sehingga 80 teras, dan memori bersatu sehingga 512GB, cukup untuk menjalankan model yang sangat besar sepenuhnya pada peranti.
• Thunderbolt 5 membolehkan beberapa unit dikelompokkan, mencapai sehingga 3x prestasi satu sistem untuk inferens teragih.

Kelebihan sebenarnya ialah memori dikongsi antara CPU dan GPU, jadi anda tidak memerlukan kad berasingan dengan memorinya sendiri. Ia disertakan dengan dua rangka kerja pembangun: Core AI yang baharu dan MLX sumber terbuka.

AMD: Ryzen AI Max+ 395

Ia hadir dalam mesin desktop kecil dengan memori bersatu 128GB, menjalankan Windows atau Linux, dan berharga lebih rendah daripada pesaing langsungnya daripada Nvidia. Ia pilihan praktikal bagi sesiapa yang mahukan 128GB pada kos terendah, atau yang pasukannya lebih suka persekitaran Linux yang biasa.

Nvidia: DGX Spark

Sebuah kotak kira-kira satu liter yang membawa cip Grace Blackwell dan 128GB, dan produk yang mencipta kategori ini. Kelebihan terpentingnya bukan spesifikasi tetapi ekosistem CUDA: kebanyakan alatan AI dan rangka kerja latihan ditulis untuknya terlebih dahulu. Jika pasukan anda akan melatih atau menala halus model dan bukan sekadar menjalankannya, itu pertimbangan yang menentukan.

Laluan tradisional: pelayan dengan GPU diskret

Masih jawapan yang tepat apabila anda melayani beberapa pengguna serentak. Kad pelayan memberikan lebar jalur yang jauh lebih tinggi daripada mesin memori bersatu, dan itu terserlah dalam permintaan serentak, bukan saiz model. Kelemahannya: kos lebih tinggi, serta kuasa, haba dan bunyi bising yang memerlukan bilik yang sesuai.

Mesin-mesin, bersebelahan

Harga tepat dan tempat untuk membeli

Kami mengambil harga Apple terus daripada kedai rasminya di AS dan Arab Saudi pada tarikh artikel ini diterbitkan:

Beli daripada kedai Apple Arab Saudi atau kedai Apple AS. Ini ialah harga permulaan bagi setiap konfigurasi; memaksimumkan memori menaikkannya dengan ketara, dan pilihan 512GB tiba pada akhir Oktober dan bukannya semasa pelancaran. Ambil perhatian bahawa harga Arab Saudi termasuk VAT manakala harga AS adalah sebelum cukai.

AMD dan Nvidia tidak menjual mesin ini secara langsung pada satu harga: cip AMD dihantar dalam kotak daripada pengeluar yang berbeza pada kira-kira $1,500 hingga $4,000 bergantung pada pengeluar dan konfigurasi, dan DGX Spark dilancarkan pada sekitar $4,000 dan harganya di pasaran telah meningkat. Kami tidak menemui penyenaraian runcit rasmi di Arab Saudi bagi kedua-duanya setakat tarikh terbitan, jadi membeli bermakna melalui pengedar atau mengimport, dan dalam keadaan itu tambah VAT, duti kastam dan penghantaran. Halaman rasmi mereka: NVIDIA DGX Spark dan AMD Ryzen AI Max+ 395.

Model terbuka mana yang patut dijalankan, dan pada mesin apa?

Mesin hanyalah separuh daripada keputusan; separuh lagi ialah model itu sendiri. Berikut ialah model pemberat terbuka terkemuka yang boleh anda muat turun dan jalankan hari ini, bersama mesin yang boleh memuatkan setiap satu pada 4-bit dan anggaran keupayaan praktikalnya:

Apakah maksud peratusan keupayaan di sini? Sejauh mana model itu menghampiri, dalam kerja perniagaan harian seperti meringkaskan, menjawab soalan berdasarkan dokumen, menulis kod dan menterjemah, model tertutup berbayar yang paling berkuasa. Ia ialah anggaran editorial Origami berdasarkan spesifikasi yang diterbitkan dan angka yang dilaporkan sendiri oleh vendor, bukan hasil satu ujian neutral. Sebabnya mudah: setiap makmal menerbitkan angkanya dengan kaedah ujian dan tetapan yang berbeza, jadi tiada satu penanda aras neutral yang menyusun kedudukan semua model ini hari ini. Anggap ia sebagai panduan, bukan keputusan muktamad, dan uji model itu pada tugas anda sendiri sebelum membuat komitmen.

Dua nota yang merumuskan keseluruhan jadual: model yang ditanda "aktif" hanya menggunakan sebahagian kecil parameternya bagi setiap permintaan, jadi ia lebih pantas daripada yang dibayangkan oleh saiznya, tetapi masih memerlukan memori penuh. Dan perbezaan antara 72% dan 90% hilang sepenuhnya dalam kebanyakan kerja pejabat, sementara jelas kelihatan pada tugas yang panjang dan kompleks. Jangan bayar untuk 512GB demi kelebihan yang tidak akan anda sedari.

Cara memilih secara praktikal

• Seorang atau dua orang pengguna? Mesin memori bersatu sudah memadai dan menjimatkan banyak.
• Pasukan yang menggunakan sistem serentak? Anda akan memerlukan GPU diskret, kerana masalahnya kini permintaan serentak, bukan saiz model.
• Latihan atau penalaan halus? Condong kepada CUDA.
• Mahukan model terbesar yang mungkin dengan kerumitan paling sedikit? Kapasiti terbesar hari ini milik Apple.
• Bajet terhad? 128GB meliputi model sehingga 200 bilion parameter pada 4-bit, yang benar-benar memenuhi kebanyakan keperluan syarikat.

Pertukaran yang perlu difahami sebelum membeli: mesin memori bersatu memberi anda kapasiti besar pada lebar jalur lebih rendah berbanding kad pelayan. Ia memuatkan model besar tanpa masalah, tetapi menjana teks dengan lebih perlahan. Untuk sembang dan peringkasan anda hampir tidak perasan; untuk pemprosesan kelompok yang berat anda akan perasan.

Bila pelayan peribadi ialah keputusan yang salah

Kami menyatakannya dengan terus terang kerana kami sering melihatnya: perkakasan bukan penghujung projek tetapi permulaannya. Anda juga membeli tanggungjawab bagi kemas kini, sandaran, pemantauan, dan sesiapa yang membaikinya apabila ia berhenti pada hari Khamis. Jika penggunaan anda berselang-seli dan kecil, bil bulanan perkhidmatan luar lebih murah daripada mesin itu, elektriknya dan masa orang yang mengendalikannya.

Pelayan peribadi berbaloi apabila tiga perkara bertemu: data yang tidak boleh keluar, penggunaan berat yang stabil, dan seseorang atau pihak yang akan mengendalikannya. Jika salah satu daripada tiga itu tiada, buat semula kiraan.

Pandangan Origami

Kami berpendapat persoalan pentingnya bukan mesin mana yang hendak dibeli, tetapi apa yang akan anda jalankan padanya. Kebanyakan orang yang bertanya kepada kami tentang pelayan peribadi sebenarnya memerlukan model bersaiz sederhana yang menjawab soalan tentang dokumen syarikat mereka, dan itu berjalan dengan selesa pada 128GB, kadangkala kurang. Membeli 512GB untuk menjalankan model 70 bilion parameter ialah perbelanjaan tanpa pulangan.

Nasihat praktikal kami: tentukan tugasnya, kemudian pilih model yang melaksanakannya, kemudian beli mesin yang memuatkan model itu dengan ruang lebihan. Kami membantu mengikut susunan itu: menentukan tugas, memilih model, dan membina lapisan yang menghubungkannya dengan data dan sistem anda, kerana model yang tidak berhubung dengan data anda kekal sebagai alat umum dan bukan sistem yang berkhidmat untuk syarikat anda. Anda boleh menemui kami di halaman hubungi.

Kesimpulan

Anda tidak akan menjalankan Claude sendiri, tetapi anda akan menjalankan model terbuka yang berkebolehan yang meliputi kebanyakan kerja perniagaan. Ukur keperluan anda dalam parameter dahulu: setengah bait bagi setiap parameter pada 4-bit, ditambah ruang lebihan. Kemudian pilih antara memori bersatu, yang memberikan kapasiti pada kos yang munasabah, dan kad diskret, yang memberikan kelajuan dan keserentakan. Keputusan paling penting masih datang sebelum perkakasan: apa yang akan anda jalankan, dan mengapa.

Sumber

• Kenyataan media Apple, 25 Ogos 2026: spesifikasi Mac Studio dengan M5 Max dan M5 Ultra, kapasiti dan lebar jalur memori bersatu, pengelompokan Thunderbolt 5, serta rangka kerja Core AI dan MLX.
• Ulasan bebas daripada StorageReview dan HotHardware tentang AMD Ryzen AI Max+ 395 dan Nvidia DGX Spark, termasuk perbandingan kapasiti dan harga.
• Kiraan memori mengikut peraturan standard untuk menjalankan model: dua bait bagi setiap parameter pada ketepatan penuh, berkurangan dengan pengkuantuman.
• Kad model rasmi Hugging Face untuk Qwen3.8, Llama 4, Mistral, gpt-oss, DeepSeek V4, GLM-5.3 dan Kimi K3, sumber bilangan parameter dan lesen. Peratusan keupayaan ialah anggaran editorial Origami, seperti yang dijelaskan di atas.