Web baru sahaja melepasi garisan bersejarah, dan laman anda berada di tengah-tengahnya

Buat pertama kali dalam sejarah internet, mesin kini menjana lebih banyak trafik web berbanding manusia. Pada 3 Jun 2026, Ketua Pegawai Eksekutif Cloudflare, Matthew Prince, berkongsi data Radar yang menunjukkan permintaan automatik mencecah 57.5% trafik web, berbanding 42.5% daripada manusia. Jawapan ringkas untuk mana-mana pemilik perniagaan: kebanyakan "pelawat" yang tiba di laman web anda bukan lagi pelanggan, sebaliknya bot, dan bahagian yang berkembang pesat daripadanya ialah perangkak AI yang membekalkan enjin jawapan seperti ChatGPT, Gemini dan Claude. Ini merupakan kos yang perlu dikawal dan juga peluang yang perlu direbut.

Apakah sebenarnya yang berubah?

Peralihan ini menarik perhatian kerana betapa cepat ia tiba. Pada Mac 2026, Prince telah meramalkan bahawa trafik bot akan mengatasi trafik manusia menjelang 2027. Ia berlaku kira-kira lapan belas bulan lebih awal. Sebelum era AI generatif, kehadiran bot lebih senyap: sekitar 20% trafik web, dikuasai oleh enjin carian seperti Googlebot. Hari ini, menurut Cloudflare Radar, perangkak AI sahaja membentuk kira-kira 20% trafik bot yang disahkan, dengan GPTBot milik OpenAI dan ClaudeBot milik Anthropic antara yang paling aktif, manakala Googlebot kekal sebagai perangkak tunggal terbesar.

Mengapakah ini berlaku?

Pemacunya ialah AI agentik. Apabila seseorang membeli-belah kamera, dia mungkin membuka lima laman web. Apabila ejen AI melakukan tugas yang sama bagi pihak pengguna, ia boleh melawat beribu-ribu halaman untuk mengumpul dan membandingkan maklumat. Darabkan itu dengan berjuta-juta pertanyaan AI setiap hari, dan kiraannya tidak dapat dielakkan: perisian autonomi kini melayari web pada skala yang tidak dapat ditandingi oleh mana-mana populasi manusia. Ini bukan lonjakan sementara; ini ialah garis dasar yang baharu.

Mengapa ini penting untuk laman web perniagaan anda

Trend ini menyentuh perniagaan anda dalam empat cara yang konkrit:

  • Analitik yang terpesong: jika bot menggelembungkan angka trafik anda, anda membuat keputusan berdasarkan fiksyen. Kadar penukaran, kadar lantunan dan hasil kempen semuanya menjadi tidak boleh dipercayai melainkan trafik bot ditapis keluar.
  • Kos infrastruktur yang lebih tinggi: setiap permintaan bot menggunakan lebar jalur dan sumber pelayan. Perangkak yang agresif boleh memperlahankan laman anda untuk pelanggan sebenar atau menggelembungkan bil pengehosan anda.
  • Risiko kandungan dan keselamatan: bukan semua bot mesra. Pengikis mencuri harga dan kandungan, manakala bot berniat jahat mencari kelemahan, mencuba serangan pengisian kelayakan atau memborong inventori.
  • Peluang keterlihatan: perangkak AI yang baik ialah cara perniagaan anda muncul dalam jawapan AI. Jika GPTBot dan ClaudeBot tidak dapat membaca laman anda, anda tidak akan dipetik apabila pelanggan meminta cadangan daripada pembantu AI.

Peraturan baharu: bukan "sekat semua bot"

Naluri lama ialah menganggap setiap bot sebagai ancaman. Kini itu satu kesilapan. Tugas sebenar ialah membezakan bot yang anda mahukan daripada bot yang anda tidak mahukan. Anda mahukan perangkak carian dan AI yang membawa keterlihatan dan pelanggan kepada anda. Anda tidak mahukan pengikis dan penyerang. Cloudflare sendiri telah bergerak melepasi rangka mudah "bot lawan manusia" ke arah mengesahkan klien automatik mana yang sah, melalui pendekatan seperti Web Bot Auth dan identiti bot yang ditandatangani serta disahkan.

Panduan praktikal pengurusan bot

  • Kawal akses perangkak dengan sengaja: gunakan robots.txt untuk mengalu-alukan perangkak AI yang anda mahukan (GPTBot, ClaudeBot, PerplexityBot, Googlebot) dan melarang yang anda tidak mahukan. Putuskan perkara ini dengan sengaja, bukan secara kebetulan.
  • Letakkan lapisan pengurusan bot di hadapan: WAF atau perkhidmatan pengurusan bot boleh mengenal pasti bot yang disahkan, mengehadkan kadar bot yang agresif dan menyekat trafik berniat jahat sebelum ia sampai ke pelayan asal anda.
  • Bersihkan analitik anda: tapis bot yang dikenali supaya laporan anda mencerminkan tingkah laku manusia sebenar, dan jejaki kunjungan perangkak AI secara berasingan untuk mengukur jejak anda dalam jawapan AI.
  • Jadikan laman anda boleh dibaca mesin: halaman yang pantas dan tersusun baik, dengan tajuk yang jelas dan data berstruktur, membantu perangkak AI yang baik memahami dan memetik anda dengan tepat.
  • Lindungi perkara yang bernilai: hadkan kadar API, lindungi log masuk dan pembayaran daripada penyalahgunaan automatik, dan perhatikan corak trafik yang luar biasa.
Persoalannya bukan lagi "bagaimana saya menghalang bot daripada laman saya?" Persoalannya ialah "mesin mana yang saya alu-alukan, mana yang saya sekat, dan bagaimana saya membezakannya?"

Bagaimana Origami membina dengan mengambil kira perkara ini

Kami mereka bentuk dan membina laman web serta platform perniagaan yang bersedia untuk web majoriti mesin sejak hari pertama: infrastruktur yang peka terhadap bot, analitik yang bersih dan boleh dipercayai, perlindungan daripada automasi berniat jahat, serta halaman pantas dan berstruktur yang boleh dibaca oleh perangkak AI yang baik supaya perniagaan anda muncul dalam jawapan AI. Matlamatnya mudah: halang bot jahat, benarkan bot yang bernilai masuk, dan ubah peralihan struktur dalam trafik web menjadi kelebihan dan bukannya kos.

Sumber