Apakah Media Indonesia Memblokir AI? Memahami robots.txt dan Crawler AI

Sebelum calon pembeli membuka website Anda atau berbicara dengan tim sales, sebagian dari mereka sudah lebih dulu bertanya kepada mesin.

Kalau AI menjadi gerbang baru, berarti ada pihak yang menentukan siapa boleh masuk.

Penentunya adalah sebuah berkas teks kecil bernama robots.txt. Di sebagian besar organisasi, tidak ada seorang pun yang benar-benar memikirkannya.

Mengapa pertanyaan tentang media menjadi penting?

Selama beberapa bulan terakhir saya menelusuri satu pertanyaan: ketika AI menjawab pertanyaan konsumen, ia sebenarnya membaca dari mana?

Setiap kali data itu saya paparkan, pertanyaan yang muncul hampir selalu sama. Apakah media jarang dikutip karena mereka memang menutup akses untuk AI?

Dugaan itu masuk akal. Reuters Institute for the Study of Journalism, Universitas Oxford, dalam analisis berkas robots.txt terhadap 15 situs berita terpopuler di sepuluh negara sepanjang 2023, menemukan 48% di antaranya memblokir crawler OpenAI pada akhir tahun tersebut. Di Amerika Serikat angkanya mencapai 79%.

Tapi sebelum menjawab apakah hal yang sama terjadi di Indonesia, mekanismenya perlu dipahami dulu.

Apa itu robots.txt dan bagaimana cara kerjanya?

robots.txt adalah berkas teks sederhana yang diletakkan di akar sebuah situs web. Isinya instruksi bagi program otomatis — disebut crawler atau bot — mengenai bagian mana dari situs yang boleh dan tidak boleh dijelajahi.

Protokol ini lahir pada 1994, ketika Martijn Koster kewalahan menghadapi crawler yang membebani servernya. Selama lebih dari dua dekade statusnya hanya konvensi tak resmi, sampai akhirnya dibakukan menjadi standar internet IETF RFC 9309 pada 2022.

Anda bisa memeriksanya sekarang juga. Ketik alamat situs perusahaan Anda, lalu tambahkan /robots.txt di belakangnya — misalnya perusahaananda.co.id/robots.txt. Berkas itu terbuka untuk umum, karena memang dirancang untuk dibaca mesin.

Isinya kira-kira seperti ini:

Dua baris ini melarang crawler GPTBot mengakses seluruh isi situs.

Sebaliknya Allow: / berarti izin penuh. Dan bila sebuah crawler tidak disebut sama sekali, artinya tidak ada aturan khusus untuknya.

Satu catatan penting: kepatuhan terhadap robots.txt bersifat sukarela. Tidak ada mekanisme teknis yang memaksa. Berkas ini menyatakan niat pemilik situs — bukan menjamin penegakannya.

Apa bedanya crawler training dan crawler retrieval?

Di sinilah letak kesalahpahaman yang paling sering saya temui, dan yang paling merugikan.

Banyak orang memperlakukan “bot AI” sebagai satu kategori tunggal. Padahal fungsinya berbeda, dan konsekuensi memblokirnya pun berbeda.

Di luar keduanya ada crawler kontrol — Googlebot dan Bingbot — yang mengurus pengindeksan mesin pencari konvensional, dan hampir tidak pernah sengaja diblokir.

Organisasi yang ingin melindungi kontennya dari pelatihan model tetapi tetap ingin muncul dalam jawaban AI seharusnya memblokir kategori pertama dan membiarkan kategori kedua terbuka.

Yang sering terjadi justru dua-duanya diblokir sekaligus — atau tidak satu pun pernah diatur.

Apa yang perlu diperiksa pemilik brand?

Pada sebagian besar perusahaan Indonesia yang saya audit, tidak ada satu pun crawler AI yang disebutkan dalam berkas mereka. Itu bukan berarti aman. Itu berarti belum pernah ada keputusan yang diambil.

Lalu, apakah media Indonesia benar-benar memblokir?

Mekanismenya kini jelas. Pertanyaan awalnya masih menggantung.

Wacana global bilang penerbit sedang menutup pintu. Audit saya menunjukkan media mainstream hanya menyumbang 3,15% sitasi. Dua fakta itu tampak saling menguatkan — dan justru karena tampak begitu meyakinkan, ia perlu diuji dengan data.

Maka saya memeriksa berkas robots.txt dari 100 media Indonesia, dari media nasional terbesar sampai media daerah di Papua, lalu merekonstruksi riwayat kebijakan mereka sejak 2020 melalui arsip Internet Archive. Hasilnya terbit sebagai working paper di SSRN, dan menjadi bagian keempat dari rangkaian riset AI Visibility Optimization yang saya kerjakan sepanjang tahun ini.

Temuannya tidak seperti yang saya duga sebelum melihat datanya. Saya bahas lengkap di artikel berikutnya.

Yang jelas, sebuah berkas berisi dua baris teks bisa menentukan apakah nama Anda muncul ketika calon pembeli bertanya kepada mesin. Dan di sebagian besar organisasi, belum ada yang pernah membacanya.