Cloudflare Hentikan AI Scraping, Pemilik Situs Senang

pibitek.biz -Cloudflare, layanan web hosting yang ngetop banget, ngasih kabar gembira buat para pemilik situs web. Gimana enggak? Cloudflare punya senjata baru buat menghentikan AI scraping yang udah kayak banjir bandang. Buat pemilik situs web yang udah nyerah ngelawan AI scraping, Cloudflare kasih solusi jitu, sekarang pemilik situs web bisa nge-blok bot AI dengan sekali klik aja. Cloudflare ngakunya bakal ngebantu banget buat nge-stop AI scraping yang gak terkendali. Tapi yang lebih menarik lagi, Cloudflare ngasih bocoran buat para konten kreator, yaitu ngebantu mereka nge-identifikasi konten apa aja yang paling sering di-scan oleh bot.

Nah, setelah ketahuan mana yang sering di-scan, pemilik situs web bisa ngeluarin aksesnya dan nge-charge bot-bot itu buat nge-scrape konten-konten yang paling berharga. Cloudflare juga lagi ngembangin marketplace buat semua situs web buat negosiasi konten berdasarkan audit AI yang lebih detail. Jadi, dengan alat ini, konten kreator punya kesempatan buat ngontrol akses ke konten mereka dan nge-decide siapa yang boleh nge-akses dan apa yang bisa di-akses. Cloudflare ngasih tahu kalau tools ini adalah senjata yang bakal ngebantu para konten kreator buat "ngertiin" gimana penyedia model AI nge-pakai konten mereka.

Dan yang penting, konten kreator bisa ngambil alih ngontrol akses ke konten mereka. Keberadaan AI Generatif bikin susah buat nge-nilai konten. Itu yang bikin Cloudflare ngembangin tools ini. Dulu, situs web bisa bedain bot yang berguna buat nge-drive traffic kayak search engine crawlers dengan bot jahat yang ngerusak situs web atau nge-scrape data yang sensitif atau kompetitif. Tapi sekarang, dengan munculnya LLM dan tools generatif lainnya, muncul kategori bot ketiga yang nggak bisa dimasukkan ke kategori mana pun.

Bot ini nggak ngebantu nge-drive traffic kayak bot baik, tapi juga nggak nyoba buat nge-curi data sensitif kayak bot jahat. Karena itu, banyak pemilik situs web bingung, "Apa nilai tukarnya kalo kita biarin AI scraping?" Karena itu, Cloudflare ngingetin kalo biarin AI scraping tanpa batasan bisa ngebikin konten kreator runtuh di kemudian hari. "Banyak situs ngebiarin AI crawlers ngescane konten mereka karena crawlers itu kelihatan kayak bot baik? tapi akhirnya konten mereka dikemas ulang di AI-written answers dan traffic ke situs mereka menurun", kata Cloudflare.

AI scraping yang tanpa batasan ngebikin ancaman buat internet yang terbuka. Cloudflare ngasih solusi yang mungkin bisa jadi standar baru buat industri gimana konten di-scrape di dunia online. Sekarang, konten kreator makin susah ngontrol konten mereka di dunia AI. Mereka harus ngelawan perusahaan AI di pengadilan buat nge-stop scraping yang nggak diinginkan, kayak yang dilakuin The New York Times. Atau mereka harus ngemas konten di balik paywall dan ngurangi akses publik ke informasi. Beberapa publisher besar udah ngasih izin buat perusahaan AI buat nge-pakai konten mereka dengan menandatangani kontrak.

Tapi, Cloudflare ngarep tools baru ini bisa menyelaraskan persaingan buat semua orang. Jadi, ada "tukar menukar yang transparan" antara situs yang mau ngontrol konten mereka lebih ketat dan penyedia model AI yang butuh sumber data baru. Semua bisa diuntungkan. Sekarang, pemilik situs Cloudflare nggak perlu nge-blok setiap bot AI satu-satu. Mereka bisa nge-blok semua bot AI dengan sekali klik aja. Caranya gampang banget, tinggal masuk ke bagian Bots di tab Security di dashboard Cloudflare. Terus, klik link biru di pojok kanan atas buat nge-configure proxy Cloudflare buat ngatur traffic bot.

Di layar itu, pemilik situs bisa nge-klik tombol 'On' di 'Block AI Scrapers and Crawlers'. Dengan begitu, semua AI scraping terblok, dan pemilik situs punya waktu buat mikirin akses apa yang mau di-buka lagi. Selain nge-blok bot, pemilik situs juga bisa nge-lakuin audit AI buat nge-analisa bagian situs mana yang paling sering di-scan oleh bot. Setelah ketauan, pemilik situs bisa ngambil keputusan scraping mana yang boleh dan bisa nge-atur akses bot buat nge-scrape bagian situs yang di-inginkan. "Buat beberapa tim, keputusannya adalah ngebiarin bot yang terkait dengan mesin pencari AI ngescane situs mereka karena tools itu tetep bisa nge-drive traffic ke situs", kata blog Cloudflare. "Organisasi lain mungkin ngasih izin buat penyedia model tertentu buat ngakses konten mereka dengan bot apa pun yang mereka punya". Buat publisher yang udah capek nge-lawan bot, keuntungan utama dari tools Cloudflare adalah mereka bisa nge-buat aturan buat nge-restrict bot yang nge-scrape situs buat tujuan "baik" dan "buruk". Jadi, bisa nge-keep bot baik dan nge-buang bot jahat. Mungkin bot paling ngeselin buat publisher sekarang adalah Googlebot. Googlebot nge-scrape situs buat ngisi hasil pencarian dan buat ngelatih AI buat nge-generate Google search AI overviews yang bisa ngebikin traffic ke situs sumber menurun karena mengedit konten.

Publisher sekarang nggak punya cara buat menolak pelatihan model yang ngebikin Google AI overviews tanpa kehilangan visibilitas di hasil pencarian. Tools Cloudflare nggak bisa nge-bantu publisher buat nge-keluar dari posisi yang nggak enak ini, kata CEO Cloudflare, Matthew Prince. Buat pemilik situs yang mau nge-matiin semua AI scraping, nge-blok Googlebot dari scraping dan ngebikin traffic menurun bisa jadi alasan kuat buat nggak pakai solusi satu klik Cloudflare. Tapi, Prince ngarep "praktik Google dalam jangka panjang nggak akan berkelanjutan" dan "Cloudflare akan jadi bagian dari ngebikin Google dan yang lain yang kayak Google ngasih konten kreator kontrol yang lebih detail tentang gimana bot kayak Googlebot nge-scrape web buat ngelatih AI".

Prince ngasih tahu kalo Google udah nyelesaikan pertanyaan "filosofis" internal mereka tentang apakah scraping Googlebot buat pencarian atau buat AI, solusi teknis buat nge-blok satu bot dari jenis scraping tertentu bakal cepet keluar. Dan sementara itu, "ada juga solusi hukum" yang "bisa berdasarkan hukum kontrak" berdasarkan peningkatan syarat dan ketentuan situs. Nggak semua pemilik situs bisa ngebayar biaya sidang buat ngelawan AI scraping, tapi buat ngebantu konten kreator ngelawan AI scraping yang nggak diinginkan, Cloudflare ngembangin "model syarat dan ketentuan yang bisa di-tambahin ke situs mereka buat ngelindungin hak mereka secara hukum".

Dengan syarat ini, situs bisa nge-bantah scraping yang dilarang yang ditemukan melalui tools analisa Cloudflare. "Entah gimana caranya, Google akan dipaksa buat lebih detail di sini", prediksi Prince. – –