クローラー

Cloudflare、AIクローラーへの課金機能「Pay per crawl」をプライベートベータで提供 画像

Cloudflare、AIクローラーへの課金機能「Pay per crawl」をプライベートベータで提供

・Cloudflareが、パブリッシャーがAIクローラーのアクセスにリクエスト単位で課金できる「Pay per crawl」をプライベートベータで公開しました
・HTTP 402とWeb Bot Authを活用し、クローラーの認証、価格提示、支払い意思の確認を自動化する設計です
・AI時代のメディア収益は、記事単位の個別交渉から、機械可読な権利表示とアクセス条件の設計へ移りつつあります

ニューヨーク州上院がステルスクローラー禁止法案を可決、ニュースサイトの匿名ボット対策に新基準 画像

ニューヨーク州上院がステルスクローラー禁止法案を可決、ニュースサイトの匿名ボット対策に新基準

・ニューヨーク州上院が、ニュースサイトをクロールするボットに身元と目的の開示を義務付ける法案を可決
・違反した場合、差止めや最大1万ドルの罰金請求、弁護士費用回収が可能な仕組みを整備
・悪質ボットがトラフィックの37%を占める中、アクセス時点での透明性確保でコンテンツ保護を強化

Internet Archiveをメディア企業が次々ブロック、NYTやガーディアンも・・・AI対策で失われるアーカイブ 画像

Internet Archiveをメディア企業が次々ブロック、NYTやガーディアンも・・・AI対策で失われるアーカイブ

・主要報道機関が約30年分のウェブページを保存してきたInternet Archiveをブロック開始
・パブリッシャーはAI企業のコンテンツアクセス防止と商用化を狙う一方、記録喪失の懸念も
・ブロックはAI対策の一環だが、長期的には検索や記録保存に影響し、矛盾した状況が生まれている

英CMA、Google検索AI機能にパブリッシャー向け「オプトアウト」義務化を提案——コンテンツ利用めぐり初の行動規範 画像

英CMA、Google検索AI機能にパブリッシャー向け「オプトアウト」義務化を提案——コンテンツ利用めぐり初の行動規範

・CMAはGoogle検索のコンテンツ利用にオプトアウト権や透明性を求める規範案を公表した
・パブリッシャーにコンテンツAI利用の選択権を持たせ、ランキングやシグナルを規制
・業界は慎重な対応や公正な支払い条件を求めており、最終決定は2024年以降にされる予定

米大手メディア4社がAIライセンス連合「RSL」に参画──「個別交渉」から「標準化」への転換 画像

米大手メディア4社がAIライセンス連合「RSL」に参画──「個別交渉」から「標準化」への転換

生成AIによるコンテンツの無断利用が問題視される中、パブリッシャー側が結束し、業界標準のライセンスモデルを構築しようとする動きが強まっています。

Cloudflare、AIクローラーをデフォルトでブロックし「Pay Per Crawl」で料金を請求するシステムを構築 画像

Cloudflare、AIクローラーをデフォルトでブロックし「Pay Per Crawl」で料金を請求するシステムを構築

・CloudflareがAIクローラーをデフォルトでブロックし、「Pay Per Crawl」で料金請求を可能にした
・支払い機能やアクセス制御をHTTPレスポンスコードや技術的署名を活用して実現している
・新規ドメインは自動的にAIクローラーの制御を選択でき、エージェント時代の基盤作りも視野に入れる

Wikipediaが生成AIからのbot急増に悲鳴、インフラに過大な負荷 画像

Wikipediaが生成AIからのbot急増に悲鳴、インフラに過大な負荷

・Wikimedia財団はAIボットによるコンテンツアクセス急増を報告
・ボットがトラフィックの65%を占め、インフラに負荷をかけている
・「コンテンツは無料、インフラは無料ではない」を掲げ対策を検討中

クラウドフレアが新兵器「AI Labyrinth」で不正AIクローラーを撃退、生成AIでBotを迷い込ませる 画像

クラウドフレアが新兵器「AI Labyrinth」で不正AIクローラーを撃退、生成AIでBotを迷い込ませる

・クラウドフレアがAIボット対策技術を発表
・生成AIでボットを欺きリソース浪費
・ウェブサイト保護の新手法として機能

AI学習に利用できるデータ、1年間で大幅に減少・・・枯渇の懸念も 画像

AI学習に利用できるデータ、1年間で大幅に減少・・・枯渇の懸念も

・AIモデルのデータ減少、メディア制限が原因
・1年でウェブデータ5%減少、高品質データ25%不可
・AI利用例と収集データのバランス重要

グーグル、AIのクローラーを防ぐ仕組みを「robot.txt」に実装・・・しかしまだ不十分 画像

グーグル、AIのクローラーを防ぐ仕組みを「robot.txt」に実装・・・しかしまだ不十分

・Googleが新機能「Google-Extended」を発表
・ウェブ公開者がAIモデルの改善に貢献する選択肢を提供
・AIとウェブコミュニティとの連携強化を目指す

    Page 1 of 1