クローキング
クローキングとは、ユーザーが実際に見ているものと、検索エンジンとで異なるコンテンツやURLをウェブサイトに表示・掲載させる手法のことを言います。
クローキングの目的は、特定のキーワードでウェブサイトの検索エンジンの評価を上げる「ブラックハットSEO」で利用され、Googleはユーザーに予想外の結果をもたらすとして、Googleのウェブマスター向けガイドライン（品質に関するガイドライン）に違反していると見なされます。
またクローキングは、ページを要求しているユーザーの「IPアドレス」又は「ユーザーエージェント HTTPヘッダー」に基づいてコンテンツを配信することによって行われます。
Googleはクローキングの例として、YouTubeや公式サイトでは以下のように伝えています。
- 検索エンジンには HTML テキストのページを表示し、人間のユーザーには画像や Flash のページを表示する行為
- ページをリクエストしたユーザー エージェントが人間のユーザーではなく検索エンジンである場合にのみ、ページにテキストやキーワードを挿入する行為
（YouTubeは日本語字幕にも対応しているため確認しやすいです。）
クローキングを行っているウェブサイトはユーザーと検索エンジンを騙す行為を行うこととなり、厳しく取り締まられています。
SEOに与える影響
ウェブページのクローキングをGoogleの検索エンジンが認識した場合、検索エンジンの「インデックス」から永久に削除されるペナルティ（手動による対策）を科される非常に重いGoogleガイドライン違反になります。
また、ページ単位、ウェブサイト単位、作成者単位でペナルティを科される場合もあります。
さらに、ペナルティとならない場合でも、検索結果に表示されなくなるため、絶対に行ってはいけないSEOの1つです。
クローキングを行わないお勧めの方法
Googleは公式サイトで、クローキングを行わないお勧めの方法として「アクセシビリティ」を高めるためのヒントを伝えており、以下の通りです。
画像に関して
- alt 属性を使用して説明テキストを記述する
- 画像の近くにわかりやすいキャプションや説明テキストを入れることを推奨
- 公開画像に関しては「Google画像検索でのおすすめの方法」も参照する
JavaScriptに関して
- JavaScript 内と同じコンテンツを <noscript> タグ内に記述する
（タグ内のコンテンツを JavaScript 内のコンテンツと完全に同一にし、タグ内のコンテンツがブラウザで JavaScript を有効にしていないユーザーに表示されるようにする）
動画に関して
- 動画の説明テキストを HTML 内に記述する
（キャプションや字幕を含めることも可能） - 動画に関しては「動画のベスト プラクティス」も合わせて確認する
サイトがハッキングされクローキングが行われた場合
サイトがハッキングされた場合、サイトの運営者に分かりにくくするためハッカーはクローキングを行う可能性があることをGoogleは警告しています。
「ハッキングされたとき」の内容をまずは確認していただき、Googleが提案する以下のステップで確認を行ってください。
- サイトがハッキングされているかどうかを確認する方法
- サポートチームの構築
- サイトを隔離する
- スパムを含むハッキング
- マルウェアを含むハッキング
- サイトの脆弱性を特定する
- Search Console の利用
- サイトの問題を修正して管理する
- 再審査をリクエストする
- ハッキングされたサイトに関するよくある質問
クローキングで良くある質問
「煩わしいインタースティシャル」にならなければ、クローキングになる可能性は低いと思われます。
ただ、クローキングになるかどかは、Googleの判断となり、閲覧ユーザーにとって良くないことは止めておきましょう。
「モバイルフレンドリーテスト」もしくは「Search Console」のすべてのURLを検査から、Googleのレンダリングを確認します。
著作者：辻 昌彦
コメント・フィードバック
フィードバックいただいた、SEOへのご意見や見解は内容を管理者が確認し、当文章に掲載される可能性がございます。