インデックス
インデックス(index)とは、検索エンジンの検索結果に、ウェブページを追加するプロセスであり、検索エンジンが見つけたすべてのウェブサイトの情報が含まれているデータベースの別名のことを言う。
例えば、Google検索では、ユーザーが検索する前から、膨大な数のウェブページを利用し、情報を収集。収集した情報を、Googleのクローラー(Googlebot)がページにアクセス(クロール)し、検索インデックスに登録し、整理を行っている。
Googleの検索インデックスに登録が行われた後、Google検索の基本事項(旧:品質に関するガイドライン)に準拠している場合、コンテンツやその内容の意味が分析され、そのページがGoogleのインデックスに保存される。(これらのことを「インデックス登録」と言う。)
Google検索では、ほとんどのページでは、クロール後にインデックス登録が行われる。
また、Google検索ではコンテンツにアクセスすることなく、ページのインデックスを登録する場合もある。例えば、ページがrobots.txtでブロックされている場合などでも、Googleはインデックス登録を行うことが可能。
出典
Google検索の基本事項(Google検索セントラル)