クローリングとは？仕組みや対策方法について解説②～クローリングの仕組みと対策
前記事では、SEOにおいてよく耳にする「クローリング」について、その基礎知識を解説しました。
前記事：クローリングとは？仕組みや対策方法について解説①～クローリングの基礎知識
本記事では、さらにクローリングの仕組みを知ったうえで、具体的なクローリング対策についてご紹介します。
１．Googleのクローリングの仕組み
ホームページを運用する場合には、Googleのクローリングについて、より理解を深めておくべきでしょう。
ここでは、Googleのクローリングの仕組みや注意点について、以下の項目を詳しく解説します。
- クローラーがページを検出してクローリングする
- クローリング情報データを読み込む
- 高頻度でクローリングしてもらう条件
- クローラーに巡回させないページもある
それぞれの項目について理解すれば、より適切なクローリングを行い、検索順位によい影響を与えられるので、ぜひ覚えておきましょう。
１-１．クローラーがページを検出してクローリングする
主に以下の2つの方法を用いて、クローラーにページを検出してもらい、クローリングさせるのが一般的です。
- インデックス済みのページに貼られたリンク先
- 提供されたXMLサイトマップ
Googleのクローラーは、インデックスされているページに貼られたリンクを辿って新たにクローリングを行う特徴があります。
また、ページ内容について知らせるためのXMLサイトマップをこちらから送信することでも、クローラーはページを検出可能です。
Webサイトが世界で17億以上あるとされている中で、自社のページをクローラーに自発的に見つけてもらい、クローリングしてもらうのは困難かつ時間がかかります。
クローラーがページを検出させやすくする点においては、上記2つの方法が主流なので、ぜひ覚えておきましょう。
１-２．クローリング情報データを読み込む
クローラーは検出したページをクローリングし、記載されている以下のような情報データを読み込みます。
- HTMLファイル
- Google Earth
- プログラミング言語のソースコード（C++・Java・Pythonなど）
- WordやExcel
- テキストファイル
- 画像・動画
上記からわかるように、ホームページを構成するファイルなら、読み込んでくれるものと考えていいでしょう。
ただし、あくまで読み込むのはテキストデータであり、今時点では画像・動画を読み込んだとしてもどのようなものかをクローラーは理解することはできません。
そのため、altタグのように表示されている画像の意味を説明するテキストを設置するのも、クローラーに正しく情報を読み込ませるコツになります。
１-３．高頻度でクローリングしてもらう条件
できるだけ高頻度でクローリングしてもらう方が、全ての情報を読み取ってもらいやすく、結果として評価にもつながると考えられます。
高頻度でのクローリングの条件は以下のとおりです。
- 更新頻度
- ホームページおよびコンテンツの質
- ホームページの表示速度
- ホームページの人気度
人気度は主に、アクセス数やクリック数、被リンク数などを総合的に評価しています。
人気の高いページは、常に情報の鮮度が保たれるよう、頻繁にクロールするとGoogleの公式でも提言しているほどです。
そのためには、コンテンツの質や表示速度を高めて、ユーザビリティの高い、ユーザーファーストなホームページを目指すべきでしょう。
１-４．クローラーに巡回させないページもある
では全てのページをクローリングしてもらうべきかと問われると、決してそうではありません。
特に、以下のようなページは、クローラーに巡回させない方が、結果として検索エンジンからの評価は高まります。
- 会員・運営者限定ページ
- テスト公開のページ
- 個人情報や決済に関連するページ
- 重要性の低いファイル
上記のようなページをクローリングすると、重複ページやサイトの質を低下させると誤認させてしまうものが含まれている場合もあります。
そのため、上記のようなページ・コンテンツを作成している場合には、非公開ページにするなどクロールしないようにコントロールすることが必要です。
２．Webサイトがきちんとクローリングされているかを確認する２つの方法
クローラビリティ対策の作業後などは、ウェブサイトが正しくクローラーに情報が収集されているか、気になるところです。
ウェブサイトがクローリングされているかは、次の方法で確認できます。
２-１．GoogleSearchConsoleを使って確認
１つめは、Googleが用意しているツール「Google Search Console」を利用する方法です。
あらかじめウェブサイトを登録しておくと、［URL検査］画面に対象のURLを入力することで現在のクローリング状況を確認できます。
クローリングされていない場合でも、［インデックス登録をリクエスト］操作からクローリングを要求する機能もあります。
また、サイト全体のクローリング状況を［設定｜クロールの統計情報］で表示されたレポート画面で確認できます。
サイトがクローリングされている場合には、［クロール リクエストの合計数］、［合計ダウンロード サイズ］や［平均応答時間］などが、数値やグラフで表示されます。
その他にも［クロールリクエストの詳細］画面で、レスポンス・ファイル形式・Googlebotのタイプなど、対象毎に詳しい内容が表示されます。
レポート内の［ページアクセス エラー］の数値は、サイト側のトラブルでクローラーが正しく情報収集ができていない場合の原因調査にも役立ちます。
クローリングの確認以外にも、「Google Search Console」にはウェブサイトのSEO対策として便利な機能が備わっています。
詳しい内容は下記記事で解説しておりますのでぜひご覧ください。
２-２．Webサーバーのログを確認
２つめの方法は、サーバー上に記録されるアクセスログ（生ログ）で確認する方法です。
アクセスログには、URLにアクセスされた時間や参照元などが記録されています。
そのため、Googlebotなどからのアクセスを検索して、クローリングされた形跡の調査ができます。
この方法は、サーバー上からファイルのダウンロードをしたり、テキスト検索を行ったりするなど、「Google Search Console」を使う方法より手間が必要になります。
ですが、より詳しいクローリングの状況確認が可能です。
例えば、アクセスログをキーワード［google.com］でテキスト検索すると、次のようなログが見つかります。
66.249.77.6３– [30/Sep/2022:23:26:09 +0900] “GET /sample.html HTTP/1.1” 200 13014 “-” “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.5195.125 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
最近では、Googlebotをなりすましたアクセスもあるため、見つかったログのIPアドレスをhostコマンドなどで参照元を調べる必要があります。
検索したログのURLやディレクトリなどを確認して、ウェブサイトへのクローリング状況を細かく確認できます。
３．SEO効果UP！クローリング対策
ウェブサイトをGoogleの検索結果に表示させるためには、クローラーにサイト情報を収集してもらう必要があります。
ただし、クローリングされるだけでは検索結果の上位には表示されにくいです。
そのため、クローリングしやすいサイトとしてSEO対策を行う必要があります。
下記の記事では、クローリング対策以外にも、サイトのSEO対策として重要なポイントをご紹介しています。
３-１．URL検査（GoogleSearchConsole）
Googlebot専用の対策になりますが、Google Search Consoleの「URL検査」画面で、新しく追加したURLのクローリング要求を行います。
具体的には「URL検査」画面で対象のURLを検索し、「インデックス登録をリクエスト」を行います。
ただし、リクエスト操作は次回のクローラーのスケジュールに追加してもらうための操作です。
すぐにクローリングが開始されるわけではないので、注意が必要です。
また、「URL検査」画面からのクローリングの要求操作は、URL単位で行う必要があります。
複数のURLを対象にしたクローリングには向いていません。
複数のURLやサイト単位でのクローリングの対策を行うには、次のサイトマップやRSSフィードを作成した方が効率的です。
３-２．サイトマップを作成する
クローラーの巡回を効率化するには、ウェブサイト内のURLをXML形式で一覧化（サイトマップ）したファイルを配置します。
クローラーはサイト内の基準となるページ（トップページやホームページ）を読み取ります。
そしてHTML内に設置されたリンク情報を頼りに、サイト内のページを移動しながら情報を収集していきます。
その際に、サイト内のすべてのページを網羅したサイトマップが用意されていると、効率的にクローリング作業が行われます。
また、ランディンページやミニサイトなど、他ページとリンクしてないページもサイトマップを使ってクローリングを受けられます。
新しいURLの追加やサイトのリニューアルなど、サイトを更新した場合には、都度サイトマップも更新してクローリング対策をしましょう。
作成したサイトマップは、Google Search Consoleの「サイトマップ」画面からクローリングを要求できます。
なお、当システムにおいてサイトマップは自動で作成されています。
４．まとめ
今回は、Googlebotなどのクローラーがサイトの情報を収集するクローリングについてご紹介しました。
ホームページがGoogleの検索結果に表示されるのは、ウェブサイトに多くの集客を行う第一歩になります。
また、現代のウェブサイトではSEO対策として、検索エンジンのクローラーに最適化されたクローラビリティを高めておくことが、必要不可欠になっています。
そのためには、ページに表示される文章や画像以外にも、サイトマップなど様々な手段を使って検索エンジンのクローリングに対応する必要があります。
ぜひ、ホームページの作成をする際に参考になさってください。