引用：https://www.youtube.com/watch?v=BNHR6IQJGZs&t=15s
アガルトマーケティング代表の春田です。前回はGoogle検索の仕組みを紹介しましたが、その続きとしてクロールに焦点をあてていきたいと思います。 SEO講座の第二回としてクローラビリティの改善方法を公式情報を元に提供いたします。※Google検索の仕組みの理解は、「コンテンツを追加したのにも関わらず検索結果に表示されない…」などのトラブル時に、切り分けて考えられるようになるため、非常に重要です。
クロールとは？
クロールとは、新しいページや更新されたページをGooglebotがアクセスするプロセスのことをいいます。
Googlebot は、アクセスしたページ上のリンクを検出し、それらをクロール対象ページのリストに追加します。また、新しいサイト、既存のサイトへの変更、無効なリンクを検出し、Google インデックスの更新情報として使用します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
クロールの際は、アクセスしたページに対して新しいサイトであるのか？既存サイトの変更なのか？それとも無効なリンクなのか？という判断を行い、Googleインデックスのデータベースにて使用します。
クローラはどのようにしてページを見つけているのか？
クロールのプロセスは、過去のクロールから得られたウェブアドレスとウェブサイトの所有者から提供されたサイトマップで構成されるリストから始まります。クローラはこれらのウェブサイトにアクセスし、そのサイト上のリンクを使って他のページを探します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
クローラは、ユーザーがウェブ上でコンテンツを閲覧するときと同じように、ウェブページを見て、ページ上のリンクをたどります。リンクからリンクへ移動し、ウェブページに関するデータを Google のサーバーに蓄積していきます。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
過去にクロールによって発見されたウェブサイトとサイトマップによる「リスト」を使って、リンクからリンクを飛び、新しいページを発見します。その新しく発見されたページも後で参照できるように「リスト」に追加されます。
クロールの際には、そのページが新規で作られたページなのか、更新されたページなのかを判断し、Googleインデックスの更新に使います。
クロールの対象外・クロールの頻度が少なくなるもの
robots.txt でブロックされたページはクロールされませんが、別のページにリンクされている場合には、インデックスに登録される可能性があります。Google は、ページへのリンクをもとにページの内容を推測し、コンテンツを解析せずにそのページをインデックス登録することがあります。
匿名ユーザーがアクセスできないページはクロールできません。したがって、ログインなどの認証によって保護されたページはクロールされません。
ページがすでにクロールされていて、別のページの重複であると見なされた場合は、クロールの頻度が少なくなります。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
通常はクロール→インデックス登録の順を追いますが、robots.txtでブロックされていたとしても、特定のページがリンクを受けている場合、クロールをせずとも（クロールの手順の抜かして）インデックス登録される場合があります。
クロールされるページはあくまで匿名ユーザーが見れるページのみで、ログインが必要な保護ページは表示されません。
重複コンテンツと見なされるとクロールの頻度は少なくなります。
サイトのクローラービリティの改善方法
正しい評価が得られるように、クローラビリティを改善する方法について見ていきましょう。
サイトのページが Google からアクセス可能なこと、および正しく認識されることを確認します。Google は匿名ユーザー（パスワードなどの認証情報を持たないユーザー）としてウェブにアクセスします。ページ上のすべての画像やその他の要素を、Google が正しく認識し、理解できるようにしてください。モバイル フレンドリー テストでページの URL を入力すると、簡単に確認できます。
引用：https://developers.google.com/search/docs/beginner/how-search-works?hl=ja
＜解説＞
モバイルフレンドリーテストというツールを用いて、サイトURLを打ち込むことでサイトがアクセス可能か、正しく認識されるか、画像が正しく認識できているかを確認することができます。URLを打ち込んだ後、「ページの読み込みに関する問題」をクリックすることで、読み込みができなかった要素を確認することができます。
1 つのページを作成または更新した場合は、その URL を個別に Google に送信できます。数多くの新しいページや更新されたページを一度に Google に通知する場合は、サイトマップを使用します。
引用：https://developers.google.com/search/docs/beginner/how-search-works?hl=ja
＜解説＞
サイトにページを追加した場合、またはサイトのページに変更を加えた場合は、サーチコンソールのURL検査という機能を用いてインデックス登録、インデックスの再登録を行うことが可能です。しかし、クロールをリクエストをしてもクロールには数日～数週間の時間が必要です。また、複数のページを通知したい場合には、サイトマップの送信を行います。
ホームページはサイトで最も重要なページであると Google は考えています。サイト全体がクロールされるようにするには、ホームページ（とすべてのページ）に、サイト内のすべての重要なセクションやページにリンクする適切なサイト ナビゲーション システムを組み込んでください。これにより、ユーザーは（そして Google も）サイト内を効率的に移動できるようになります。小規模なサイト（1,000 ページ未満）の場合、ホームページからリンクをたどることで他のすべてのページにアクセスできるようになっていれば、ホームページのみを Google に認識させるだけで十分です。
引用：https://developers.google.com/search/docs/beginner/how-search-works?hl=ja
＜解説＞
トップページをGoogleは重要と考えていますので、トップページから内部リンクとしてあらゆるページに飛べるようにしましょう。そうすることで、ユーザーだけでなくクローラも回りやすくなります。サイト内にhtmlサイトマップを設置することを推奨します。
Google がすでに検出している別のページに新しいページをリンクさせます。ただし、広告内のリンク、他のサイトからの有料リンク、コメント内のリンク、Google のウェブマスター向けガイドライン（品質に関するガイドライン）を遵守していないリンクについては、Google はたどりません。
引用：https://developers.google.com/search/docs/beginner/how-search-works?hl=ja
＜解説＞
Googleがすでに検出しているページ（ランクインされているページ等）から、新しいページにリンクを貼ります。これは別ドメインからのリンク（外部リンク）でも、自分のサイトからのリンク（内部リンク）のどちらでもクローラビリティの向上に繋がります。
ページにはシンプルで、人間が判読可能かつ論理的な URL パスを使用し、サイト内には明確で直接的な内部リンクを設定します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
車に関する記事であれば、○○.com/carなどのように分かりやすいURLを付けます。複数のパラメータを含むURLや複雑なURLは、クロールの際に問題が生じます。最悪の場合には、サイトのコンテンツの全てをインデックス登録しきれないという事態にもなります。可能な限り、不要なパラメータを削除して短いURLにしましょう。ちなみに、単語を分ける場合には、used-carのようにハイフンを使用します。
正規ページと代替ページを明確に示します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
重複した内容がある場合には、正規化でcanonicalを使用します。また、移行がある場合には301リダイレクトを行います。
インデックス カバレッジ レポートを使用して、クロールやインデックス登録の対象範囲を確認します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
サーチコンソールのカバレッジレポートを利用することで、どのページがインデックス登録されているか、エラーが起こっていないかを確認することができます。
Google が主要なページと、それらを適切に表示するために必要なリソース（画像、CSS ファイル、スクリプト）にアクセスできることを確認します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
モバイルフレンドリーテストやページスピードインサイトで確認することができます。
ライブページで URL 検査ツールを実行して、Google によるアクセスとレンダリングが問題なく行えることを確認します。
引用：https://developers.google.com/search/docs/advanced/guidelines/how-search-works?hl=ja
＜解説＞
正しくインデックスが行われているか、クローラが辿ってきた元のURLなどを確認することができます。
まとめ：クロールとは？クローラビリティの改善方法について｜Google検索の仕組み
いかがでしたか？今回はクローラビリティの改善方法をテーマにお届けしました。クローラービリティの改善は正しく評価してもらうためには必要ですので、参考にしていただければと思います。次回の第3回目講座では、インデックス登録を深堀してお届けしていきます。
