クローラー最適化!クローラビリティの高いサイト作りの方法とは!?

クローラー最適化!クローラビリティの高いサイト作りの方法とは!?

クローラーについて詳しく理解したいと考えていませんか。SEO対策で重要といわれても、何をどうすればよいかわかりませんよね。このページでは、最初にクローラーの概要や種類などの基礎知識を解説し、そのあとにクローラーを意識したサイト作りのポイントを解説しています。基礎知識がある方は、前半部分を読み飛ばしても構いません。クローラーが気になる方は、参考にしてください。

クローラーとは?

最初にクローラーとはどのようなものかを簡単に解説致します。

情報を集めて保管するプログラム

クローラーは、インターネット上に存在するリンクをたどって情報収集をするプログラムです。Googleをはじめとする検索エンジンの機能のひとつとして稼働しています。クローラーと呼ばれる理由は、腹ばいで進む(=crawl)ようなイメージで情報を収集していくためです。ウェブスパイダー・ウェブスクレイピングなどと呼ばれることもあります。

クローラーの種類は?

各検索エンジンが活用しているため、クローラーにはさまざまな種類があります。代表的なクローラーは次の通りです。

GoogleのGooglebot

最も有名なクローラーは、GoogleのメインのクローラーであるGooglebotです。Googlebotはデスクトップクローラーとモバイルクローラーに分かれます。通常、双方からクロールされますが、モバイルファーストへ移行しているウェブサイトのクロールは、モバイルクローラーを使用して行われます。ちなみに、GooglebotはGoogleが扱うウェブクローラーの総称です。

その他のクローラー

Google以外の検索エンジンもクローラーを使用しています。代表的なクローラーは以下の通りです。

Yahoo Slurp

日本以外のYahoo!で利用されているクローラーです。

Baiduspider

中華人民共和国最大の検索エンジンである「百度(バイドゥ)」のクローラーです。

Bingbot

マイクロソフトが運営する検索エンジン「BING」のクローラーです。

以上のほかにもさまざまなクローラーが存在します。Yahoo Slurpが「日本以外のYahoo!で利用されている」となっている理由は、Yahoo!JAPANがGooglebotを利用しているからです。Googlebotは日本国内で圧倒的な地位(シェア9割程度)を築いています。GoogleとYahoo!JAPANのユーザーを合わせれば日本国内のインターネットユーザーの大部分をカバーできるため、サイト作りを行うときはGooglebotを意識するとよいでしょう。

クローラーの対象は?

クローラーが情報収集をする対象となるのは、HTTP/HTTPSで集められるファイルです。具体的には、以下のファイルなどが情報収集の対象になります。

  1. テキストファイル
  2. CSSファイル
  3. PDF
  4. Flash
  5. JavaScript
  6. 画像
  7. 動画
  8. 音声

もちろん、これら以外のファイルも集めています。クローリングの対象は非常に幅広いといえるでしょう。

SEOで重要なクローラビリティという概念

SEOでは、クローラビリティという概念が重要になります。クローラビリティとはどのようなものなのでしょうか。

サイト作りで意識したいポイントは、「クローラビリティ向上のための対策」で説明します。

クローラビリティとは

クローラビリティとは、「クローラーのクロールしやすさ」のことです。クローラーにとってクロールしやすいウェブサイトは「クローラビリティが高い」、クロールしづらいウェブサイトは「クローラビリティが低い」となります。なぜ、SEO対策でクローラビリティが重要になるのでしょうか。

クローリングにより検索結果に表示される

検索エンジンの検索結果に表示されるためには、検索エンジンのデータベースに登録される必要があります。データベースに登録されるために必要なのが、クローラーによるクローリングです。

クローラビリティが悪いと、作成したウェブページが検索結果に表示されない、あるいは表示されるまで時間がかかる恐れがあります。作成したウェブページを検索結果に表示するため、クローラビリティを高めておく必要があるのです。

検索順位が上がりやすい

クローラビリティの高いウェブサイトは、クローラーにとって理解しやすいウェブサイトと言い換えられます。クローラーにとって理解しやすいウェブサイトは、クローリングにより正確な情報を集められるため検索エンジンから評価されやすい傾向があります。また、クローラビリティの高いウェブサイトはリンクが適切に設置されているため、ユーザーにとっても利便性の高いウェブサイトになります。

検索エンジンの多くは、ユーザーの利便性を重視しています。よって、クローラビリティの高いウェブサイトは、この面からも検索エンジンに評価されます。だから、SEO対策において、クローラビリティは重要といわれているのです。

検索エンジンにおけるクローラーの役割

クローラビリティの高いウェブサイトづくりを行うために、必ず行っておきたいのがクローラーの仕組みと役割を詳しく理解することです。クローラーはどのような仕組みで、どのような役割を果たしているのでしょうか。

検索エンジンを構成する3つの要素の簡単な紹介

冒頭で説明した通り、クローラーは検索エンジンの機能のひとつです。検索エンジンは以下の3つで構成されています。

・クローラー
・インデクサー
・サーチャー

それぞれの働きは以下の通りです。

クローラー

世界中のウェブページを訪問して、情報を収集します。HTTP/HTTPSプロトコルを通信手段としているため、HTTP/HTTPSプロトコルで収集できるものすべてが収集の対象となります。

インデクサー

クローラーが収集した情報を解析し、収集した情報と解析した結果を検索エンジンのデータベースへ登録します。この作業をインデックスと呼びます。

サーチャー

ユーザーが検索したキーワードに対応する解析結果を、検索結果ページとして作成し、送信します。

検索から表示までの流れを解説

以上の3つが機能することで、ユーザーに適切な検索結果が表示されます。検索結果が表示されるまでの流れを整理すると以下のようになります。

  1. クローラーがインターネット上を巡回して情報を収集します。
  2. クローラーが収集した情報を解析して検索エンジンのデータベースへ登録します。
  3. ユーザーがキーワードを入力し検索します。
  4. 保存されたデータベースを活用し、検索結果をユーザーに送信します。

クローラーが収集した情報を取り出しやすい形でデータベース化しているため、ユーザーからのクエリに対し瞬時に最適な検索結果を表示できるのです。以上の流れをさらに詳しく解説します。

※少々深堀した説明となるため、クローラーについてザックリ知りたいくらいに考えていた方は読み飛ばしてしまって結構です。

クローラーのクローリング

クローラーが、インターネット上のリンクをたどり情報収取することをクローリングといいます。クローラーは人間のように目視でリンクを発見することはできないため、ウェブページのHTMLを読んでリンクを発見します。あるいは、XMLサイトマップやRSSなどの要素からURLを取得することもあります。

以上の方法などにより、ウェブページからウェブページへ移動しているのです。

ウェブページへ到着したクローラーは、情報の解析を始めます。パーサーというプログラムにより情報を解析するため、この作業をパーシングといいます。具体的には、titleタグや見出しタグをもとにウェブページのタイトルや見出し、alt属性をもとに画像の意味などを解析します。

到着したウェブページでリンクを発見すると、新しいページへ移動し再び解析を始めます。クローラーは、ウェブページの解析とリンクの発見、リンクをたどる作業を繰り返しているのです。

インデクサーのインデキシング

クローラーが収集した情報を保管することをインデキシングといいます。具体的には、クローラーが収集した情報をインデクサーが読み込み保管します。このときに付与するのがインデックス(索引)です。この処理を行うことにより、必要な情報を瞬時に取り出せるようになります。つまり、検索結果に表示される対象になるのです。

ユーザーによるクエリ

インデックスを用いて、ユーザーが入力した検索キーワードに対応する検索結果を表示することをクエリといいます。クエリは、英語で「問い合わせる」ことなどを意味します。

サーチャーによるスコアリング

サーチャーは、インデクサーが保管したデータをアルゴリズムに基づき並び替えます。アルゴリズムとは、並び替えを行うルールのようなものです。各検索エンジンのアルゴリズムは、検索結果に重大な影響を与えます。

クローラビリティ向上のための対策

クローラーの巡回は、ウェブページが検索結果へ表示される最初のステップです。このステップを踏まないと、どれだけ優れたウェブページであっても検索結果に表示されることはありません。ウェブマスターは、クローラビリティを向上させるため次の対策を講じましょう。

パンくずリストの設定

基本の対策をして行っておきたいのが、パンくずリストの設置です。パンくずリストとは、上位階層のウェブページを表示し、ユーザーに現在地を教えるリストのこと。クローラーはリンクをたどり移動するため、パンくずリストを設置することでウェブサイト内の移動をサポートできます。当たり前に行うべき必須の対策と考えましょう。

sitemap.xmlを設置、送信する

同じく、基本の対策として行いたいのがsitemap.xmlの設置と送信です。sitemap.xmlとは、ウェブサイト内のURLを記載したXMLファイルのこと。クローラーにウェブサイト全体構成を伝えられるため、設置・送信することでクローラビリティが向上します。こちらも当たり前に行うべき必須の対策です。

クローラーが参照する重要なファイルなので、ウェブサイトの更新(コンテンツの追加・削除など)に併せてsitemap.xmlも更新が必要です。

手作業でも行えますが、CMS等でウェブサイトを運用し自動で作成・更新を行えるようにしておくと便利です。また、ミスの心配もなくなります。

sitemap.xmlの送信はGoogleサーチコンソールから行えます。Googleは最も重視したい検索エンジンなので、Googleサーチコンソールからsitemap.xmlを送信しておきましょう。

sitemap.xmlの送信方法は以下の記事で詳しく解説しています。

sitemap.xmlの詳しい設定方法について知りたい方はこちらの記事をご覧ください。

リンク切れのページの排除

リンクを設置していないページをなくすことも、当たり前に行うべき必須の対策です。

クローラーはリンクをたどり移動するため、このようなウェブページは巡回できません。当然ながら、ウェブサイトのクローラビリティは低くなってしまいます。

新しいウェブページを作成したら、他のウェブページからリンクを設置しましょう。特に、CMSを導入せずウェブサイトを製作している方は、手動でリンクを設置しなければならいため注意が必要です。

関連性の高いコンテンツ同士で内部リンクをつなぐ

併せてできる限り行いたいのが、関連性の高いコンテンツを内部リンクでつなぐことです。

クローラーはリンクをたどりウェブページ間を移動するため、内部リンクを設置しておくとクローリングがスムーズになります。

関連性の高いコンテンツに限定している理由は、Googleが関連性の高いリンク先を評価するため、そしてユーザビリティが高まるためです。ユーザビリティの高いウェブサイトも検索エンジンから評価されますので、内部リンクは計画的に設置しましょう。

ディレクトリ構造をシンプルにする

続いて行いたいのが、ディレクトリ構造をできるだけシンプルにすることです。

ディレクトリ構造が複雑だと、目的のコンテンツへたどり着くため何度もリンクをたどらなければなりません。
つまり、クローラビリティがとユーザビリティが低くなってしまいます。トップページからすべてのページへ2クリック程度で到達できるディレクトリ構造にしましょう。

Googleが階層の浅いコンテンツほど重要なコンテンツとみなしている点も見逃せないポイントです。重要なウェブページの階層を深くしてしまうと、適切に評価されない恐れがあるので、重要なコンテンツはできるだけ浅い階層に設置しましょう。

URLの階層についてさらに詳しく知りたい方は、こちらの記事を参考にしてください。

Googleで、URLの長さは問題にならないが階層の深さは重要 from #SMX Advanced 2015

外部リンク(被リンク)を増やす

自分の力だけで行える施策ではありませんが、外部サイトからリンクを貼ることもクローラビリティの向上に役立ちます。クローラーがウェブサイトを見つけやすくなるからです。思わずリンクを貼りたくなるような良質なコンテンツ制作を心がけるとよいでしょう。

SNSからのリンクは被リンクにカウントされませんが、サイトの情報を広く広めるという観点では被リンク獲得につながるため、活用することをおすすめします。

クロールバジェットについて

クロールバジェットとは、Googleが各サイトに設定しているとされるクローリングの上限値です。クローラビリティを意識してサイトづくりを行っている方の中には、クロールバジェットを気にしている方がいるはずです。ウェブマスターはクロールバジェットを気にしなければならないのでしょうか。

大規模サイト以外は気にしなくて良い

クロールバジェットについて理解を深めたい方は、Googleのジョン・ミラー氏の発言を参考にするとよいでしょう。

要旨をまとめると以下のようになります。

・クロールバジェットは過大評価されている。
・ほとんどのウェブサイトサイトは、クロールバジェットを全く気にする必要がない。
・数十億のURLサイトを運用している場合などは重要。

以上の発言から、大規模なウェブサイトを運用しているウェブマスターのみクロールバジェットを気にするべきと考えられます。一般的なウェブサイトの場合、クロールバジェットを節約するため内部リンクを外すなどの対策は必要ありません。クロールバジェットを気にすることなく、クローラビリティを向上させる必要な対策を講じるとよいでしょう。

上位表示を狙うにはユーザビリティとクローラビリティの向上が欠かせない

クローラーは、各検索エンジンが活用しているインターネット上のリンクをたどり情報収集を行うプログラムです。

クローラーが集めた情報を検索データベースに保管することなどにより、適切な検索結果が表示されます。よって、クローラーがウェブサイトを巡回しないと検索結果に表示されません。クローラーの巡回を促すために重要になるのが、クローラビリティです。クローラビリティは、パンくずリストの設置やsitemap.xmlの設置・送信、内部リンクの設置、被リンクの増加、ディレクトリ構造の簡素化などで高められます。

単にユーザビリティを高めるだけでは向上しないので、ウェブマスターはクローラビリティを向上させる対策にも取り組みましょう。対策を講じることで、検索エンジンから適切な評価を受けられるようになるはずです。

関連記事

本当に効果のあるSEO対策をしませんか?

            CTA-IMAGE ファイナルSEOは運営10年以上の実績を誇り、日本全国の企業へ常に最先端のSEOソリューションを提供し続けてきました。 『SEOはサイト運営の基本だからこそ、一時しのぎではなく長く効果をもたらすものを』 その想いからファイナルSEOでは長期的に効果が持続する本質的なSEO対策に取り組んでおり、事実4,200以上の企業から選ばれています。            

サイト内部対策カテゴリの最新記事