Googleがサイト内容を確認するために、サイトをクロールしていることは周知されています。

では、その上限はあるのか？と気になったことはありませんか？

結論から言いますと上限はあります。その上限をクロールバジェットと呼びます。

ただ、この上限は一般的なサイトを運営している上で訪れるような小さな上限ではありません。普通に運営していれば気にすることはない上限となります。

なぜ上限があるのか？

それはクロールするロボット自体に自制がかけられているからです。

クロール速度の自制

ロボットがサイトを確認しに行く速度を指しているのがクロール速度です。サイトの最新の情報を更新しようとロボットが際限なくサイトを訪れて、サーバーに負荷がかかる可能性を考慮し「クロールレート」という速度の制限を組み込んでいます。

クロールの必要性

ロボットがサイトをクロールして「情報を更新しないといけない」と判断してくれるかどうかが重要になります。
特に必要なのはサイトの下記要素となります。

 

 

上記のような指標をもとにロボットが判断しており「クロールデマンド」といわれています。こういった部分がしっかりされたサイトは、高頻度でクロールし情報を更新しようとロボットが判断します。

クロールの上限を気にする必要性

ではクロールの上限は気にしないといけないのか？よほど大型のポータルサイトでない限りは、基本気にしなくて大丈夫です。ただし、「人気度(リンク数)」「鮮度(サイト更新)」に関しては気にしないといけません。クロールバジェットの上限がというよりも、サイトとして上位表示されるために重要になる為です。

 

また、大量のページが生成されてしまう（スケジュールや掲示板が無記入のはるか未来まである）一部のサイトはクロールバジェット(上限)のことを考えないといけません。

クロールがきちんと行われず、インデックスして欲しいページを見てもらえず、インデックスされない可能性があるからです。

気にした方が良いリスト

Googleが公開しているクロールバジェット(上限)を気にした方が良いとされるリストが以下となります。

 

 

こういったページはロボットが「クロールしない」と判断する可能性が高いです。そしてそういったページが多いとサイト自体をクロールしてくれる頻度も下がっていく事が考えられます。

 

単純にサイトの質としても「質が高いサイト」とは言えませんので、クロール面と併せて注意をしていく必要があるといえます。