以前の記事で、クロールバジェットについて説明しました。

クロールの上限、クロールバジェットとは？

Googleは、ウェブページの情報を集める為にクローラーと呼ばれるロボット（プログラム）を使用しています。皆様のウェブサイトの情報もクローラーによって集められていますが、集められるページには上限があり、それがクロールバジェットです。

Googleのジョン・ミューラー氏が、クロールバジェットについてTwitterでコメントしました。

私見ですが、クロールバジェットは過大評価されています。ほとんどのサイトは気にする必要がありません。あなたがウェブの巡回を実行する場合や数十億ものページがあるサイトを運営している場合は重要ですが、平均的なサイト所有者にとってはそれほど重要ではありません。

更に、ユーザーからの質問に答える形で、下記のコメントをしております。

定期的なクロールは、検索の表示回数やランキングに必要なことではありません。　（URL数についても特にECサイトでは誤解を招きやすく、絞り込みや並べ替え等で不要なURLが多くなっています。）

これらのコメントから、クロールバジェットは、ランキングには直接の関係はないということになります。同じページに対して毎回クローラーが訪れるように出来たとしても、そのページがあまり更新されていないページならば効果はないということです。

しかし、頑張って更新しているページにクローラーが訪れてくれないということもあります。そのような場合は、クロールバジェットの問題ではなく、クローラビリティの問題が考えられます。

クローラーが訪れて欲しいページへのリンクが少なかったり、深い階層だったりしていませんでしょうか？サイトマップにはそのページのURLが記載されていますでしょうか？

クローラビリティ以外にも、同じような内容のページが複数存在している為に重複ページの扱いにされている場合やcanonicalタグの記述ミスで別のページに統合してしまっている場合なども考えられます。

風俗店であれば、女の子の詳細ページなどがクローラーに発見されにくい状態になっている事が多くあります。風俗情報のポータルサイトの場合は、URLが無限に生成されるような作りになっていてクローラーが途中で巡回をやめてしまっているといったこともあります。

サイトを更新しているのにクローラーが回ってこない、最新のページがインデックスされないといったお悩みがある場合は、風俗売上.comにお気軽にご相談ください。