今回はGoogleの「クロール」をテーマにお話していきます！
まずはGoogleのゲイリー氏（Gary Illyes）がLinked Inに投稿した内容を見てください。

今年の私の使命は、クロールの量をさらに減らし、ネットワーク上の転送データ量を削減することです。

以前からGoogleが話していた内容ではあるのですが、本格的にGoogleは今年中に取り組むことを明言したと考えても良いでしょう。

Googleはクロール量を減らしたい

今もこの瞬間もGooglebotはさまざまなウェブページをクロールしては評価をしているわけですが、Googleはそのクロール量を今年中に減らしたいと考えています。
「所詮Googlebotはロボットでしょ？頻度を減らす必要なんてないじゃん」と思った方もいらっしゃることでしょう。
しかし、いくらロボットとはいえ、日々新しいページが増えるWEBの世界でそれは難しい話です。

たとえば今WEB の世界に100億ページ以上のサイトがあったとして、毎日5000万ページ以上増えるとします。この時、Googlebotが1日でクロールできる量が70億ページだったとしたら、現時点でも1日に1回クロールされるページと2日に1回クロールされるページがあるにもかかわらず、100日後には50億ページが追加されて合計で150億ページになったら3日に1回しかクロールされないサイトもでてきます。
人だろうがロボット（Googlebot）だろうが、1日は等しく24時間ですから、その活動量にも限界があるわけです。
※ちなみにGoogleのいう「クロール頻度」とは単純に回数の話だけではなく、クロールの速度のことも含まれています。今回の例ではわかりやすく回数だけに絞り込み、かつ非常に単純な例としていますのでご了承ください。

もちろん上記の例のように簡単な話ではなくもっと複雑な話ではあるのですが、より良いコンテンツを検索結果に表示させたいと考えているGoogleとしては、どれだけ頑張っても3日に1回しかクロールできないページが出てくるのは惜しいと感じるのは当然です。
だからこそ無駄になってしまっているクロールを減らしたいと考えているわけです。

クロール頻度を増やす方法はないのか？

しかし、WEBサイトを運営している側としては苦しい話でもありますよね。
良いコンテンツを作り上げたのになかなかクロールされない可能性もでてくるわけですからクロール頻度を下げないで欲しいというのが本音でしょう。

ではクロール頻度を上げる方法はあるのでしょうか。

もちろんあります。
それは「優先的にクロールされるように高品質なコンテンツをつくりあげること」です。
抽象的な回答にはなりますがこれが全てです。
もっと具体的に言えば、以下の通り。

• 検索結果におけるサイトの重要性
• コンテンツの質
• 外部からのリンク数

これらのことを意識したサイトづくり、ページづくりをすることが唯一の方法です。
今回のアップデートにてコンテンツの質が他よりも劣っていると感じた方はむしろ今がチャンスです。
Googleが本格的にクロール頻度の減少に乗り出す前に、高品質なコンテンツを仕上げていきましょう！