近頃、「Googleに新しいページがインデックスされない」「インデックスされてもすぐに消えている」といった話をよく耳にします。
もちろんこれはサイトマップや内部リンクなどを適切に構成したり、robots.txtやnoindexタグで妨げていないことを確実にしたり、と技術的な対策は実行しているという前提の話です。

Googleはインデックスの基準を高くしているのか？

毎日のように膨大な数のコンテンツがネット上に新たに公開されています。
そんな中で、いくらGoogleでも、クロールやインデックスのためにリソース（ディスク・ネットワーク・CPU）を無限に使えるわけではありません。
そのため、かつてのように世界中の情報をインデックスすることまではしていない可能性があります。
つまり、品質が良いと考えられる記事を選別しているのではないかと考えられるのです。

この問題に対してGoogleのJohn Mueller(ジョン・ミューラー)氏は、最近ますます品質の低さに起因してインデックスされないケースが増えているようだと述べています。
ミューラー氏のアドバイスをいくつか紹介します。

特定の記事だけを修正するのではなく、サイト全体の品質を上げなければインデックスされるようにならない。

Googleはクロールやインデックスを常に実行していて休んだりはしない。
あなたの管理しているサイトが、もしクロールやインデックスされていないのだとしたら、それはGoogleがあなたの管理しているサイトよりも重要だと感じるサイトに対してクロールやインデックスすることを優先しているといえる。
対策があるとすれば、Googleに「重要なサイトを見逃している」と、納得させるようにしなければならない。

特にインデックスされない問題が多いようであれば、『ページ数を増やす』のではなく、『もっと良いページを作る』ことを推奨する。

ミューラー氏の発言をまとめると、以下のようになります。

• Googleはクロールやインデックスを常に実行している
• インデックスされないということは、そのサイトよりもより良質なサイトをGoogleは優先しているということ
• 『もっといいページを作る』ということが最大の対策である

Googleからは、インデックスの基準を高めているのかという点に関する言及はないものの、インデックスされないことに対する対策は言及されています。
そして、基準が高まっているというよりも、他のサイトよりもきちんと良質なサイトが作られているのかを確認し、作り直していくことが重要だ、ということがわかります。

インデックスされないサイトにはパターンが存在する？

SEOコンサルタントのLily Ray(リリー・レイ)氏は、低品質評価がインデックスを阻害している件について次のようにコメントしています。

最近多くのインデックスに苦しんでいるサイトを見ると、次のようなパターンがサイト全体に渡って存在している。

• 低品質
• 重複コンテンツ
• 類似したURL

たとえばコンテンツが自動生成ならば、titleタグを変えたりh1タグを変えたりしても、オリジナルで高品質なページを作るには十分ではない。

レイ氏の発言もGoogleの認識とほとんど変わりません。
つまり、「インデックスの基準が高くなっているのではないか？」というような基準云々の前に、低品質なコンテンツや重複しているコンテンツであることが問題なのではないか、ということです。

まとめ

結論として、Googleはインデックスの基準を高めているというわけではなさそうです。
ではなぜインデックスされないサイトが増えているのかということを、Googleの見解から読み解くと「低品質なコンテンツだから」「あなたのサイトよりもいいサイトがあるから、そちらを優先している」ということになります。

コンテンツを制作している側としては低品質なコンテンツだと思っていないことがほとんどだと思います。
しかしGoogleの目線ではそれがユーザーに検索結果として提示するには品質が良くない（もしくは他にいいサイトがある）と思われているのです。
対策としては低品質なコンテンツを回避するしかありません。
そのためには、サイト制作に関わっている人間の判断だけでは不十分なのかもしれません。
第三者からの意見（客観的な意見）を取り入れ、他のサイトよりも良いコンテンツを作ることが最大の対策になると考えられます。