ウェブサイトを運営していると、検索結果に表示させたいページはもちろんのこと、検索結果に表示させたくないページもチラホラ出てきますよね。
検索結果に表示させたくないのに検索結果に出てきてしまうこともよくあることでしょう。

検索結果にページを表示させないようにすること、それをここでは「検索避け」と呼ぶことにします。
この「検索避け」には3つの方法がありますが、どれも基本的なテクニックです。
それぞれの方法について改めて理解すること、そして確実に「検索避け」できる方法についても確認していきましょう。

3つの「検索避け」とは

GoogleのJohn Mueller(ジョン・ミューラー)氏が、動画で管理サイトのコンテンツが検索結果上に出ないようにするための方法を簡潔に解説してくれました。

ミューラー氏が提案した「検索避け」の方法は下記の3つとなります。

• パスワードでの保護
• robots.txtでのクロール拒否
• noindexによるインデックス拒否

ミューラー氏によるそれぞれの解説を簡潔にまとめてみました。

パスワードで保護

最も安全かつ確実なのはパスワードでの保護。
パスワードを入力しないとアクセスできないようにする方法であれば、パスワードなしでは検索エンジンのクローラーもアクセスすることができません。

パスワードで保護する方法は、検索結果上での表示を防ぐことができ、不特定ユーザーのアクセスも防ぐことが可能です。

robots.txtでのクロール拒否

クローラーはrobots.txtの内容に従うので、robots.txtでクロールを拒否されていればクローラーはアクセスすることはできません。
ただし、robots.txtでのクロール拒否は理想的な方法ではありません。

稀なケースですが、他サイトからリンクがある場合、検索結果上に表示されることがあるからです。
また、直接URLに飛ぶ、リンクを辿る等でユーザーは普通にアクセスすることできます。

つまりrobots.txtでクロール拒否をする方法は、検索結果上で表示される場合があり、不特定ユーザーにアクセスされます。

noindexによるインデックス拒否

robots metaタグでnoindexを指定してインデックスを拒否することで、検索エンジンにクロール後に検索結果上に表示しないように(インデックスしないように)指示することができます。
ただし、直接URLに飛ぶ、リンクを辿る等でユーザーは普通にアクセスすることできます。

noindexによるインデックス拒否は、検索結果上での表示を防ぐことができますが、不特定ユーザーにアクセスされる可能性があります。

「パスワードで保護」する方法が確実！

以上のことから、最も安全かつ確実な方法はパスワードで保護する方法です。
検索結果上での表示を防ぐだけでなく、不特定のユーザーにアクセスされない非公開状態にすることができるため有効だと言えます。

ただし、「コンテンツを非公開にする必要はない」「一部のページのみを検索結果に出したくない」といった場合には、robots.txtでのクロール拒否やnoindexによるインデックス拒否といった方法も便利です。
なぜ検索を避けたいのか、その点をよく考えた上でそれぞれの方法を使用することをお勧めします。