既にindexされているページを検索結果から消したい。
こういったケースは長くサイト運営をしていると生じるものです。運営視点で表示を無くしたかったり、SEO観点で低品質ページのindexを無くすなど事情も様々でしょう。

その際の方法をインターネットで調べると、noindexメタタグを使いインデックス禁止をGoogleに伝える方法や、robots.txtファイルでクロールを拒否する方法などが掲載されているかと思います。ただし誤った使用方法をするとindex拒否が正常に機能しなくなってしまいます。

注意すべき点

注意すべき点として【この2つを併用してはいけない】という事を覚えておいてください。

noindexメタタグ

検索エンジンにindexさせないようにするための構文です。このタグが設置されたページをGoogle botが見て「indexしない」という判断を取ります。
その為、noindexメタタグが設置されているページをrobots.txtファイルでクロール拒否してしまうと、Googleが対象ページを見つけられず、noindexメタタグの効果を発揮する事が出来なくなってしまいます。

🔻基本的な記述例

<meta name="robots" content="noindex">

robots.txtファイル

クロール拒否の記述としては「Disallow:」を用います。指定したページやディレクトリのクロール拒否をGoogle botに伝える事が出来ます。
こちらは既にindexされているページではなく、indexされる前のページに対して行う事でGoogleからのindex拒否に効果的です。

🔻基本的な記述例

User-agent: *
Disallow: /○○○

Sitemap: http://○○○○○/sitemap.xml

正しい利用方法

• 既にindexされているページではnoindexメタタグを使用する
• まだindexされてないページではnoindexメタタグかrobots.txtファイルどちらかを使用する
• noindexメタタグとrobots.txtファイルの併用はしない

簡単に言うと上記の通りです。

indexされてないページでは、一度クローラーが回ってくるまで待たないとnoindexメタタグの効果が発動しないので、robots.txtファイルでの拒否の方が利便性が高いケースがありますが、もちろんnoindexメタタグを使用してindex拒否をしても問題はありません。

風俗店舗様の場合、アンケートページ、リンクページ、ユーザー向けサイトマップページなど、コンテンツ価値が低くなってしまうページでindexを消したい場面が多くなります。
他にも、日々生まれる新着情報ページなど、サイトの一部とするには重複リスクが大きくなってしまうページもあるでしょう。
そんな時は上記を参考に正しい方法でindex拒否を行いましょう。

便利な小技

小技として、上述したnoindexメタタグの基本的な記述例では「indexを拒否する」という内容になりますが、indexを拒否しつつも対象ページ内のリンクを辿らせたい場合はfollowを追加した下記タグを使いましょう。

<meta name="robots" content="noindex,follow">

noindexメタタグとrobots.txtファイルの併用は本当によくある間違いです。
基本的なルールは守りながらも、必要に応じてSEOで有利になれるよう当記事を参考にしていただければ幸いです。