以前に風俗売上.comの記事で、サイトマップファイルと合わせてrobots.txtをご紹介しました。

sitemap.xmlとrobots.txtを今一度確認しよう

robots.txtはクローラーがサイト内で最初に訪問する場所、入口部分となります。ここでサイトの地図でもあるサイトマップファイルの場所や、訪れてほしくないページなどを記述することでクローラーの動きを制御することができる優れものです。

このrobots.txtではいくつかの構文を使ってクローラーへ情報を伝えますが、以前ご紹介した構文は

User-agent: (以下の指示を聞いてもらいたいクローラーを指定)
Disallow: (クローラーに来てほしくないページの指定)
Sitemap: (サイトマップファイルの場所を指定)

の3つでした。

実はこの3つの構文以外に「隠し機能」と言われていた構文が存在していたのです。その一つが、今回の話題となる「Noindex」構文です。

Noindex構文とは？

Noindex構文は下記のように記述をし、「インデックスをしてほしくないページをrobots.txtで指定するための構文」です。

Noindex: /sample.html

インデックスしてほしくないページの指定といえば、metaタグの一つであるnoindexタグですね。こちらと同様の働きをrobots.txt内で行える構文が存在し、機能していたのです。

しかし、GoogleはというとこちらのNoindex構文を正式にサポートしていませんでした。機能はしているのになぜサポートがされなかったのか、この点については数年前にGoogleのミューラー氏がウェブマスターオフィスアワーにてこう説明をしていました。

robots.txtのnoindexは、間違って使われる可能性がある。働きを理解しないサイト管理者がコピーしてそのまま使ってしまう可能性を想定すると、サイトが検索から消えてしまった！と慌てる人もいるだろう

上記の件に関しては、Googleのゲイリー氏もtwitterにて、

機能はしているがサポートはしていないし、いつなんどき機能しなくなるかもしれないというのは認識するように

と注意を促していました。

長らくこの状態が続いていましたが、ついにNoindex構文のサポート終了(機能しなくなる)をGoogleが正式に告知しました。サポートが終了すると、robots.txtのNoindexは完全に無効となります。

それではどうしたらいいのか？

今までこの構文を知らなかったから使っていない、という方は特に今まで通りの対応で問題ありません。しかし、実はこの構文を知っていて使っていた、という方はどのように対応していったらいいのでしょうか？

GoogleがNoindex構文のサポートを終了するのは2019年9月1日からの予定です。それまでに、インデックス拒否の手段を下記へ切り替えることをおすすめします。

• noindexタグ
• HTTP ステータスコードで404
• 対象ページのパスワード保護
• robots.txtのDisallow
• Search ConsoleのURL削除ツール

どのように切り替えたら良いの？このページはどれで切り替えるのがいいの？などなど、疑問点があるサイト管理者の方はぜひ風俗売上.comまでご相談ください。