サイトにsitemap.xmlとrobots.txtを正しく設置されていますでしょうか？
sitemap.xmlとrobots.txtはそれぞれGoogleが正しくサイトを確認するのに必要なもののひとつとなります。
sitemap.xmlについて
検索エンジンへサイト内ページのURLを伝えるファイルとなります。
sitemap.xmlを設置することで、検索エンジンへサイト内のページ情報を正しく伝えインデックスに登録を促すことが出来ます。
※インデックスはクローラーの判定次第であり、あくまで促すものでsitemap.xmlに記述すれば100％インデックスされるものではありません。
ただし記述していないとインデックスされなかったり、インデックスされるまでに結構な時間を要する場合があるので、sitemap.xmlの設置はするべきだと言えます。
robots.txtについて
クローラーがサイト内で1番始めにアクセスするファイルとなります。
robots.txtに記載された内容を参照しクロールを開始します。記述によりsitemap.xmlの場所、クロールしてほしくない階層やページを指定することが出来ます。
sitemap.xmlの記述が無い場合だと効率良くサイト内をクロール出来ないので、sitemap.xmlの場所の記述はするべきだと言えます。
設置場所について
robots.txt
robots.txtはクローラーがサイト内で1番始めにアクセスするファイルですので、ドメインの最上階層(ドメイン直下)に設置するとされています。
例えば
http://sample.com/robots.txt
といった具合になります。
間違った例としましては
http://sample.com/updata/robots.txt
のようにアップしたファイルを置く階層を用意しrobots.txtを置くことは意味がありません。
また、全国の風俗情報サイトのように各地域毎に階層を分けている場合でもrobots.txtを下層に設置するのは間違いとなります。
http://sample.com/tokyo/robots.txt
http://sample.com/oosaka/robots.txt
robots.txtはドメインの最上階層(ドメイン直下)に設置してください。robots.txtは記述の頭に「#」を付けることでコメントを書き込むことも可能です。
User-agent: *
#クロールして欲しくないものを記述する
Disallow:
#サイトマップを記述する
Sitemap: http://sample.com/sitemap.xml
上記のようにサイト制作者が他の人に分かりやすくすることが可能です。「#」を付けることでコメント扱いとなりクローラーは読み取りません。
ですので、読み取って欲しい記述には「#」を付けないように気をつけましょう。
例えばですが/admin/をクロールして欲しくない場合に
#Disallow: /admin/
と記述してしまうとhttp://sample.com/admin/をクロールしないでくださいと希望していたがコメント扱いとなり、クロールされてしまいます。クロールを拒否するのであれば「#」を削除し
Disallow: /admin/
と記述するようにしましょう。
sitemap.xml
sitemap.xmlはドメインの最上階層(ドメイン直下)が望ましいですが、sitemap.xmlに関しましてはrobots.txtで場所を提示していれば、下層でも問題ありません。
全国の風俗情報サイトのように各地域毎に階層を分けている場合はそれぞれの地域毎の下層の最上に設置する形で問題ありません。
http://sample.com/tokyo/sitemap.xml
http://sample.com/oosaka/sitemap.xml
例えばですが下記のような8ページがある場合
-------------
http://sample.com/tokyo/aaa.html
http://sample.com/tokyo/bbb.html
http://sample.com/tokyo/ccc.html
http://sample.com/tokyo/ddd.html
http://sample.com/oosaka/aaa.html
http://sample.com/oosaka/bbb.html
http://sample.com/oosaka/ccc.html
http://sample.com/oosaka/ddd.html
-------------
http://sample.com/sitemap.xml
に8ページ全ての記述をするのは問題ありません。
http://sample.com/tokyo/sitemap.xml
に/tokyo/の4ページを記述することも問題ありません。
http://sample.com/tokyo/sitemap.xml
に8ページ全てを記述したり、/oosaka/や別地域の下層ページを記述するのは間違いとなります。そのsitemap.xmlのファイルを置く階層以下のページしか含めることはできません。
ですのでrobots.txt同様にアップしたファイルを置く階層を用意し、sitemap.xmlを置くことは意味がありません。
http://sample.com/updata/sitemap.xml
階層毎に分けた場合はrobots.txtへのsitemap.xmlの記述も階層毎に全て記述するようにしましょう。
例：
User-agent: *
Disallow:
Sitemap: http://sample.com/tokyo/sitemap.xml
Sitemap: http://sample.com/oosaka/sitemap.xml
基本的過ぎる為なのか間違いのあるサイトを多く目にします。自身のサイトをGoogleに正しくクロールしてもらえるように、sitemap.xmlとrobots.txtの見直しを推奨いたします。
