ウェブサイトの重複ページ対策として、「index.html」の有無や「パラメータ付きURL」を正規化しているという方はたくさんいらっしゃると思います。
重複ページが存在していることはサイトにとって重要な問題であるため、しっかりと対処しているサイトが多いことは非常に良いことだと思います。
しかし今やGoogleは一部の重複ページに関して、きちんと正規化できていることが分かりました。

「index.html」の正規化は特に必要が無い！？

ウェブサイトの内部修正作業として「index.html」の有無を修正しているケースは非常に多いと思います。
しかしその修正作業、実は今や特に必要がないということが分かりました。
かつては「index.html」があるURLとないURLの両方が存在していると、重複コンテンツと捉えられてしまう可能性があるため、どちらか一方へのURL正規化が必要であるとされていました。
しかし今はGoogleが「index.html」なしのURLを自動的に正規URLとして処理しているのです。

パラメータ付きURLの場合はどうなる？

「index.html」の場合は自動処理されることになると分かりました。
ではパラメータ付きURL、つまり「？」マークの場合はどうなるのでしょうか。

稀に、パラメータ付きURLでウェブサイトのTOPページなどと重複しているサイトがあります。
「○○.com/?top」などのページで、結果的にTOPページと同じような形になっているパターン。
このような場合、Googleがどのように処理しているのか明確には分からないそうですが、これを適切に自動処理しているケースもあると、ジョン・ミューラー（John Mueller）氏は話しています。

基本的に、パラメータ付きURLではコンテンツが変化することが多いですよね。
たとえば、サイト内検索をした後のURLや、2ページ目や３ページ目などのURLです。
このような場合、コンテンツが変化してしまうわけですから、自動処理をするようなことはないと考えられます。

適切な正規化はやっておくべき

Googleのページ重複に対する自動処理が行われるものもあるということが分かりましたが、そうなるとサイト側の指示は特に必要がないということでしょうか。
そもそもGoogleがこの判断をどのタイミングで行っているのかという点ですが、この処理はインデックスの非常に早い段階で行われているそうです。
canonicalタグやリダイレクト処理など、ウェブサイト側からのシグナルを処理するより先だそうです。
そのため特に必要ないと言えるのも事実です。

とはいえ、こういったサイト側のシグナルを指示しておくことが全く不要なわけではありません。
Google側からすれば、そのシグナルによって明確な判断ができるためです。

まとめ

かつては重複ページとして捉えられる可能性があるとして考えられていたものも、今やGoogleが自動判別を行い正規化してくれます。
その自動処理が適切であったとしても、ウェブマスターはサイト側からGoogleに適切に指示を出すべきです。
なぜならGoogleが間違った処理をしてしまう可能性もなくはないですし、パラメータ付きURLの場合は特にGoogle側が自動判別しないケースもあるため、適切な指示が必要なのです。
ウェブマスターの皆さんは今まで通りしっかりと設定しておきましょうね！