重複コンテンツとは何か
重複コンテンツとは、同じ内容、または非常によく似た内容のページが、それぞれ別のURLで公開されている状態を指します。Googleは1つのコンテンツにつき1つのURLを正規URL（検索結果に出す代表のURL）として選び、検索結果には通常それを表示します。複数のURLがあること自体は、Googleにとって想定内の状況です。
発生する場所によって、2つに分かれます。
| 種類 | どこで起きるか | 代表例 |
|---|---|---|
| 内部重複 | 自社サイトのなか | wwwの有無、httpとhttpsの併存、URL末尾のスラッシュの有無、パラメータ付きURL、ECの色違い・サイズ違いページ、カテゴリページとタグページ |
| 外部重複 | 自社と他サイトのあいだ | 他メディアへの寄稿、プレスリリースの転載、第三者による無断転載 |
重複のあり方は、大きく3つに分けると整理しやすくなります。
- 内容が一字一句同じ（完全一致）
- 大部分が似ている（部分一致）
- 文章は違うが、検索意図が同じ
Googleが重複コンテンツとして扱っているのは、1と2です。3は、文章はまったく別に書いているのに、読者が知りたいことが同じ、という状態です。「SEOの費用」と「SEOの価格」をそれぞれ狙った2本の記事は、書き手にとっては別の記事でも、検索する人にとっては同じ情報です。記事が増えてきたときに「重複しているのでは」と気になるのは、たいていこの3つ目です。この記事では、3も重複コンテンツの1つとして扱います。
自社サイトの中で起きる1と2の多くは、URLの作りから生まれます。3は書き方から生まれます。どちらも「重複コンテンツ」と呼ばれますが、発生する原因はまったく違います。
ペナルティではない。それでも放置しない理由
自社サイト内の重複について、Googleは公式ドキュメントで明確に書いています（他サイトとのあいだで起きる外部重複は、第8章で扱います）。
サイトに重複コンテンツがあっても Google のスパムポリシー違反にはなりませんが、ユーザー エクスペリエンスを損ない、重要ではない URL に検索エンジンのクロール リソースを浪費させてしまう可能性があります。
（Google 検索セントラル「検索エンジン最適化（SEO）スターター ガイド」）
現在のGoogleのスパムポリシーには、「重複コンテンツ」という項目はありません。他サイトのコンテンツを転載する行為は、「スクレイピング」という別の項目で扱われています。違反の例として挙がっているのは、独自の価値を加えずに転載し、検索順位を操作しようとするものです。ポリシー違反として問われるのは、そうした他人のコンテンツの使い方であって、自社サイトのなかでURLが分かれていることではありません。
同じガイドは、同じ内容のページをリダイレクトやcanonicalで1つにまとめる方法を説明したうえで、こう続けています。
それほど気にする必要はありません。一般的には、検索エンジンが正規化してくる場合がほとんどです。
（Google 検索セントラル「検索エンジン最適化（SEO）スターター ガイド」）
では、なぜ直すのか。Googleは代表となるURLを1つ選んでくれますが、選ぶのは機械であって、こちらではありません。 ここから2つのことが起きます。
出したいページが出ないこと。 正規URLの選択は自動で行われるため、こちらが検索結果に出したいと思っているページとは別のページが選ばれることがあります。古いバージョンのページや、パラメータ付きの一時的なURLが選ばれてしまうと、訪れた人が期待した情報にたどり着けません。
評価の集まる先を、こちらが決めていないこと。 どちらを代表にするかを指定していなければ、被リンクや参照が付いているURLと、Googleが代表に選んだURLがずれることがあります。評価は代表のURLに集約されますが、どのURLに集約するかを決めるのはこちらではありません。
どちらも、代表URLを選ぶのがこちらではないことから生じます。
クロールバジェットは、自社に効く論点か
最初の引用で、Google自身がクロールリソースの浪費に触れています。
ただし、クロールバジェットを扱った別のガイドでは、対象となるサイトの規模が示されています。
サイト内で頻繁に更新されるページがそれほど多くない場合や、ページが公開日と同じ日にクロールされると考えられる場合は、このガイドを読む必要はありません。
（Google クロール インフラストラクチャ「クロール バジェットを最適化する」）
対象読者として挙げられているのは、重複のないページが100万以上あって週1回更新されるサイト、または1万以上あって毎日更新されるサイトです（大まかな目安とされています）。もう1つ、Search Consoleで大半のURLが「検出 – インデックス未登録」に分類されているサイトも挙がっています。記事が数十本で、公開した記事がふつうにインデックスされているサイトは、どちらにも当たりません。
自社に当てはまらない問題を心配しても、対応に使える時間が減ってしまいます。中小企業のサイトで、URLの作りから生まれる重複を直す理由は、クロールの効率ではなく、代表を選ぶ主体がこちらではないことに絞ってよいと私は考えています。
技術の重複の、見つけ方と直し方
URLの作りから生まれる重複は、Google Search Consoleで確認できます。「インデックス作成」の「ページ」を開き、「ページがインデックスに登録されなかった理由」の一覧を見ます。次の2つが出ていれば、重複が起きています。
- 「重複しています。ユーザーにより、正規ページとして選択されていません」＝正規URLの指定がなく、Googleが自分で選んだ状態
- 「重複しています。Googleにより、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」＝canonicalで指定したが、Googleがその指定に従わなかった状態
見つかったあとの手段は3つです。どの手段を使うかは、主にそのページを残す必要があるかどうかで判断します。
| canonicalタグ | 301リダイレクト | noindex | |
|---|---|---|---|
| ページを残せるか | 残せる | 残せない（転送される） | 残せる |
| 被リンクの評価 | 統合される（ただし指示は絶対ではない） | 引き継ぐ | 引き継がない |
| Googleへの伝わり方 | 強いシグナル。ただし従わないことがある | canonicalより強いシグナル | 従う（検索結果から外れる） |
| 使いどころ | パラメータ違い、印刷用ページ、商品のバリエーション | www有無やhttps統一、URL構造の変更、記事の統合 | タグページ、サイト内検索結果 |
canonicalは強いシグナルですが、Googleが従わないこともあります。Search Consoleに「Googleにより、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」と出ている場合は、canonicalで指定したページが採用されていません。そのときは301リダイレクトに切り替えるか、そもそも指定先のページが本当に代表としてふさわしいかを見直します。
3つの手段のうち301リダイレクトは、表の「https統一」のように、httpとhttpsにURLが分かれたページを1つにまとめるときにも使います。このとき、トップページだけでなく全部のページが転送されているかを、誰にどう確かめてもらうかは、SSL化の記事で解説しています。
関連記事SSL化とは？自分のサイトがSSL化できているかの確かめ方と、切り替えたあとに確かめること
3つの手段のうちnoindexについては、書き方と、自分のサイトでいまnoindexが付いているページの確かめ方を、noindexとnofollowの違いの記事で解説しています。
関連記事noindexとnofollowの違いとは？書き方と、付いているページの確かめ方
canonicalも301もnoindexも、URLが分かれたあとに使うものです。では、サイトを運用するなかで増えやすいのは、どちらの重複なのか。
運用中に増えやすいのは、どちらの重複か
www有無やパラメータの話と、似た記事を複数書いてしまう話は、同じ「重複コンテンツ」という名前で呼ばれます。ただ、この2つは、生まれる時期も、その後の増え方も、直す人も違います。
技術の重複への対処は、サイトを作るときの設定で終わります。制作会社に依頼して公開したサイトであれば、公開前に処理されていることが多いでしょう。処理されていなければ問題ですが、それは一度直せば止まる種類の問題です。
意図の重複は違います。記事を1本書くたびに、増える可能性があります。10本程度では起きなくても、記事数が増えるほど起こりやすくなります。書いている本人は、過去に書いた記事の内容を細部まで覚えていません。そしてこの重複は、タグを貼るだけでは消えません。書き分けるか1本にまとめるかを決め、記事の内容や公開方法を見直す必要があります。
生じる影響も、技術の重複とは違います。同じキーワードに自社の記事が2本あると、内部リンクや被リンク、検索結果に表示された回数が2本に分かれ、どちらも上位に上がりにくくなることがあります。どちらが検索結果に出るかが入れ替わることもあり、出てほしいほうをこちらで決めることはできません。これはGoogleが公式に説明している仕組みではなく、私が実務で置いている前提です。似た記事が増えてもペナルティにはなりませんが、放っておいてよいわけでもない、というのはこの意味です。
自社のサイトで何が起きているかを考えるとき、まずこの2つのどちらの話をしているのかを決めます。決めないまま対策の一覧を眺めても、自分に関係のある行が見つかりません。運用しながら自分で増やしてしまうのは、意図の重複のほうです。
「同じ検索意図」かどうかを、どう判定するか
意図の重複が厄介なのは、見た目で判断できないことです。タイトルが似ていても重複しているとは限らず、タイトルがまったく違っても重複していることがあります。
「問い合わせフォームの離脱を減らす方法」と「入力フォーム改善のポイント」は、並べても文字がほとんど重なりません。それでも、読んでいる人が知りたいことは同じです。逆に「SEO対策の費用相場」と「SEO対策の費用を抑える方法」は、文字がほとんど重なっているのに、前者は発注前に相場を知りたい人、後者はいま払っている費用を減らしたい人で、検索する時点の状況が違います。
判定は、書き手の感覚ではなく、実際のデータで行います。
Google Search Consoleの「検索パフォーマンス」を開き、「検索キーワード」のフィルタで「正確なクエリ」を選んで、狙っているキーワードを入れます。そのまま「ページ」タブに切り替えると、そのキーワードで表示されている自社のURLが並びます。ここに2つ以上のURLが出ていれば、同じ意図の記事が重なっている疑いがあります。そのうえで、2本を開いて、同じ問いに答えているかを確かめます。答えている問いが同じなら、同じサイト内のページ同士が検索評価を競い合っている可能性があります。同じサイト内のページ同士が競い合うこの状態は、カニバリゼーションと呼ばれます。先ほどの「費用相場」と「費用を抑える方法」のように、2つのURLが出ていても答えている問いが違えば、重複ではありません。2つ以上出たら疑う、というのはGoogleが示している基準ではなく、私が実務で置いている前提です。URLが1つだけであれば、少なくともSearch Consoleで確認できる範囲では、競合の兆候は見られません。
「次を含むクエリ」を選ぶと、「重複コンテンツ 対策」のような別のキーワードも混ざります。「正確なクエリ」にしないと、1つのキーワードでの判定になりません。
検索窓で自分の目で確かめる方法もありますが、こちらは取りこぼします。順位が低いほうのページは検索結果の何ページも先にあり、目には入りません。同じサイトから並べて表示される件数にも上限があります。Search Consoleでは、検索結果の後ろのほうにあるページでも、表示されていれば記録に残ります。日を変えて何度も検索する必要もありません。
順位チェックツールを使っている場合も判定できます。1つのキーワードに対して記録されるURLが途中で入れ替わっていれば、その2ページは同じ意図を扱っている可能性が高いといえます。ただし、URLの入れ替わりはリライトや内部リンクの変更でも起こるため、Search Consoleで裏を取ると確実です。
判定できたら、選択肢は3つです。
- 書き分ける：それぞれが答える問いを別のものに変える。片方を「費用の目安」、もう片方を「費用が変わる要因」に寄せるなど、読者が知りたいことのレベルで分ける
- 統合する：どちらか一方に内容をまとめ、もう一方から301リダイレクトを設定する。被リンクの評価も引き継げる
- 片方をやめる：アクセスも被リンクもなく、読者にとって読む必要のないページであれば、削除するかnoindexにする
順序としては、まず書き分けられないかを検討します。書き分ける軸が見つからなければ統合し、片方にアクセスや被リンクがほとんどなければ、削除やnoindexを検討します。
書き分けるか統合するかで迷ったときは、統合後の記事の見出し構成を作ってみると判断しやすくなります。見出しが2本の記事にきれいに割れるなら、書き分ける軸はまだ残っています。1本の記事に収まってしまうなら、もともと同じ記事でした。
統合するときに、どちらを残し、内容をどう寄せるかは、リライトの記事で扱っています。
ここまでの3つの選択肢は、どれも書いたあとの処理です。書く前に防ぐという考え方は、「正規化」という言葉のもともとの意味から見ると分かりやすくなります。
「正規化」はもともとデータベースの言葉だった
SEOでは、URLの正規化という言い方をします。canonicalタグのことを正規化タグと呼ぶこともあります。この言葉は、SEOのために作られたものではありません。もともとはデータベース設計の用語です。
リレーショナルデータベースの正規化は、データの重複と矛盾をなくすための設計手法として説明されます。同じ事実が複数の場所に書かれている状態を解消し、1つの事実が1箇所にだけ存在するようにテーブルを分けていく作業です。
なぜ重複を嫌うのか。データが2箇所にあると、片方だけを更新したときに矛盾が起きるからです。住所を2つのテーブルに持っていて、片方だけ引っ越し後の住所に直せば、そのデータベースは2つの異なる住所を同時に持つことになります。どちらが正しいかは、データベースからは判断できません。
Webサイトで起きていることも、構造は同じです。同じ内容の記事が2本あって、片方だけを書き直したとします。もう片方には古い内容が残ります。そしてGoogleが古いほうを代表に選んでいれば、検索結果に出るのは古いページです。第2章で挙げた「出したいページが出ない」は、この形で表れます。
canonicalタグは、すでに複数の場所に同じものがある状態を前提として、どれを代表とするかを機械に伝えるための手続きです。悪い手段ではありません。ECサイトの色違い商品のように、ユーザーにはどちらのページも見せる必要があるが検索エンジンには1つだけ見せたい、という場面では、canonicalが最も素直な手段になります。
一方、記事コンテンツでは、同じ意図のページを複数残しておく必要は、ふつうありません。つまり、そもそもcanonicalを使わずに済む領域です。
1つの事実に、置き場所は1つ。この原則は、記事だけのものではありません。自社を機械が一意に識別できるようにする設計にも、同じ考え方が当てはまります。
第2章で引いたとおり、Googleが「それほど気にする必要はありません」と書いているのは、機械が自動的に正規化を試みるからです。ただしそれは、機械が代表を選んでくれるという意味であって、こちらが選んだ代表と一致するとは限りません。1つの意図に1つのページを割り当てておけば、同じ問いに答える記事どうしが競合する状況を避けられます。
書く前に決めておくこと
意図の重複は、書いたあとに見つけて直すこともできます。ただ、その作業には統合する記事の内容を突き合わせる時間と、リダイレクトを設定する手間がかかります。書く前に確認しておけば、あとから統合やリダイレクトを行う手間を減らせます。
やることは1つです。これから書く記事が答える問いを、既存の記事が答えていないか確かめる。
実務としては、次の順序になります。
- 書こうとしているテーマのキーワードで、Search Consoleの検索パフォーマンスを「正確なクエリ」で絞り込む
- 表示回数のある自社ページがあれば、そのページが同じ問いに答えていないかを確かめる
- 答えているなら、新規に書かずにその記事を厚くする
- 答えていないなら、どこが違うのかを1行で書けるかを確かめる。書けなければ、まだ分かれていない
第5章は、すでに書いた2本が同じ意図かどうかを見て、そのあとの分岐を決める話でした。書く前も、見る場所は同じです。狙うキーワードで既存記事に表示の記録がないかを確認し、記録されていればその記事を開きます。変わるのは、見たあとの選択肢だけです。
ただし、これから狙うキーワードが新しく、まだどの記事にも表示回数が付いていないときは、Search Consoleには何も出ません。そのときは、狙うキーワードと、近い既存記事のキーワードをそれぞれ検索して、上位に並ぶページの顔ぶれを比べます。第5章で退けた目視の確認とは使い方が違い、ここで見るのは自社のページではなく、検索結果に並ぶほかのページです。比べ方は、キーワード選定の記事で具体的に書いています。
関連記事キーワード選定のやり方。数字で絞ったあと、何を見て決めるか
4で確かめる「どこが違うか」は、書き手にとっての違いではなく、読者にとっての違いです。「前の記事は入門者向け、今回は中級者向け」という書き手の側の区別は、検索する人には伝わりません。検索する人が入力するキーワードと、その検索で知りたいことが変わっていなければ、それは同じ問いです。
書く前に決まることは、この確認だけではありません。どのキーワードで書くか、書いたものをサイトのどこに集めるか。書き方そのものと合わせて、別の記事で整理しています。
記事をSNSやメルマガに展開するのは、重複になるか
1本の記事を、Xの投稿に分解したり、メールマガジンで配信したり、会社案内に載せたりする運用があります。同じ文章が複数の場所に出ることになるため、重複コンテンツにあたるのではないかという心配が出ます。
多くの場合、重複コンテンツには当たりません。重複コンテンツは、異なるURLで同じコンテンツが表示される状態を指します。SNSの投稿は記事全文ではなく短い断片です。メールマガジンは、Web上のページとして公開しないのが通常の運用です。会社案内のような紙の媒体は、そもそもURLを持ちません。いずれも、検索エンジンが複数のURLから代表のページを選ぶ状況にはなりません。
扱いが変わるのは、記事の全文が他のドメインでも公開される場合です。プレスリリースの配信サービスや、他メディアへの寄稿がこれにあたります。自社サイトにも同じ内容を置くのであれば、掲載先のページを検索結果に出さない設定（noindex）にしてもらうのが、Googleの勧める対処です。Googleは、この場面でcanonicalを使うことは勧めていません。掲載先と自社のページは、周りの内容が大きく違うことが多いためです。
ただし掲載先には掲載先の事情があるため、必ず応じてもらえるとは限りません。応じてもらえない場合、どちらのページが検索結果に出るかは、Googleが決めることになります。全文を渡すかどうかは、その前提で決めます。
自分の記事が第三者に無断で転載された場合は、自社側の設定だけでは解決できません。相手に削除を依頼し、応じてもらえなければGoogleに著作権侵害の申し立てを行います。こうした転載が、価値を加えずに検索順位を操作する目的で行われていれば、第2章で触れた「スクレイピング」に当たります。
自社で対処できる重複は、サイトを作るとき、記事を書く前、記事を書いたあとの3つの時点に分けられます。SEO対策のほかの施策も含めて、決まる時点の順に並べ直したのが次の記事です。
ARROWSのSEOコンサルティング
第7章で、書く前に「これから書く記事が答える問いを、既存の記事が答えていないか」を確かめると書きました。記事が増えてくると、この確かめを1本ずつ続けるのは手間になります。ARROWSのSEOコンサルティングでは、この確かめを、書き始める前の設計の段階でまとめて行います。
狙うキーワードを決めるときは、候補の言葉ごとに、自社のサイトの中にその問いを受け持つページがもうないかを確かめます。そのうえで、1つのキーワードに1本ずつ、書く前に狙いを決めます。決めた結果は、キーワードごとの判定表と、どの記事をどのキーワードで、どの順番で書くかの記事計画にまとめてお渡しします。次に書く記事がどの問いに答えるのかが、書く前に決まっている形です。
すでに記事が重なっているサイトでは、検索順位や問い合わせ数をもとに、書き分けるか、統合するか、取り下げるかを判断するところから始めます。第5章の確かめ方で自社のURLが2つ以上並び、同じ問いに答えていると分かったときの、次の一歩にあたります。
まとめ
「重複コンテンツ」という言葉は、性質の異なるいくつかの現象をまとめて指しています。中心にあるのは2つです。
URLの作りから生まれる技術の重複は、サイトを作るときに処理する種類の問題です。Googleも、正規化について「それほど気にする必要はありません」と書いています。機械が代表を選んでくれるからです。ただし、選ぶのは機械であって、こちらではありません。クロールバジェットの心配は、重複のないページが100万以上で週1回更新されるか、1万以上で毎日更新されるような規模のサイトの話です。
記事を積み上げる中で生まれる意図の重複は、運用している限り増え続けます。canonicalなどを設定するだけでは解消できず、書き分けるか、統合するか、片方を取り下げるかを決めて、記事自体を見直す必要があります。疑いはタイトルの見た目ではなく、Search Consoleで同じキーワードで自社の何ページに表示回数があるかで見つけ、2本が同じ問いに答えているかで確かめます。
記事の全文を他のドメインにも出すときだけは、この2つとは別の話になります。掲載先のページを検索結果に出さない設定にしてもらうのが、Googleの勧める対処です。応じてもらえないこともあるので、全文を渡すかどうかはその前提で決めます。
そして、意図の重複のほうは、書く前に防げます。「正規化」がもともとデータベースの言葉であり、1つの事実を1箇所に置くための設計手法だったことを思い出すと、順序が見えてきます。canonicalは、分かれてしまったものに後から代表を立てる手続きです。分かれる前に置き場所を1つに決めておけば、立てる必要が生まれません。
重複コンテンツは、直す技術の話に見えて、置き場所を決める話でした。次に書く記事が答える問いに、既存の記事がすでに答えていないかを確かめる。それが、いちばん手数の少ない重複コンテンツ対策です。
