本記事ではGoogleに新規記事がインデックスされない問題について解決策を提示しますが、サーチコンソールのURL検査でカバレッジが検出-インデックス未登録のステータスで困っている方を対象としています。
クロール済み – インデックス未登録: ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。
検出 – インデックス未登録: ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。
https://support.google.com/webmasters/answer/7440203?hl=ja
GoogleのヘルプにあるようにURL検索結果が検出 – インデックス未登録となっているのは、Googleのクローラー(bot)がまだ記事の中身をクロールしていない状態です。
そのため記事の品質よりもクローラーを自分のブログに来てもらい、クローラーに記事の中身を取得してもらう事が重要な対策となります。
あくまで重要度の話で、記事の品質が低品質だと感じている人は改善を行いましょう。
一方でURL検査でカバレッジがクロール済み – インデックス未登録となっている方に本記事は役に立たないです。これは既に記事の中身をクローラーが取得しているにも関わらず、Googleが記事をデータベースにインデックスする価値が無いと判断しているためで、これは記事の品質向上やドメインの信頼性向上を図るしかないためです。
インデックスされない問題でも、クロール済みインデックス未登録と検出インデックス未登録は全然意味が異なります。ここを履き違えると有効な対策が間違ってしまうので注意してください。
それでは、 検出インデックス未登録となってしまっているブログに対する対策について紹介していきます。
私が運営しているブログ限定とはなりますが、本記事で紹介する２つの方法で今のところ１００％新規記事がグーグルに記事公開から１日以内にインデックスされています。
よく知られている基本的な対策とGoogle公式のクローラビリティ改善方法
よく知られている基本的な対策方法は以下の通りです。
- 記事のパーマリンクを変更する
- サイトマップをサーチコンソールに送信する
- 内部リンクで繋ぐ
- 外部からの被リンク
- 記事のボリュームを充実する
- Twitter等のSNSで拡散させる
- サーチコンソールのURL検索でインデックスリクエストを出す
- URLをシンプルにする
個人的な経験として、この中で一番効果があるのは記事のパーマリンク変更(URLの変更)です。
これが効く理由としては、以下のような推察をしています。
Googleが世界的にクロールの頻度を落としている中で、一度クロールしようとしてしなかった記事は、 フレッシュクロールのスケジュールから外されるため再度サーチコンソールでリクエストしても無視する傾向にあるのに対して、同じ記事の中身でも別のURLであれば、新しい記事として認識し、クロールする可能性があります。
これがクローラーのタイミングと合えば、クロールされてインデックスされるきっかけとなります。
因みに、Googleの上級者向けSEO向け公式ドキュメントには、クローラビリティの改善についても記載があります。
個人的に気になる点としては、下記２項目です。
- サイト内に明確で直接的な内部リンクを設定
- ページにはシンプルで、人間が判読可能かつ論理的な URL パスを使用
日本語URLを使ってる人は２番目の項目に該当するので、出来るだけローマ字の文字列を使うのと単語を繋ぐ際にはアンダースコアを使わないようにしましょう。その他SEO対策観点でURLの設定について知らない人もいると思いますので、以下の資料は一度目を通しておくことをお勧めします。
出典：https://developers.google.com/search/docs/advanced/guidelines/url-structure
インデックスされない根本原因の多くはクローラーが来ないこと
ブログがGoogleにインデックスされない根本原因の多くはGooglebotにクロールされないことです。
ここではそれを解決する有力な方法について解説していきます。
Indexing APIを使った方法は効果てきめんだがリスクあり
クロールの確率を飛躍的に高めてくれるのがGoogleが提供しているIndexing APIです。
APIとはプログラムの世界だと関数の塊ですが、要はGoogle以外の個人や法人が作ったプログラムからGoogleの機能を呼び出すことができるプログラムのパーツです。
サイト内のコンテンツを新規追加したり、更新や削除した時にサイト所有者からGoogleへ直接通知できるのが Indexing APIです。 Indexing APIを使ってGoogleに通知すると、Googleが該当コンテンツをフレッシュクロールのスケジュールに含むため確実にクロールされます。
GoogleもサイトマップよりもIndexing APIの使用をおすすめしています。
サイトマップではなく Indexing API を使用することをおすすめします。これは、サイトマップを更新して Google に送信するよりも、Indexing API を使用した方が、Googlebot がすぐにページをクロールするためです。その場合でも、サイト全体をカバーするためにサイトマップを送信することをおすすめします。
https://developers.google.com/search/apis/indexing-api/v3/quickstart
しかし、このIndexing APIはブログを対象にした物ではありません。求人検索などインデックスの即時反映が必要とされるサービス向けに公開されています。
現在、Indexing API は、JobPosting または BroadcastEventがVideoObjectに埋め込まれたページをクロールするためにのみ使用できます。
ただ、API自体に利用を制限するような仕組みは現在されておりません。
そのため、Indexing APIを使って昨今のインデックスされない問題を改善しようとする方もいます。
直近では株式上場を果たすなど活躍目覚ましいSEO関連のツールを開発販売する株式会社CINC副社長で、YouTubeのSEOチャンネルで毎回有料級の情報を提供してくれる平さんは、今から１年以上前にサチコのインデックスリクエストが使えない時にIndexing APIで求人検索サイト以外で使えるか検証しています。
実際私も新規記事で３回ほど試してみましたが、APIを実行してから1分ほどでGoogleのクローラーが来て、数時間後にはインデックスされる状態となる事を確認しています。
そういった意味で効果は絶大です。
但し、本来の使い方では無いためGoogleから何らかのペナルティを受ける可能性も否定できません。
かなり古いテクニックだけど本ブログお勧めのインデックス促進方法
クローラーを呼ぶ効果としては、Indexing APIの方が速効性があります。
但し現状はリスクが多少なりともあるのが不安要素です。
そこで当ブログ独自のお勧め方法は、ping配信サービス「pingoo」の利用です。
古くからブログをやっている人にとっては、え！今更ping配信って感じでしょうし、最近ブログを始めた方だとping配信って何？って感じの方もいるかと思います。
ping配信とは、投稿された記事情報をブログランキング等の各種サーバに配信するサービスです。
ブログ村やブログランキングに参加されている方なら、pingサーバを設定しているのではないでしょうか。
WordPressを使ってる人だと、投稿設定画面に更新情報サービスという欄でping配信の設定を行っていて、デフォルトだと、http://rpc.pingomatic.com/と設定されているはずです。
そんなping配信ですが、国内ではpingooというところが、記事が投稿された際に複数のpingサーバに記事投稿をお知らせするサービスを展開しています。
実はもう何年もpingooのサイトを確認することは無かったのですが、ここ最近新規記事のインデックスが中々されない現象によって個人的に再度注目しています。
pingooに登録していたブログがいくつかあったのですが、それらで投稿した新規記事はインデックスされていたのに対して、pingooを使っていないブログの新規記事はインデックスが中々されない傾向にありました。
そのため、pingooの設定を変更して、これまでpingooを使っていなかったブログでpingooを使ったところ漏れなくインデックスが正常に行われたのです。
これは恐らくpingooによって記事情報が拡散された中からGoogleのクローラーが新規記事を見つけてくれて、クロールしてくれた結果だと推察しています。
pingooは無料で利用できますが、私はプレミアムプランという月額５４０円の有料プランを利用しています。
ping配信サービスのために月額５４０円は高いと思うでしょうが、私の場合昔から利用していて、プレミアムプランの永久ライセンスを契約しているため月額課金が無い状態なので今でも使っているという訳です。
通常のプレミアムプランは月額５４０円するので費用対効果が得られないかもしれないので、まずは無料プランで効果があるか試してみると良いでしょう。
無料プランとプレミアムプランとで大きな違いは、新規記事の配信先サーバ数です。無料プランだと５つのサーバのみに配信ですが、プレミアムプランだと１０００以上のサーバに配信されるので、それだけクローラーに発見される機会も多くなります。
因みにping配信と関連したところで言うと、WebSub(旧名称：PubSubHubbub)を思い起こす人もいるかもしれません。
WebSubもping同様に新着記事を配信するサービスで、一時期はGoogleも新しいコンテンツの収集で利用していました。
そのため、インデックス促進を目的として WebSubのプラグインを入れていましたが、現状では正直Googleのインデックスに対しては効果が無いと感じています。
以前米国のGoogle社員が今でもGoogleが WebSubの情報を参照しているかは分からないといった事がありましたが、挙動を見る限り今は参照していないのではないかと思います。
以上が、 検出インデックス未登録 によるインデックスされない問題に対する本ブログの解決策です。
特にIndexing APIとpingooを使った対応方法について詳細述べました。少しでもお役に立てればSNSなどでシェアしてもらえると嬉しいです。
