更新してもクロールされないことには意味がない

更新頻度が高いサイトはSEOに有利だと一般的に言われています。しかし、むやみに更新すれば良いという話ではありません。検索エンジンはコンテンツの質を重視します。内容の薄いコンテンツを量産したところでSEO効果は見込めません。
しかしそれ以前の問題で、更新してもそれが検索エンジンに認識されていなければ意味がないと言えます。更新に対して、検索エンジンのクローラーが巡回してきて、インデックスされないことには検索結果に反映されないのです。これがSEOの大前提になります。
今回は更新した情報がクロールされ、インデックスされるまでの流れと、クロール(クローラーが発見しインデックスすること)を促進する方法を紹介します。

検索エンジンがインデックスするまでの流れ

検索エンジンが更新されたコンテンツを発見し、インデックスするまでには大きく分けて次の2ステップがあります。

(1)クローリング

検索エンジンのクローラーが巡回している中であなたのコンテンツを発見します。

(2)インデックス

検索エンジンのクローラーがあなたのコンテンツをデータベースに登録します。

それぞれのステップで具体的に何が行われているのかを見ていきましょう。

【クローリング】

WEB上には、クローラーが巡回しています。クローラーとは検索エンジンのロボットです。WEB上の全てのコンテンツ、ページ、ファイルなどを収集しようとしています。
クローラーがあなたのコンテンツに回ってこないことには、検索エンジンは永久にコンテンツの存在を知りません。新しいコンテンツを作ったら、まずクローラーに発見してもらうことがSEO対策において重要です。
クローラーは良いコンテンツには何度も巡回してきます。評価基準はユーザーにとって有益な、質の高いコンテンツであるかどうかです。クローラーが繰り返し巡回してくれることで、コンテンツの内容が正しく検索エンジンに伝わるので、よりSEO効果が見込めます。

【インデックス】

クローラーが集めてきたコンテンツの情報はすべてGoogleのデータベースに登録されます。このデータベースへの登録を「インデックス」と言います。
例えるなら買ってきた本を書類を自分のファイルに保管するようなものです。
インデックスで重要なのは検索エンジンが見つけやすいように整理しておくことです。
どんなに有益なコンテンツでも検索エンジンが見つけづらいと、正当な評価を得られません。

サイト内の構造をクロールしやすくする「内部対策」が重要な事はもちろん、コンテンツページ単体でもクロールしやすく、「何の事について書かれたコンテンツなのか」を明確に伝える必要があります。
そのためには、タイトル、見出しなどのタグを最適化することが大切です。
タグの最適な設定方法はこちらの記事で紹介しています。

>SEO対策に必須！hタグ最適化の基礎知識と効果的な設定方法

また、オリジナリティーのある内容でも読みづらいコンテンツは敬遠されがちです。
情報を必要としているユーザーに確実に届けるため、まずは検索エンジンが読みやすい文章を書く必要があります。
Webライティングのコツについてはこちらの記事をご参照ください。

>Webライティングには法則がある！読まれるコンテンツを作るコツ

文章と同時に気をつけたいのが構成です。
適切に構成されているページのほうが圧倒的に読みやすく、SEO的にも高い評価が期待できます。
そのための施策をインデックス最適化と言います。

このような仕組みのため、クロールされないことにはSEOは始まりません。

しかし、難しく考えなくても、クローラーは大抵の場合、更新のタイミング等で自動的に巡回してきます。
ではクロールされないという現象はどのような場合に起こるのでしょうか？

クロールされないケース

(1)新規ドメイン

購入したばかりの新規ドメインは、クローラーが巡回していないためクロールされにくいと言えます。
多くは時間が経てば解消されますが、早く巡回して欲しい場合は後で説明する「XMLサイトマップ」を送信する方法があります。

(2)robots.txtが設定されている

robots.txtは、検索エンジンのクローラーにアクセスさせたくないページを指定するファイルです。ショッピングカートや問い合わせ後のサンクスページなど、検索エンジンにインデックス化させたくないページに適用します。

robots.txtの基本的な形は以下の通りです。

User-Agent:*
Disallow:

User-Agent:

どのクローラーの動きを制御するかを指定します。
「*」は全てのクローラーを意味します。
例えば「Googlebot-News」と記載すると、Googleニュースのクローラーのみ制御することになります。

Disallow:

クローラーのアクセスを制限するファイルを指定します。
サイト全体をブロックする→「Disallow: /」
特定のページをブロックする→「Disallow: (ページ名)」

コンテンツがインデックスされない場合、robots.txtが誤って設定されている可能性があります。
コンテンツがインデックスされていない場合は、robots.txtがサイト全体や一部のページをブロックしていないかを確認し、必要に応じて削除することが必要です。

(3)XMLサイトマップを送信していない

新しいコンテンツ作成後、サイトマップを送信していなかったというケースです。
XMLサイトマップについては後ほど詳しく説明します。

クロールを促進する方法

クロールを促進するにはGoogleにコンテンツの存在を知らせる必要があります。
ここでは2つの方法をお知らせします。

方法1：サーチコンソールで直接Googleへクロール申請する。

より早く検索結果に表示させたい場合は、Googleに「新しいコンテンツが出来ましたので、早くクロールしてください」と申請することができます。
この機能は「Fetch as Google」というメニューで行います。
利用方法は以下の通りです。

①サーチコンソールにログイン→「クロール」→「Fetch as Google」と進む。

②フォームに新規ページや更新したページのURLを入力し、「取得」をクリック。

③「インデックスに送信」→「このURLと直接リンクをクロールする」→「送信」と順にクリックすれば完了です。

ただ、いちいち「Fetch as Google」に送信するのは少々面倒です。
まとめて検索エンジンに通知する方法としてXMLサイトマップを作成、送信する方法があります。

方法2：XMLサイトマップを送信する方法

XMLサイトマップとは

XMLサイトマップとはサイト内のページURLや最終更新日、更新頻度などを記したXML形式のファイルです。XMLサイトマップを送信することでクローラーが参考にしてサイト内を効率的に、そして確実に巡回してくれるわけです。クローラー向けの地図だと考えれば分かりやすいかと思います。
XMLサイトマップを作成するには、コードに記述する方法と、プラグインを使う方法があります。
コード記述は専門的な知識が必要とされるため、初心者では対応が難しいと言えます。
WordPressを使っているという方であれば、自動生成ツールが大変便利です。

XMLサイトマップの自動生成ツール

WordPressには「All in one seo pack」というプラグインが用意されています。
このプラグインを使うとサイトマップの自動生成以外にもSEO強化に繋がる様々な設定が可能です。
例えばこんな設定ができます。

・記事の公開、更新のたびに自動的にサイトマップを生成する
・生成されたサイトマップを自動で検索エンジンに通知する
・検索エンジンに認識してほしいページを指定する
・記述内容がGoogleの推奨する内容に沿っているかチェックする

ここではXMLサイトマップに特化して説明したいと思います。

XMLサイトマップの設定方法

【1】XML Sitemap 画面へのアクセス方法

All in One SEOのインストールや、初期設定については「All in One SEO　インストール方法」などのキーワードでネット検索すれば、多くの情報が出てきます。
今回は、インストール・初期設定が完了したものとして話を進めさせていただきます。

管理画面の左メニューから「All in One SEO」→「Feature Manager」の順にクリック。

「XML Sitemaps」の「Active」をクリックするとイラストがカラーになり、サイトマップ機能が使えるようになります。

All in One SEOのメニューに「XML Sitemap」という項目が追加されますのでクリックしましょう。

続いてXMLサイトマップの設定方法を説明します。

【2】XML Sitemapの設定方法

XML Sitemapの基本設定画面が表示されたら次のように設定しましょう。

「ファイル名接頭語」…デフォルトの “sitemap” のままで構いません。
「サイトマップインデックスを有効化」…サイト内のページ数が大量(数万単位)になった場合にチェックする項目です。通常はチェックを外します。

「除外項目」ではXML Sitemapに含めないページを設定出来ます。

インデックスされるとSEO評価の対象になりますので、SEOに関係がない、あるいはマイナスの評価になる可能性があるページは、「除外ページにパーマリンクを挿入しましょう。

以上の設定が終わりましたら、「サイトマップを更新」をクリックします。

【3】XML Sitemapをサーチコンソールから送信

設定を完了するとXML Sitemapが生成されます。
生成したサイトマップは「サイトマップを表示」をクリックすることで確認できます。

このサイトマップをサーチコンソールでGoogleに送信しておくことで、クロールをさらに促進できます。
サイトマップを更新したら必ず行いましょう。

確実にクロールし、SEO効果を高める

今回はクロールの仕組みとクロールを促進する方法をお伝えしました。コンテンツ発信を定期的に行っている方にとっては、毎回サーチコンソールにクロール申請するのは手間だと言えます。

WordPressを使っている方は「All in one seo pack」の「XML Sitemap」を使うことで、自動的にクローラーが巡回してくれるようになります。

SEO対策において大変重要な設定ですので、JetBではサイト制作をご依頼いただいたクライアントには、納品前に設定してお渡しするようにしています。

まだ設定していない方はこれを機に導入をおすすめします。