Googleのサーチコンソールに「ソフト404」というエラーが表示されました。このエラーについて調べ対応したところ、しばらく経って解消したため、どのような対策を行ったかご紹介します。
対象のページ内容としては、数件でページとして重要ではない場合の対応方法となります。
目次
ある日突然「ソフト404」エラーのメールが届く
Search Consoleからメールが届いたので開けてみると、「ソフト404」という問題が発生しているという内容でした。
https://highfivecreate.com/ で ページのインデックス登録 の問題が検出されました
https://highfivecreate.com/ のオーナー様:
Search Console で、貴サイトが 1 件の ページのインデックス登録 の問題に影響を受けていることが検出されました。サイトから検出された問題は以下のとおりです。これらの問題をできる限り解決されることをおすすめします。問題を解決することで、サイトのエクスペリエンスや Google 検索結果での表示を最適化できます。
主な問題
ソフト 404ソフト404エラーとは
初めて見たエラーだったので調べてみました。
ソフト404エラーは、実際には存在していないURLに対し、ページがサーバーから返されるエラーを意味します。
【サーチコンソールで見るやつ】ソフト404エラーとは 確認方法、原因と対処方法について | ナイルのマーケティング相談室
通常はシステムのエラーによってステータスコード404を返すところを、200で返していることで発生しますが、クローラーがページを正しく表示できない場合にも発生します。
ページが存在していないものの、サーバーがページが存在しないという意味の「404（Not Found）」ではなく、ページが存在し正常を示す「200（OK）」のステータスコードを返しているというエラーコードです。
一方、ページが存在しているにも関わらず、ページの内容が不十分である場合や、ページが重複している場合などでも発生することがあるようです。
ソフト404エラーの対応方法
Search Consoleからソフト404エラーが通知された場合の対応策としては、ウェブ管理者はページの存在を正しく反映するようにしてね、ということですね。
ページの内容を増やすか、重複しているページを削除する
内容が不十分なページがソフト404エラーとなっている場合、コンテンツ内容を増やしたり、関連する情報を追加するといったことでコンテンツの質を上げることにより、ソフト404エラーを解消できる可能性があります。
ページを削除する
もしページが「重要ではないため必要ない」という場合は、ページを削除することも選択肢の一つです。ページを削除すれば404となるため、ソフト404エラーはなくなります。削除後はキャッシュが残らないようにし、正しく404ステータスコードが返っているか確認しましょう。
検索エンジンから回避する
重要ではないページの場合、検索エンジンがクロールやインデックス化を回避するように設定することで、ソフト404エラーが発生する不要なページを検索エンジンに無いものとして認識させ、エラーを回避することが可能です。
リダイレクトを設定する
ページが新しい場所に移動されリダイレクト処理を行っていない場合は、301リダイレクトを設定して、ユーザーと検索エンジンを新しいページに永続的にリダイレクトすることが推奨されます。
検索エンジンから回避するためにrobots.txtを作成・更新する
今回エラーとなったページは存在しアクセスすれば表示されるものの、さほど重要ではないページでした。ページ内容を更新する必要性がないが、削除をしてしまうとリンクされているページからリンク切れになってしまうため、削除はできません。
よって、今回は検索エンジンから回避する方法を採用しました。
robots.txt ファイルの作成方法
検索エンジンのクローラーが特定のページやディレクトリをクロールするのを防ぐには、robots.txtファイルを利用します。robots.txtファイルに以下のように書くことで、クローラーがそのページを回避するように指示できます。
User-agent: *
Disallow: /path-to-your-page/上記の「path-to-your-page」に該当するページやディレクトリを設定します。複数ページを登録したい場合は、このように改行して設定します。
User-agent: *
Disallow: /path-to-your-page1/
Disallow: /path-to-your-page2/
Disallow: /path-to-your-page3/テキストエディタで作成後、ファイル名を「robots.txt」とし、拡張子は「.txt」で保存します。
サーバーにアップロード
作成したrobots.txtファイルをサーバーのウェブ領域のルート場所へアップロードします。URLが https://example.jp であれば、 https://example.jp/robots.txt となるように正しい場所へアップロードします。
アップロード後はブラウザよりアクセスし、正しく作成したテキストファイルが表示されているか確認します。
すでにrobots.txtが存在する場合
すでにサーバー上にrobots.txtファイルが存在している場合は、サーバ上のrobots.txtファイルを一度ダウンロードして更新します。アップロード前に必ずバックアップを作成しておきましょう。
robots.txtが表示されるもののファイルが存在しない場合
URLにアクセスすると（例 https://example.jp/robots.txt）robots.txtが表示されるものの、FTPなどでサーバーにアクセスしてもrobots.txtファイルが無いという場合があります。
WordPress等のCMSを利用している場合は、動的に生成しています。また、利用しているプラグインが生成している可能性があります。
または、利用サーバー自体が自動的に生成しているケースもあります。
WordPress を使っていて、プラグインを全て無効化してもrobots.txtにアクセスできる場合、自動的にWordPressが生成しているため、手動でrobots.txtを作成してアップロードすることで、自由にrobots.txtファイルを設定可能です。
Search Consoleから検証をリクエストし、数日後修正される
無事robots.txtファイルが設定できたら、Search Consoleから修正を検証してもらうリクエストを送りましょう。リクエストを送信して約10日程で程なく修正完了の報告でした。
約10日程経過し、無事に修正完了したというメールが届きました。
Search Consoleから確認してみても、無事修正済みとなっているのがわかります。
ソフト404エラーまとめ
該当ページの重要性や目的によって変わってきますが、今回はrobots.txtファイルを使って解消する方法をご紹介しました。
そもそもそこまで重要でないからソフト404となっているのであって、であれば検索エンジンに登録されなくても問題ない、という前提です。
あまりないと思いますが、これが「重要なページなのに、なぜソフト404エラーなんだ」という場合は、コンテンツの質が低いと検索エンジンにみなされているため、ページ自体の質上昇に注力して解消させましょう。
コメントを残す