ワードプレスでサイトマップエラー(ソフト404エラー)発生時の原因と対処方法

2019年1月12日Wordpress(ワードプレス)

みなさんどうもサイトマップ！新しいサイトマップに慣れない@xi10jun1です。

先日運営サイトのサーチコンソールを覗いていたら、サイトマップでソフト404と呼ばれるエラーが発生していました。

初めてこんなエラーが出たので対処に時間がかかったのですが、発生原因や対処方法について残しておきます。

サイトマップのソフト404エラー対処方法

まずは簡単に理由と解決方法を。※サーチコンソールのエラー画像取り忘れた！ごめんなさい！

原因はセキュリティプラグイン「All In One WP Security」の「Firewall」設定にある、「Internet Bot」項目の「Block Fake Googlebots」にチェックが入っていたため。

これですね。

チェックを外して保存し、再度サイトマップを送信して2～3日くらいで解決しました。

「Block Fake Googlebots」とは？

読んで字のごとく、Googlebotに成りすましたbotのクロールをブロックする機能です。

青枠の翻訳はこうです。

インターネットボットとは何ですか？

botはインターネット上で実行される、自動でタスクを行うソフトウェアの一種です。例えばグーグルは、あなたのページを検索結果に載せるためにこの自動ボットを使うのです。

多くのbotは適切に運用されているので不正なものではありませんが、すべてのbotが良性ではなく、「Googlebot」のような正規のbotになりすますものもあり、それらはGoogleとはまったく関係がありません。

botのほとんどは比較的無害なものですが、自分のサイトにどのbotを許可するかを制御したい状況があります。

そこでこの機能により、Googlebotのふりをしているbot(言い換えれば偽Googlebot)をブロックできるのです。

Googlebotは簡単に偽造することができないユニークな仕組みをしており、この機能は偽Googlebotを識別してあなたのサイトのページを読むことをブロックします。

黄枠の翻訳はこうです。

注意：悪意のないネットの何者かが「Googlebot」のふりをしたbotを使うことがあります。

この機能を有効にすると、プラグインはユーザーエージェント情報に"Googlebot"という文字列があっても、正式にGoogleからのものではないすべてのbotをブロックします(悪意の有無にかかわらず)。

なお、「Yahoo」「Bing」など、他の組織のボットはこの機能の影響を受けません。

予想ですが今回のサイトマップエラーは、Googlebotの仕組みのどこかが変わり、悪意の有無にかかわらずbotをブロックする「Block Fake Googlebots」に引っかかったため起きたエラーかと思われます。

つまり今回はこういう流れになります。

1. サイトに(たぶんいつもと違う格好の)正規のGooglebot様が「見に来たぞぇ～」と来た
2. 「Block Fake Googlebots」が『む、こやつはGooglebot様ではないな！』と勘違いして門前払い
3. Googlebot「無礼なサイトめ！ワシを誰だと思うとる！」と激高し、神の鉄槌としてサイトのインデックス取り消し
4. ただしサイト自体は存在するので404エラーではなくソフト404エラーと認定

ソフト404エラー

ソフト404エラーは、404エラーのゆるふわバージョンです。

• 404エラー：ページが無い
• ソフト404エラー：URLにアクセスすればちゃんとページはあるが、システムが認識できない

ページはちゃんと表示されるのに、Block Fake GooglebotsでGooglebotがブロックされたためページは無い(正確には認識できない)とみなされたわけですね。

サーチコンソールのヘルプページもあるので、こちらも参考にしてみてください。

→ソフト 404 エラー – Search Console ヘルプ

※グーグルのヘルプページなんで、用語が分かりにくいかもしれませんが。

まとめ：ワードプレスのエラーはプラグインの機能も考慮

ワードプレスで起こるエラーの8割くらいはプラグインが原因ですが、単にプログラム同士の相性が悪いだけではありません。今回のように、機能の一部である可能性もあります。

特に最近見られるのが、次のプラグインのエラーです。

• JetPack(近年エラー多くね？)
• All In One SEO Pack(なんか重くね？)
• キャッシュ系プラグイン全般
• セキュリティ系プラグインの設定ミス

最近はプラグインレスなテーマ(既にプラグインと同等の機能が盛り込まれている)が主流になってきています。プラグインのエラーにお困りなら、テーマから見直すのも手ですね。