・HTTPリダイレクトの設定を行う場合は、302リダイレクトを使用していない。
通常リダイレクトを設定するとデフォルトで302リダイレクトとなってしまう。
本来302とは「一時的な移動」という意味があるので、クローラーはリダイレクト元の
ページを読み込んでしまうことが多い。
・GoogleクローラーのIPやUAに対してUA制限及びIP制限をしていない。
PCのIPを拒否しているモバイルサイトが多いと思うが、それではGoogleのクローラーをも弾いてしまう。
GoogleのIPは開放しよう。
・Yahoo!クローラーのIPやUAに対してUA制限及びIP制限をしていない。
同上である。
・クロールさせたいページに対して認証制限(パスワード設定等)をしていない。
これも当然のことである。
クローラーのIPからアクセスがあった場合のみ認証制限の無いページへ飛ばすようにすれば
無理なことではないが・・・。
・セッションIDを吐き出す場合、クローラーにセッションIDを返さない設定にしている。
アクセス毎にURLが変わってしまうセッションIDはクローラーにとっては優しくない。
クローラーのアクセスがあった場合はセッションIDを返さない設定にしよう。
if (!eregi ("クローラ名", $HTTP_USER_AGENT))
session_start ();
このソースを加えるだけである。(PHP)
・Googleのウェブマスターツールに適切な形で登録されている。
ウェブマスターツールを利用するとインデックスされやすくなる印象がある。
また、クローラーの更新頻度や検索クエリ情報なども知ることができる。
是非登録することをオススメする。
0 件のコメント:
コメントを投稿