sitemora-bot
sitemora のサイト構造解析クローラーに関する情報です。
User-Agent
Mozilla/5.0 (compatible; sitemora-bot/1.0; +https://sitemora.app/bot)sitemora のクローラーは、上記の User-Agent ですべてのリクエストを送信します。サーバーログで "sitemora-bot" を含むアクセスは弊社のクローラーによるものです。
クローラーの挙動
- クロールはユーザーが sitemora に登録した URL に対してのみ実行されます。自動巡回や投機的クロールは行いません。
- ドメインごとに robots.txt を取得し、Disallow 指示を尊重します。除外された URL 件数はジョブ結果に表示されます。
- Crawl-delay 指示があれば尊重し、指定秒数だけリクエスト間隔を空けます (最大 30 秒)。
- 429 / 503 / 504 応答時は Retry-After ヘッダを尊重して 1 回だけリトライします。
- 同時接続は1ドメインにつき最大 10 (Crawl-delay 指定時は 1) に制限しています。
サイト運営者のみなさまへ
sitemora-bot を個別に制御したい場合は、robots.txt で以下のように指定してください。
完全に拒否する
User-agent: sitemora-bot
Disallow: /特定ディレクトリだけ拒否する
User-agent: sitemora-bot
Disallow: /admin/
Disallow: /private/クロール間隔を指定する
User-agent: sitemora-bot
Crawl-delay: 5お問い合わせ
クローラーの挙動に関するご質問・ご要望は、以下のいずれかの方法でお知らせください。