Crawler.sh

Crawler.sh

Paid

Crawler.sh は、高速なウェブサイトクロール、SEO 分析、Markdown へのコンテンツ抽出を行うデスクトップアプリおよび CLI です。

Use Cases

• 読みやすいコンテンツをクリーンな Markdown として任意のウェブサイトから抽出します。 • 各ページで 23 の自動チェックを実行して SEO 監査を行います。 • ライブクロールから W3C 準拠のサイトマップ XML を生成します。 • 壊れたリンクやステータスコードの変更がないかサイトを監視します。 • バックアップまたは移行のためにウェブサイトコンテンツをアーカイブします。 • 抽出したコンテンツを他のツールやパイプラインに供給します。

Similar Tools