Crawler.sh
PaidCrawler.sh は、高速なウェブサイトクロール、SEO 分析、Markdown へのコンテンツ抽出を行うデスクトップアプリおよび CLI です。
Use Cases
• 読みやすいコンテンツをクリーンな Markdown として任意のウェブサイトから抽出します。 • 各ページで 23 の自動チェックを実行して SEO 監査を行います。 • ライブクロールから W3C 準拠のサイトマップ XML を生成します。 • 壊れたリンクやステータスコードの変更がないかサイトを監視します。 • バックアップまたは移行のためにウェブサイトコンテンツをアーカイブします。 • 抽出したコンテンツを他のツールやパイプラインに供給します。