Crawler.sh
PaidCrawler.sh est une application de bureau et un CLI pour l'exploration rapide de sites Web, l'analyse SEO et l'extraction de contenu en Markdown.
Use Cases
• Extrayez du contenu lisible de n'importe quel site Web en Markdown propre. • Effectuez des audits SEO avec 23 vérifications automatisées sur chaque page. • Générez des sitemaps XML conformes au W3C à partir de crawls en direct. • Surveillez les sites pour les liens brisés et les changements de codes d'état. • Archivez le contenu du site Web pour les sauvegardes ou les migrations. • Alimentez le contenu extrait dans d'autres outils ou pipelines.