Crawler.sh
PaidCrawler.sh هو تطبيق سطح مكتب وواجهة سطر أوامر (CLI) للزحف السريع للمواقع، وتحليل SEO، واستخراج المحتوى إلى Markdown.
Use Cases
• استخراج المحتوى القابل للقراءة من أي موقع ويب بصيغة Markdown نظيفة. • إجراء عمليات تدقيق SEO مع 23 فحصًا آليًا لكل صفحة. • إنشاء خرائط مواقع XML متوافقة مع W3C من عمليات الزحف المباشرة. • مراقبة المواقع بحثًا عن الروابط المعطلة وتغييرات رموز الحالة. • أرشفة محتوى الموقع للنسخ الاحتياطي أو الترحيل. • تغذية المحتوى المستخرج في أدوات أو خطوط أنابيب أخرى.