فحص Robots & Sitemap

تفحص أداة Robots & Sitemap ملفَّي robots.txt وXML sitemap لموقعك خلال ثوانٍ، وتُظهر لك بدقة أي الصفحات يمكن لعناكب محركات البحث الوصول إليها، وأيها محجوب، وما إذا كان ملف sitemap لديك صالحًا. تُدخل عنوان URL الخاص بك؛ فتحدد الأداة عوائق الزحف والقواعد المتعارضة وإعلانات sitemap المفقودة، ثم تقدم لك إصلاحات قابلة للتطبيق فورًا.

هذان الملفان هما حارسا البوابة في السيو التقني: يحدد robots.txt الأماكن التي يُسمح للعناكب بالوصول إليها في موقعك، بينما يسرد XML sitemap عناوين URL التي تريد فهرستها. ووفقًا لوثائق Google الرسمية، يمكن أن يحتوي ملف sitemap واحد على 50,000 عنوان URL أو 50 ميغابايت غير مضغوطة كحد أقصى (Google Search Central، 2025)، ويتم تجاهل أي محتوى في robots.txt يتجاوز 500 KiB (مواصفات robots.txt من Google، 2025).

تجلب الأداة ملف /robots.txt وملفات XML sitemap لموقعك وتجيب عن ثلاثة أسئلة جوهرية: هل تستطيع العناكب الوصول إلى صفحاتك المهمة؟ هل ملف sitemap صالح ومُعلن عنه في robots.txt؟ هل يتعارض الملفان فيما بينهما؟ وتحصل على النتيجة فورًا دون مغادرة متصفحك.

وبشكل ملموس، تتحقق الأداة مما يلي:

• إمكانية الوصول: هل يعيد robots.txt رمز الحالة 200، أم أنه يحجب الموقع بأكمله عن طريق الخطأ عبر Disallow: /.
• حجب الملفات الحرجة: هل مجلدات CSS أو JavaScript أو الصور مغلقة — فـ Google يحتاج إليها لعرض الصفحات بشكل صحيح.
• إعلان sitemap: هل يوجد سطر Sitemap: داخل robots.txt، وهل العنوان الذي يشير إليه يعمل فعلًا.
• صلاحية sitemap: هل بنية XML معطوبة، وهل يتجاوز الملف حد 50,000 عنوان URL / 50 ميغابايت، وهل يسرد عناوين URL محجوبة.
• القواعد الخاصة بكل عنكبوت: هل كُتبت قواعد Googlebot وBingbot وزواحف الذكاء الاصطناعي مثل GPTBot بشكل صحيح.

الناتج ليس مجرد نسخة خام من الملفات؛ فكل نتيجة تأتي مصحوبة بشرح "لماذا هذا مهم" و"كيف تصلحه".

يمنع ملفا robots.txt وsitemap المهيّآن بشكل صحيح محركات البحث من إهدار ميزانية الزحف، ويسرّعان اكتشاف الصفحات الصحيحة. أما التهيئة الخاطئة فتؤدي إلى كوارث صامتة قد تصل إلى إسقاط موقعك بالكامل من الفهرس.

الخطأ الأكثر شيوعًا هو التعامل مع robots.txt كأداة للتحكم في الفهرسة. تصرّح Google بوضوح: robots.txt ليس آلية لإبعاد صفحة عن Google؛ فعنوان URL محجوب يتلقى روابط من مواقع أخرى قد يظهر في نتائج البحث رغم أن محتواه لم يُزحف إليه قط (Google Search Central، 2025). ولإخفاء صفحة فعليًا، تحتاج إلى وسم noindex أو حماية بكلمة مرور.

الفخ الكبير الثاني هو الجمع بين noindex وDisallow. فعندما تكون الصفحة محجوبة في robots.txt، لا يفتحها العنكبوت أبدًا وبالتالي لا يرى وسم noindex — فتبقى الصفحة في نتائج البحث. تكتشف الأداة هذا التعارض تلقائيًا. ويمكنك أيضًا التحقق من حالة الفهرسة صفحةً صفحة عبر أداة فحص قابلية الفهرسة.

باختصار: يخبر robots.txt العناكب بما لا ينبغي الزحف إليه، بينما يخبرها sitemap بما تريد الزحف إليه وفهرسته. يكمل الملفان بعضهما البعض لكن يجب ألا يتعارضا أبدًا — فإذا كان عنوان URL محجوبًا في robots.txt، فلا ينبغي أن يظهر في sitemap.

المصادر: مواصفات robots.txt من Google، 2025 ووثائق Sitemap من Google، 2025. كلا الملفين مجرد إشارتين؛ فبدون جودة المحتوى والسلامة التقنية، لا يضمن أي منهما الفهرسة وحده.

أدخل نطاقك وشغّل الفحص؛ فتُنتج الأداة تقرير robots.txt وsitemap خلال ثوانٍ. ثم تطبّق كل نتيجة حسب ترتيب أولويتها.

1. أدخل نطاقك الجذري (مثل https://yoursite.com). تجلب الأداة تلقائيًا ملف /robots.txt وملفات sitemap المعلنة.
2. أصلح الحجوبات المعلَّمة بالأحمر أولًا: سطر Disallow: / العرضي أو حجب CSS/JS هما الأولوية القصوى — ففي بيئة الإنتاج يسببان خسارة كبيرة في الزيارات.
3. أضف سطر sitemap: أضف Sitemap: https://yoursite.com/sitemap.xml في أسفل robots.txt. تسمح Google بعدة أسطر sitemap دون حد أقصى.
4. نظّف عناوين URL المتعارضة: لأي عنوان URL مدرج في sitemap لكنه محجوب في robots.txt، عالج المشكلة في أحد الملفين.
5. أرسل الملف إلى Search Console وراقب أعداد عناوين URL المكتشفة مقابل المفهرسة.

بعد تطبيق النتائج، شغّل الفحوصات التقنية الأخرى لموقعك بأكمله: تحقق من إشارات الصفحات المكررة عبر فحص Canonical، ومن الوسوم متعددة اللغات عبر فحص Hreflang، ومن البيانات المنظمة عبر مولّد Schema. فهذه الأدوات معًا تبني أساسًا متينًا للسيو التقني.

الخطأ الأكثر تدميرًا هو سطر Disallow: / المنقول من بيئة الاختبار (staging) إلى بيئة الإنتاج — فهذا السطر الوحيد يغلق موقعك بأكمله أمام الزحف. تعلّم الأداة على الأخطاء التالية:

• حجب CSS/JS: إغلاق مجلدات مثل /wp-content/ أو /assets/ بالكامل يمنع Google من عرض الصفحة ويُفسد إشارات التوافق مع الجوّال.
• حجب sitemap: إذا كانت قاعدة في robots.txt تشمل عنوان sitemap أيضًا، فلن يتمكن Googlebot من الوصول إليه أبدًا.
• أخطاء حالة الأحرف والمسارات: مسارات robots.txt حساسة لحالة الأحرف؛ إذ يُفسَّر /Folder/ و/folder/ بشكل مختلف.
• استخدام robots.txt للتحكم في الفهرسة: للصفحة التي تريد إخفاءها، استخدم وسم noindex الذي تتحقق منه عبر فحص قابلية الفهرسة، وليس الحجب.
• تجاهل عناكب الذكاء الاصطناعي: بدون قواعد منفصلة لزواحف مثل GPTBot وGoogle-Extended، لن تملك أي سيطرة على كيفية استخدام محتواك في تدريب الذكاء الاصطناعي.

وإذا أردت أيضًا مراجعة الإشارات على مستوى الوسوم التعريفية، فإن أداة مولّد الوصف التعريفي تكمل ظهورك في صفحات نتائج البحث.

لا. يسرّع sitemap عملية الاكتشاف فحسب؛ ولا يضمن الفهرسة. تصرّح Google بوضوح أن وجود عنوان URL في sitemap لا يعني أنه سيُفهرس — فميزانية الزحف وجودة المحتوى والسلامة التقنية هي العوامل الحاسمة (تقرير Sitemaps من Google، 2025).

لهذا السبب، فإن إضافة صفحات هزيلة أو مكررة أو منخفضة القيمة إلى sitemap يأتي بنتائج عكسية: يهدر ميزانية الزحف ويخفض الجودة المُدرَكة لموقعك. الملف المثالي يحتوي فقط على عناوين URL الكنسية (canonical) القيّمة التي تريد فهرستها فعلًا. وإذا كان عدد "المكتشفة" في Search Console أعلى بكثير من عدد "المفهرسة"، فعليك التحقيق في أخطاء تقرير تغطية الفهرس.

صحة sitemap ليست سوى جزء واحد من استراتيجية سيو تقني شاملة. إذا أردت تدقيقًا احترافيًا لتهيئة robots.txt وsitemap لديك، أو بنية سيو تقني بمستوى المؤسسات، تواصل مع Sora Yazılım. يقدم فريقنا حلولًا متكاملة للزحف والفهرسة والظهور في GEO/AEO.

في 2026، يقرر robots.txt أكثر من ترتيبك في Google: فهو يحدد ما إذا كان بإمكان ChatGPT وPerplexity وGoogle AI Overviews الاستشهاد بموقعك كمصدر. فحجب زاحف ذكاء اصطناعي يُخرجك من إجابات تلك المنصة، ولذلك أصبحت كل قاعدة الآن قرارًا يخص الظهور، وليس مجرد قرار يخص ميزانية الزحف.

التمييز الأساسي هو بين الزواحف التي تجمع بيانات التدريب والزواحف التي تجلب الصفحات للاستشهاد بها في الإجابات المباشرة:

بالنسبة إلى نشاط تجاري يريد أن يُقتبس في إجابات الذكاء الاصطناعي، الخيار الافتراضي المنطقي هو إبقاء عناكب الإجابات والبحث مفتوحة، والتعامل مع عناكب التدريب كقرار سياسة منفصل. فقاعدة "احجب كل شيء" الانعكاسية قد تمحو علامتك التجارية كليًا من منظومة إجابات الذكاء الاصطناعي. تُظهر لك الأداة أي قاعدة تنطبق على كل من هذه العناكب بنظرة واحدة، فتعرف بالضبط أي باب مفتوح ولمن.

خطوتان تمنعان معظم كوارث النقل: التأكد من أن سطر Disallow: / الخاص ببيئة الاختبار لا يصل أبدًا إلى robots.txt في الإنتاج، وإعادة بناء sitemap بحيث يسرد فقط عناوين URL النهائية التي تعيد رمز 200. تجاهل أي منهما هو السبب الكلاسيكي لانخفاض الزيارات بعد الإطلاق.

قائمة تحقق عملية ليوم الإطلاق:

1. قبل الإطلاق: تحقق من أن ملفَّي robots.txt في بيئة الاختبار والإنتاج مختلفان — يجب ألا تُنقل قواعد الحجب الخاصة ببيئة الاختبار.
2. يوم الإطلاق: أعد توليد sitemap وفق بنية عناوين URL الجديدة. يجب ألا يبقى فيه أي عنوان يعيد توجيه 301 أو خطأ 404.
3. حدّث robots.txt: وجّه سطر Sitemap: إلى عنوان sitemap الجديد. وإذا تغيّر النطاق، أبقِ robots.txt الخاص بالنطاق القديم مفتوحًا حتى يتمكن Google من الزحف إلى عمليات إعادة التوجيه 301.
4. أبلغ Search Console: أرسل sitemap الجديد، وعند نقل النطاق استخدم أداة تغيير العنوان.
5. راقب الأسابيع الأولى: افحص أخطاء الزحف وأعداد الصفحات المفهرسة يوميًا حتى تستقر.

ملف sitemap ليس سوى أحد مسارَي الاكتشاف؛ أما المسار الآخر فهو شبكة روابط داخلية متماسكة. بعد إعادة هيكلة عناوين URL، راجع الروابط بين الصفحات عبر أداة الربط الداخلي حتى تتمكن العناكب من إعادة اكتشاف البنية الجديدة عبر الروابط إلى جانب sitemap.

تكفي ثلاث إشارات: نسبة المُرسَل إلى المُفهرَس في تقرير Sitemaps داخل Search Console، وأسباب الاستبعاد في تقرير فهرسة الصفحات، وتوزيع رموز الحالة في تقرير إحصاءات الزحف. فهذه الثلاث معًا تخبرك ما إذا كان الملفان يؤديان عملًا حقيقيًا.

هكذا يبدو النجاح عمليًا:

• تقرير Sitemaps: يقترب عدد المفهرَس من عدد المُرسَل؛ واتساع الفجوة يعني وجود عناوين URL منخفضة القيمة أو متعارضة تلوّث sitemap.
• تقرير فهرسة الصفحات: بندا "محجوب بواسطة robots.txt" و"مكتشفة – لم تُفهرس حاليًا" ينخفضان مع الوقت.
• إحصاءات الزحف: الغالبية العظمى من طلبات Googlebot تعيد 200، مع بقاء استجابات 4xx/5xx وسلاسل إعادة التوجيه منخفضة.
• فحص الأداة: أعد تشغيل أداة الفحص في هذه الصفحة بعد كل إصدار مهم وتأكد من بقاء عدد النتائج الحمراء صفرًا.

الخطوة التي تتجاوزها معظم الفرق هي تحويل هذا الأمر إلى روتين شهري — فعملية نشر واحدة قد تستبدل robots.txt بصمت، لذا فإن عقلية "أصلحته مرة وانتهى الأمر" ليست حالة مستدامة. وبمجرد أن تُفهرس صفحاتك باستمرار، ينتقل العمل إلى كسب النقرات: اكتشف الاستعلامات ذات نسبة النقر (CTR) الضعيفة عبر أداة فرص CTR وقوِّ العناوين والأوصاف الخاصة بها.