أداة التحقق من ملف Robots.txt

أداة تحسين محركات البحث الفنية المفيدة للتحقق من صحة توجيهات السماح وعدم السماح لأي موقع ويب

سمات

التحقق من صحة ملف Robots.txt

مراقبة وفحص معلمات التحكم في الفهرسة

التحقق من العلامات التعريفية للروبوتات

حدد عناوين URL التي تحتوي على توجيهات عدم السماح والسماح

تحديد أخطاء ملف Robots.txt

اكتشاف الأخطاء المنطقية في بناء جملة العلامات الوصفية لبرامج الروبوت

أدوات ذات صلة

مدقق Robots.txt الخاص بـ ETTVI

اكتشف استثناءات برامج الروبوت التي تمنع محرك البحث من الزحف إلى موقع الويب الخاص بك أو فهرسته في الوقت الفعلي

تأكد من منع الزحف إلى جميع صفحات الويب وملفات الوسائط وملفات الموارد غير المهمة - وتحقق من صحة الطريقة التي يتم بها توجيه برامج زحف محركات البحث (وكلاء المستخدم) للزحف إلى موقع ويب باستخدام أداة التحقق من صحة Robots.txt الخاصة بـ ETTVI. أدخل عنوان URL لموقع الويب؛ حدد وكيل المستخدم، وتحقق مما إذا كان يسمح أو لا يسمح بنشاط وكيل المستخدم المعني مثل الزحف وفهرسة صفحة ويب.

لقد سهّل برنامج التحقق من صحة ملف Robots.txt الخاص بـ ETTVI معرفة ما إذا كان جميع برامج الزحف غير مسموح لها بالزحف إلى صفحة/ملف معين أم أن هناك أي روبوت محدد لا يمكنه الزحف إليه.

قم بإدخال أداة تحسين محركات البحث المفيدة هذه في الخدمة لمراقبة سلوك برامج زحف الويب وتنظيم ميزانية الزحف لموقع الويب الخاص بك - مجانًا.

كيفية استخدام أداة التحقق من صحة Robots.txt الخاصة بـ ETTVI؟

اتبع هذه الخطوات البسيطة لاختبار ملف robots.txt لموقع ويب باستخدام أداة ETTVI المتقدمة:

الخطوة 1 - أدخل عنوان URL

اكتب عنوان URL لموقع الويب كما يلي:

ملاحظة: لا تنس إضافة "robots.txt" بعد الشرطة المائلة.

الخطوة 2 - حدد وكيل المستخدم

حدد الزاحف الذي تريد فحص ملف robots.txt عليه

يمكنك اختيار أي من وكلاء المستخدم التاليين:

جوجل بوت
أخبار جوجل بوت
ادسنس
AdsBot
بينج بوت
MSNBot-ميديا
ياهو!
دك دك جو
بايدو
ياندكس
فيسبوك
تويتربوت
بوتيفاي

الخطوة 3 - التحقق من صحة ملف Robots.txt

عند النقر فوق "التحقق"، يعمل برنامج ETTVI's Free Robots.txt Validator لتحديد وفحص التوجيهات التعريفية للروبوتات لموقع الويب المحدد. فهو يسلط الضوء على عناوين URL التي يمكن للروبوت المحدد الزحف إليها أو لا يمكنه الزحف إليها.

وكيل المستخدم: * يشير إلى أنه مسموح/غير مسموح لجميع برامج زحف محركات البحث بالزحف إلى موقع الويب

السماح: يشير إلى أنه يمكن الزحف إلى عنوان URL بواسطة زاحف (زاحف) محرك البحث المعني

عدم السماح: يشير إلى أنه لا يمكن الزحف إلى عنوان URL بواسطة زاحف (زاحف) محرك البحث المعني

لماذا نستخدم أداة التحقق من صحة Robots.txt الخاصة بـ ETTVI؟

واجهة سهلة الاستخدام

كل ما يتطلب منك القيام به هو فقط إدخال عنوان URL لموقع الويب الخاص بك ثم تشغيل الأداة. يقوم بمعالجة ملف robots.txt لموقع الويب المحدد بسرعة لتتبع جميع عناوين URL المحظورة وتوجيهات التعريف الخاصة بالروبوتات. سواء كنت مبتدئًا أو خبيرًا، يمكنك بسهولة تحديد عناوين URL باستخدام توجيهات السماح/عدم السماح مقابل وكيل المستخدم المحدد (الزاحف).

أداة تحسين محركات البحث الفعالة

يعد برنامج Robots.txt Validator من ETTVI أداة ضرورية لخبراء تحسين محركات البحث (SEO). لا يستغرق الأمر سوى بضع ثوانٍ لفحص ملف robot.txt الخاص بموقع الويب مقابل جميع وكلاء المستخدم لتتبع الأخطاء المنطقية والنحوية التي يمكن أن تضر بتحسين محركات البحث لموقع الويب. هذه هي أسهل طريقة لحفظ ميزانية الزحف الخاصة بك والتأكد من أن روبوتات محرك البحث لا تقوم بالزحف إلى الصفحات غير الضرورية.

حرية الوصول

يتيح لك اختبار Robots.txt من ETTVI مراجعة ملفات robots.txt الخاصة بأي موقع ويب للتأكد من أن موقع الويب الخاص بك قد تم الزحف إليه وفهرسته بشكل صحيح دون فرض أي رسوم اشتراك.

استخدام غير محدود

للحصول على تجربة مستخدم أكثر تعزيزًا، يتيح لك مدقق Robots.txt الخاص بـ ETTVI الوصول إليه واستخدامه بغض النظر عن أي حدود. يمكن للأشخاص من جميع أنحاء العالم الاستفادة من أداة تحسين محركات البحث المتقدمة هذه للتحقق من صحة معيار استبعاد الروبوتات لأي موقع ويب كيفما ومتى يريدون.

فهم ملفات Robots.txt

يعد ملف Robots.txt جوهر تقنية SEO التقنية، ويستخدم بشكل أساسي للتحكم في سلوك برامج زحف محركات البحث. لذلك، اقرأ هذا الدليل النهائي لمعرفة كيفية عمل ملف Robots.txt وكيفية إنشائه بالطريقة المحسنة.

ما هو ملف Robots.txt؟

يسمح ملف Robots.txt أو يمنع برامج الزحف من الوصول إلى صفحات الويب والزحف إليها. فكر في ملف Robots.txt باعتباره دليل تعليمات لبرامج زحف محركات البحث. فهو يوفر مجموعة من الإرشادات لتحديد أجزاء الموقع التي يمكن الوصول إليها وتلك التي لا يمكن الوصول إليها.

وبشكل أكثر وضوحًا، يمكّن ملف robots.txt مشرفي المواقع من التحكم في برامج الزحف - ما الذي يمكنهم الوصول إليه وكيف. يجب أن تعلم أن الزاحف لا يصل أبدًا بشكل مباشر إلى بنية الموقع، بل يصل إلى ملف robots.txt الخاص بموقع الويب المستجيب لمعرفة عناوين URL المسموح بالزحف إليها وعناوين URL غير المسموح بها.

استخدامات ملف Robots.txt

أملف Robots.txtيساعد مشرفي المواقع على إبقاء صفحات الويب وملفات الوسائط وملفات الموارد بعيدًا عن متناول جميع برامج زحف محركات البحث. بكلمات بسيطة، يتم استخدامه للاحتفاظ بعناوين URL أو الصور ومقاطع الفيديو والتسجيلات الصوتية والبرامج النصية وملفات الأنماط خارج SERPs.

تميل غالبية مُحسنات محركات البحث إلى الاستفادة من ملف Robots.txt كوسيلة لمنع صفحات الويب من الظهور في نتائج محرك البحث. ومع ذلك، لا ينبغي استخدامه لهذا الغرض حيث توجد طرق أخرى للقيام بذلك مثل تطبيق توجيهات الروبوتات الوصفية وتشفير كلمة المرور.

ضع في اعتبارك أنه يجب استخدام ملف Robots.txt فقط لمنع برامج الزحف من التحميل الزائد على موقع الويب بطلبات الزحف. علاوة على ذلك، إذا لزم الأمر، يمكن استخدام ملف Robots.txt لحفظ ميزانية الزحف عن طريق حظر صفحات الويب التي تكون إما غير مهمة أو متخلفة.

فوائد استخدام ملف Robots.txt

يمكن أن يكون ملف Robots.txt أداة فعالة وخطرًا على تحسين محركات البحث لموقعك على الويب. باستثناء الاحتمال المحفوف بالمخاطر المتمثل في عدم السماح لروبوتات محرك البحث عن غير قصد بالزحف إلى موقع الويب الخاص بك بالكامل، فإن ملف Robots.txt يكون مفيدًا دائمًا.

باستخدام ملف Robots.txt، يمكن لمشرفي المواقع:

حدد موقع خريطة الموقع
منع الزحف إلى المحتوى المكرر
منع ظهور عناوين URL وملفات معينة في SERPs
ضبط تأخير الزحف
حفظ ميزانية الزحف

تعتبر كل هذه الممارسات هي الأفضل لتحسين محركات البحث لموقع الويب ولا يمكن إلا لـ Robots.txt مساعدتك في التقديم

القيود المفروضة على استخدام ملف Robots.txt

يجب أن يعلم جميع مشرفي المواقع أنه في بعض الحالات، ربما يفشل معيار استبعاد الروبوتات في منع الزحف إلى صفحات الويب. هناك قيود معينة على استخدام ملف Robots.txt مثل:

لا تتبع جميع برامج زحف محركات البحث توجيهات ملف robots.txt
لكل زاحف طريقته الخاصة في فهم بنية ملف robots.txt
هناك احتمال أن يتمكن Googlebot من الزحف إلى عنوان URL غير مسموح به

يمكن القيام ببعض ممارسات تحسين محركات البحث للتأكد من أن عناوين URL المحظورة تظل مخفية عن جميع برامج زحف محركات البحث.

إنشاء ملف Robots.txt

ألقِ نظرة على نماذج التنسيقات هذه لتعرف كيف يمكنك إنشاء ملف Robots.txt وتعديله:

وكيل المستخدم: * عدم السماح: / يشير إلى أن كل زاحف محرك بحث محظور من الزحف إلى جميع صفحات الويب

وكيل المستخدم: * عدم السماح: يشير إلى أنه يُسمح لكل زاحف محرك بحث بالزحف إلى موقع الويب بأكمله

وكيل المستخدم: Googlebot Disallow: / يشير إلى أن زاحف Google فقط هو غير المسموح له بالزحف إلى جميع الصفحات الموجودة على موقع الويب

وكيل المستخدم: * عدم السماح: /subfolder/ يشير إلى أنه لا يمكن لزاحف محرك البحث الوصول إلى أي صفحة ويب لهذا المجلد الفرعي أو الفئة المحددة

يمكنك إنشاء ملف Robots.txt وتعديله بنفس الطريقة. فقط كن حذرًا بشأن بناء الجملة وقم بتنسيق ملف Robots.txt وفقًا للقواعد المحددة.

بناء جملة Robots.txt

يشير بناء جملة Robots.txt إلى اللغة التي نستخدمها لتنسيق ملفات robots.txt وبنيتها. دعنا نقدم لك معلومات حول المصطلحات الأساسية التي تشكل بناء جملة Robots.txt.

وكيل المستخدم هو زاحف محرك البحث الذي تقدم له تعليمات الزحف بما في ذلك عناوين URL التي يجب الزحف إليها وتلك التي لا ينبغي الزحف إليها.

Disallow هو توجيه تعريفي لبرامج الروبوت يرشد وكلاء المستخدم إلى عدم الزحف إلى عنوان URL المعني

"السماح" هو توجيه تعريفي لبرامج الروبوت لا ينطبق إلا على Googlebot. فهو يرشد زاحف Google إلى أنه يمكنه الوصول إلى صفحة ويب أو مجلد فرعي والزحف إليه ثم فهرسته.

يحدد تأخير الزحف الفترة الزمنية بالثواني التي يجب أن ينتظرها الزاحف قبل الزحف إلى محتوى الويب. وللعلم، فإن زاحف Google لا يتبع هذا الأمر. على أية حال، إذا لزم الأمر، يمكنك ضبط معدل الزحف من خلال Google Search Console.

يحدد ملف Sitemap موقع خريطة (خرائط) موقع XML الخاصة بموقع الويب المحدد. فقط Google وAsk وBing وYahoo يقرون بهذا الأمر.

الأحرف الخاصة بما في ذلك * و / و $ تجعل من السهل على برامج الزحف فهم التوجيهات. وكما يوحي الاسم، فإن كل واحد من هذه الأحرف له معنى خاص:

* يعني أنه مسموح/غير مسموح لجميع برامج الزحف بالزحف إلى موقع الويب المعني. / يعني أن توجيه السماح/عدم السماح لجميع صفحات الويب

حقائق سريعة عن ملف Robots.txt

➔ يتم إنشاء ملف Robots.txt الخاص بالمجال الفرعي بشكل منفصل
➔ يجب حفظ اسم ملف Robots.txt بأحرف صغيرة كـ "robots.txt" لأنه حساس لحالة الأحرف.
➔ يجب وضع ملف Robots.txt في دليل المستوى الأعلى لموقع الويب
➔ لا تدعم جميع برامج الزحف (وكلاء المستخدم) ملف robots.txt
➔ يمكن لزاحف Google العثور على عناوين URL المحظورة من مواقع الويب المرتبطة
➔ يمكن الوصول إلى ملف Robots.txt الخاص بكل موقع ويب بشكل عام مما يعني أنه يمكن لأي شخص الوصول إليه

نصيحة محترف :في حالة الحاجة الماسة، استخدم طرق أخرى لحظر عناوين URL مثل تشفير كلمة المرور والعلامات الوصفية لبرامج الروبوت بدلاً من ملف robots.txt لمنع الزحف إلى صفحات ويب معينة.

أدوات أخرى

"It's a fantastic resource! Amazing! To quickly and accurately provide information about amp properties of any website, this ettvi google amp checker is a godsend. It's simple to use and quite beneficial."

Bartosz Helano

اطرح الأسئلة بشكل متكرر

هل يمكنني التحقق من صحة ملف robots.txt الخاص بي مقابل جميع وكلاء المستخدم؟

نعم. يمكّنك مدقق ملفات Robots.txt الخاص بـ ETTVI من التحقق من صحة ملف robots.txt الخاص بموقعك على الويب ضد جميع وكلاء المستخدم أو برامج زحف الويب.

ما هو وكيل المستخدم * في ملف robots txt؟

إذا كنت تريد السماح أو عدم السماح لجميع وكلاء المستخدم (برامج الزحف) بالزحف إلى صفحات الويب الخاصة بك، فما عليك سوى إضافة * مع وكيل المستخدم في ملف robots.txt. بكلمات بسيطة، * تحدد أن التعليمات المقدمة مخصصة لجميع وكلاء المستخدم.

ماذا يعني وكيل المستخدم * عدم السماح؟

وكيل المستخدم: * / يشير عدم السماح إلى أن جميع وكلاء المستخدم أو برامج زحف محركات البحث محظورة من الزحف إلى صفحة الويب المعنية.

هل يجب علي تعطيل ملف robots.txt؟

يحدد ملف Robots.txt أو يحدد سلوك برامج زحف محركات البحث. ولذلك، إذا قمت بتعطيل ملف robots.txt، فستتمكن برامج الزحف من الزحف إلى جميع صفحات الويب الخاصة بك. لن يؤدي هذا إلى إهدار ميزانية الزحف الخاصة بك فحسب، بل سيؤدي أيضًا إلى الزحف إلى الصفحات التي لا تريد فهرستها. على أية حال، هذا لا يعني أنه يجب عليك استخدام ملف Robots.txt لإخفاء صفحات الويب الخاصة بك من برامج زحف محركات البحث. الأمر متروك لك تمامًا إذا كنت تستخدم ملف robots.txt أو تقوم بتعطيله وإضافة توجيهات تعريفية لبرامج الروبوت مباشرة على صفحات الويب التي لا تريد أن يتم الزحف إليها.

هل يمكنني استخدام مدقق Robots.txt الخاص بـ ETTVI مجانًا؟

نعم. يمكنك استخدام أداة التحقق من صحة ملف Robots.txt الخاصة بـ ETTVI مجانًا.

ابق على اطلاع في عالم البريد الإلكتروني.

اشترك في رسائل البريد الإلكتروني الأسبوعية مع المقالات والأدلة ومقاطع الفيديو المنسقة لتعزيز تكتيكاتك.