إن Googlebot هو برنامج تتبع زحف الويب من Google (ويطلق عليه في بعض الأحيان أيضًا اسم "العنكبوت"). الزحف هو عملية يكتشف Googlebot من خلالها الصفحات الجديدة أو التي يتم تحديثها ليضيفها إلى فهرس Google.
ونحن نستخدم في ذلك مجموعة ضخمة من أجهزة الكمبيوتر للبحث عن (أو "الزحف إلى") مليارات الصفحات على الويب وجلبها. ويستخدم Googlebot خوارزمية: حيث تحدد برامج الكمبيوتر المواقع التي يتم الزحف إليها وعدد مرات عملية الزحف وعدد الصفحات التي يتم جلبها من كل موقع.
وتبدأ عملية زحف Googlebot من خلال قائمة بعناوين URL لصفحات ويب تم إنشاؤها من عمليات زحف سابقة، ودمجها مع بيانات ملف Sitemap التي يقدمها مشرفو المواقع. وعندما يزور Googlebot كل موقع من مواقع الويب هذه، فإنه يكتشف روابط (SRC وHREF) في كل صفحة ويضيفها إلى قائمة الصفحات التي سيتم الزحف إليها. كما تتم ملاحظة المواقع الجديدة والتغييرات التي تمت على المواقع الحالية وكذلك الروابط المعطلة واستخدامها في تحديث فهرس Google.
لمشرفي المواقع: Googlebot وموقعك
كيفية دخول Googlebot إلى موقعك
بالنسبة إلى معظم المواقع، لن يدخل Googlebot إلى موقعك أكثر من مرة كل بضع ثوانٍ في المتوسط. ومع ذلك، ونتيجة للتأخيرات بسبب الشبكة، من المحتمل ظهور المعدل بشكل أعلى قليلاً على مدى فترات قصيرة. وبوجه عام، يعمل Googlebot على تنزيل نسخة واحدة فقط من كل صفحة في كل مرة. إذا لاحظت تنزيل Googlebot لصفحة مرات عدة، فربما يرجع ذلك إلى توقف الزاحف وإعادة تشغيله.
تم تصميم Googlebot ليتم توزيعه على أجهزة عديدة لتحسين الأداء وتطويره مع نمو الويب. ولتقليل استخدام النطاق الترددي أيضًا، نشغّل العديد من برامج الزحف على الأجهزة بجوار المواقع التي تتم فهرستها في الشبكة. لذلك، ربما تعرض سجلاتك الزيارات من أجهزة مختلفة ضمن النطاق google.com، وجميعها باستخدام وكيل المستخدم Googlebot. حيث نهدف إلى الزحف إلى أكبر عدد ممكن من صفحات موقعك في كل زيارة بدون إرهاق سعة النطاق الترددي لخادمك. طلب تغيير معدل الزحف
منع Googlebot من محتوى موقعك
يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط إليه. عقب تتبع شخص ما لرابط من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة الإحالة ويمكن تخزينه ونشره من خلال خادم الويب الأخر في سجل الإحالة. وبالمثل، يحتوي الويب على العديد من الروابط القديمة والمعطلة. حينما ينشر شخص ما رابطًا غير صحيح إلى موقعك أو يخفق في تحديث الروابط لإظهار التغييرات في خادمك، سيحاول Googlebot تنزيل رابط غير صحيح من موقعك.
إذا كنت تريد منع Googlebot من الزحف إلى محتويات موقعك، فهناك عدد من الخيارات، بما في ذلك استخدام ملف robots.txt لمنع الدخول إلى الملفات والأدلة على الخادم.
بعد إنشاء ملف robots.txt، ربما يكون هناك تأخير قليل قبل اكتشاف Googlebot للتغييرات. إذا استمر Googlebot في الزحف إلى المحتوى الذي منعته في ملف robots.txt، فتحقق من وجود ملف robots.txt في المكان الصحيح. يجب أن يكون في أعلى دليل بالخادم (على سبيل المثال،
www.myhost.com/robots.txt)؛ حيث إن وضع الملف في الدليل الفرعي لا يكون له أي تأثير.
إذا كنت تريد منع رسائل الخطأ "لم يتم العثور على الملف" في سجل خادم الويب، يمكنك إنشاء ملف فارغ باسم robots.txt. إذا كنت تريد منع Googlebot من تتبع أي روابط في صفحة بموقعك، يمكنك استخدام علامة nofollow meta. لمنع Googlebot من تتبع رابط معين، أضف السمة rel="nofollow" إلى الرابط نفسه.
إليك بعض النصائح الإضافية:
اختبر عمل ملف robots.txt على النحو المتوقع. تتيح لك أداة اختبار ملف robots.txt في صفحة عناوين URL المحظورة (ضمن بيانات التشخيص) مما يتيح لك الاطلاع بالضبط على كيفية ترجمة Googlebot لمحتويات ملف robots.txt. تأكد تمامًا أن وكيل مستخدم Google هو Googlebot.
تساعدك أداة "جلب مثل Google" في أدوات مشرفي المواقع في معرفة كيفية ظهور موقعك بالضبط لـ Googlebot. يعد ذلك مفيدًا للغاية عند تحرّي المشكلات المتعلقة بمحتوى موقعك أو قابلية الاكتشاف في نتائج البحث وإصلاحها.
التأكد من أن الموقع قابل للزحف
يكتشف Googlebot المواقع عن طريق تتبع الروابط من صفحة لأخرى. وتسرد صفحة أخطاء الزحف في أدوات مشرفي المواقع أية مشكلات عثر عليها Googlebot عند الزحف إلى موقعك. نوصي بمراجعة أخطاء الزحف هذه بانتظام لتحديد أية مشكلات بموقعك.
إذا كنت تشغّل تطبيق AJAX يتضمن محتوى تريد ظهوره في نتائج البحث، نوصي بمراجعة عرضنا بشأن جعل المحتوى الذي يستند إلى AJAX قابلاً للزحف والفهرسة.
إذا كان ملف robots.txt يعمل بالشكل المتوقع، ولكن مع عدم وجود حركة زيارات بموقعك، فإليك بعض الأسباب المحتملة لعدم أداء المحتوى بشكل جيد خلال البحث.
مشكلات مع مرسلي الرسائل غير المرغوب فيها ووكلاء المستخدم
تتغير عناوين IP التي يستخدمها Googlebot بين الحين والآخر. وأفضل طريقة لتحديد عمليات الدخول من خلال Googlebot هي استخدام وكيل المستخدم (Googlebot). يمكنك التحقق من أن برنامج التتبع الذي يدخل إلى الخادم هو Googlebot حقًا من خلال استخدام بحث عكسي عن نظام أسماء النطاقات.
يحترم Googlebot وجميع برامج تتبع محركات البحث حسنة السمعة الأوامر المضمنة في ملف robots.txt، ولكن بعض الأشخاص السيئين ومرسلي الرسائل غير المرغوب فيها لا يلتزمون بذلك. الإبلاغ عن الرسائل غير المرغوب فيها إلى Google.
تمتلك Google العديد من وكلاء المستخدم الآخرين، بما في ذلك Feedfetcher (وكيل المستخدم Feedfetcher-Google) نظرًا لأن طلبات Feedfetcher تكون نتيجة لإجراءات صريحة من مستخدمين بشريين أضافوا هذه الخلاصات إلى صفحة Google الرئيسية أو إلى Google Reader، وليس من برامج زحف تلقائية، فإن Feedfetcher لا يتبع إرشادات robots.txt. يمكنك·منع·Feedfetcher·من·الزحف·إلى·موقعك·من·خلال·تهيئة·خادمك·لعرض·404·أو·410·أو·رسالة·حالة·الخطأ·الأخرى·إلى·وكيل المستخدم Feedfetcher-Google. مزيد من المعلومات حول Feedfetcher.
Transported
Thread the original link:https://support.google.com/webmasters/answer/182072?hl=ar
الرئيسية