U3F1ZWV6ZTM2Mjk3NjM4MTQ1X0FjdGl2YXRpb240MTEyMDIxNjAzODI=
recent
أخبار ساخنة

شرح انشاء ملف روبوت robots.txt مخصص لمدونة بلوجر لأرشفة المواضيع والظهور الملائم في محركات البحث!

طريقة اضافة ملف الروبوت Robots.txt الي مدونة بلوجر، ملف روبوتس robots.txt  لمدونات بلوجر:

سأعرض لكم في هذه التدوينة شرح طريقة إنشاء ملف robots.txt بالتفصيل للمبتدئين بالصور بلوجر, كيفية إضافة ملف الروبوت Robots.txt الي مدونة بلوجر؟ وسأوضح طريقة إنشاء ملف robots.txt بالتفصيل للمبتدئين، وسأجيب عن السؤال الشائع: ما هو ملف الروبوت robots.txt؟ وماهي اهمية ملف روبوت في ارشفة محتوي موقعك.


شرح انشاء ملف روبوت robots.txt مخصص لمدونة بلوجر

يوجد شرح بالفديو موجود بالأسفل _ لا بد من مشاهدته لكى تفهم جميع الأكواد المستخدمه بطريقه صحيحه، وتقرر إستخدام جميع الأكواد أم استثناء أو تغيير بعضها.

Robots.txt.
ما هو ملف robots.txt؟

Robots.txt هو ملف نصي ينشئه مشرفو المواقع لإرشاد روبوتات الويب (عادة برامج الروبوت لمحركات البحث) حول كيفية الزحف إلى الصفحات الموجودة على موقع الويب الخاص بهم. يعد ملف robots.txt جزءاً من بروتوكول استبعاد برامج الروبوت (REP) ، وهو مجموعة من معايير الويب التي تنظم كيفية زحف الروبوتات إلى الويب، والوصول إلى المحتوى وفهرسته ، وتقديم هذا المحتوى للمستخدمين. 

يتضمن REP أيضاً توجيهات مثل الروبوتات الوصفية\، بالإضافة إلى تعليمات الصفحات أو الدليل الفرعي أو على مستوى الموقع لكيفية تعامل محركات البحث مع الروابط (مثل "متابعة" أو "nofollow").

من الناحية العملية ، تشير ملفات robots.txt إلى ما إذا كان يمكن لوكلاء مستخدمين معينين (برنامج زحف الويب) الزحف إلى أجزاء من موقع الويب أم لا. يتم تحديد تعليمات الزحف هذه عن طريق "عدم السماح" أو "السماح" بسلوك وكلاء مستخدم معينين (أو جميعهم).

بالمعنى المبسط:
هو الملف الذى يحتوي علي مجموعة من الاوامر التي تعطي محركات البحث وجوجل اوامر عن ما يمكن أرشفته من صفحات في موقعك وعن تلك الصفحات التي يجب ان تبقي بدون ارشفة.

بناء ملف robots.txt الفني:
هناك خمسة مصطلحات شائعة من المحتمل أن تصادفها في ملف روبوت، يشملوا:

User-agent: زاحف الويب المحدد الذي تقدم له تعليمات الزحف (عادةً ما يكون محرك بحث). يمكن العثور على قائمة بمعظم وكلاء المستخدم هنا.

Disallow: الأمر المستخدم لإخبار وكيل المستخدم بعدم الزحف إلى عنوان URL معين. يُسمح بسطر "Disallow:" واحد فقط لكل عنوان URL.

Allow (ينطبق فقط على Googlebot): الأمر بإخبار Googlebot بأنه يمكنه الوصول إلى صفحة أو مجلد فرعي على الرغم من أن صفحته الرئيسية أو المجلد الفرعي قد يكون غير مسموح به.

Crawl-delay: عدد الثواني التي يجب أن ينتظرها الزاحف قبل تحميل محتوى الصفحة والزحف إليه، لاحظ أن Googlebot لا يقر بهذا الأمر، ولكن يمكن تعيين معدل الزحف في Google Search Console .

ملف Sitemap: يُستخدم لاستدعاء موقع أي ملف (ملفات) Sitemap بتنسيق XML مرتبط بعنوان URL هذا، ولاحظ أن هذا الأمر مدعوم فقط من قبل Google و Ask و Bing و Yahoo.

لماذا تحتاج robots.txt؟
تتحكم ملفات Robots.txt في دخول الزاحف إلى مناطق معينة من موقعك، على الرغم من أن ذلك قد يكون خطيراً للغاية إذا منعت دون قصد Googlebot من الزحف إلى موقعك بالكامل (!!).

تشمل بعض حالات الاستخدام الشائعة ما يلي:

- منع ظهور المحتوى المكرر في SERPs (لاحظ أن الروبوتات الوصفية غالبًا ما تكون خياراً أفضل لذلك).
- الحفاظ على خصوصية أقسام كاملة من موقع الويب.
- منع صفحات نتائج البحث الداخلية من الظهور على سيرب عام.
- تحديد موقع ملف (ملفات) الموقع.
- منع محركات البحث من فهرسة ملفات معينة على موقع الويب الخاص بك (الصور وملفات PDF وما إلى ذلك).
- تحديد تأخير الزحف من أجل منع التحميل الزائد على خوادمك عندما تقوم برامج الزاحف بتحميل أجزاء متعددة من المحتوى في وقت واحد.

التحقق مما إذا كان لديك ملف robots.txt؟
ألست متأكداً مما إذا كان لديك ملف robots.txt؟ ما عليك سوى كتابة دومين موقعك ، ثم إضافة ملف robots.txt إلى نهاية عنوان URL. على سبيل المثال، ملف الروبوتات الخاص بموقعى هذا سيظهر عند كتابة هذا الوسم فى محرك البحث.
 epdatech.com/robots.txt

فقط قم بإستبدال epdatech.com برابط موقعك.

إذا لم تظهر صفحة txt. ، فهذا يعني أنه ليس لديك حالياً صفحة robots.txt (مباشرة).


افضل ملف روبوت robots.txt مخصص:
مثال بسيط لملف روبوتس مخصص لمدونات بلوجر وانا شخصياً استعمله علي موقعى هنا " الابداع التقنى" :

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.epdatech.com/sitemap.xml

يتكون ملف الروبوت من 3 اجزاء مخصصة سنقوم بشرحها بالتفصيل:-

الجزء الاول: User-agent: Mediapartners-Google
وهو مخصص بشكل اساسي للاعلانات علي مدونتك وتحديداً جوجل ادسنس، حيث يقوم هذا الكود بتحديد عناكب أو بوتات الاعلانات، وكلمة Disallow اسفله تقوم بمنع تلك العناكب من الوصول أو ارشفة مدونتك.

الجزء الثاني: User-agent: *
هذا الجزء من الكود مخصص للمنع والسماح بالزحف لملفات معينة داخل محتوي موقعك فمثلاً اذا كنت تريد السماح لمحركات البحث مثل جوجل بأرشفة جميع صفحات موقعك كاملةً فسنضيف بعد هذا الامر مباشرة كلمة Allow: / كما هو في ملف الروبوت المرفق في الشرح وإذا أردت إستبعاد بعض الصفحات نقوم بستخدام كود Disallow لإستثناء مجموعة ضمنية من صفحات موقعك.
اما اذا كنت تريد منع الزحف الي عمليات البحث مثلاً داخل موقعك فقم باضافة هذا الامر Disallow: /search.


الجزء الثالث: Sitemap
وهو الملف الذي يحتوي علي محتوي موقعك بالكامل بشكل متجدد حيث يتم فحص هذا الملف بشكل مستمر في كل مرة يدخل فيها عناكب البحث علي موقعك في حالة ما اذا قمت باضافة تدوينة جديدة الي موقعك لكي يتم ارشفتها.
أى يقوم بإشهار ملف السايت ماب Sitemap الخاص بمدونتك لدي محركات البحث.


والآن إلى الشرح بالفديو ففرجة ممتعة للجميع:



طريقة إضافة ملف روبوت robots.txt مخصص لمدونات بلوجر 2020.

1) بعد الدخول الي مدونتك قم بالدخول الي الاعدادات ثم تفضيلات البحث كما هو موضح بالصورة التالية ثم اضغط علي تعديل:

طريقة إضافة ملف روبوت robots.txt مخصص لمدونات بلوجر 2020

2) ثم قم بالضغط علي تعديل أو Edit لنقوم بإضافة كود ملف الروبوت.
بجانب كلمة Custom Robots.txt قم بالضغط علي كلمة تعديل أو Edit، بعدها سيظهر مربع صغير لإدخال ملف الروبوت، كما بالصورة التاليه.

طريقة إضافة ملف روبوت robots.txt مخصص لمدونات بلوجر 2020


كن حذراً أثناء تعاملك مع ملف Robots.txt حيث أنه يتعلق بمحركات البحث وبأرشفة مواضيعك وظهورها في نتائج البحث، وإذا لديك أي سؤال أو بعض الجزئيات الغير واضحة، قم بترك تعليق في الاسفل وشكراً لك.
ليست هناك تعليقات
إرسال تعليق

إرسال تعليق

الاسمبريد إلكترونيرسالة