طريقة كتابة robots.txt
السلام عليكم ورحمة الله وبركاته
الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.
لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:
تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.
Disallow:طريقة المنع
Crawl-delay:مدة تاخير بين زيارة اخرى
Request-rate:معدل طلب الصفحة
Visit-time:الاوقات المسموح بها بالزيارة
sitemap:خارطة الموقع بصيغة .xml او .xml.gz
-------
نبدأ بسم الله الامثلة:
1.
كود PHP:
User-agent: *
Disallow:
نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.
2.
كود PHP:
User-agent: *
Disallow: /
هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.
3.
كود PHP:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
منع الجميع من زيارة مجلدين cgi-bin و tmp
4.
كود PHP:
User-agent: *
Disallow: /downloads/index.html
نمنع الجميع من زيارة صفحة معينة
5.
كود PHP:
User-agent: BadBot
Disallow: /
هذا ربوت سيء امنعه من دخول الي الموقع
6.
كود PHP:
User-agent: ]DontLikeBot
Disallow: /private/
اريد ان امنع هذا الروبوت من مجلد واحد فقط
7.
كود PHP:
User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800
مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt
8.
كود PHP:
User-agent: msnbot
Crawl-delay: 120
سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.
9.
كود PHP:
Sitemap: http://www.ketaballah.net/sitemap.xml
لكل السبيدرز هذا هو رابط خريطة موقعي
10.
كود PHP:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin
طريقة كتابة robots.txt 
