کاربرد-فایل-robot-txt

موتورهای جستجو گر مانند گوگل ، بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot استفاده می کنند. وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

محتویات فایل

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. نمونه کد زیر مثالی از محتویات فایل Robots.txt می باشد :

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/

در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی “Disallow: /cgi-bin/ /tmp/”  وجود ندارد.

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robots.txt شرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: * Disallow: /

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت

User-agent: * Disallow:

(برای اینکار می توانید همچنین یک فایل Robots.txt خالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot Disallow: /

برای اعطای دسترسی به یک روبات خاص

User-agent: Google Disallow:

توجه داشته باشید که محل قرار گیری این فایل در سایت شما به شکل زیر است:

www.YourSite.com/robot.txt

نظرات کاربران
ارسال دیدگاه
مطالب مرتبط

ساسپند شدن سایت

ساسپند شدن سایت چیست؟ ساسپند شدن سایت به معنی به تعلیق در آمدن سایت است یعنی کاربران و بازدیدکنندگان نمی‌توانند از...

رفع مشکل ادیتور دایرکت ادمین

رفع مشکل ادیتور دایرکت ادمین،حل مشکل ویرایش فایل فارسی utf-8،ادیتور فارسی دایرکت ادمین،ادیتور فارسی از ssh،مشکل فایل منیجر دایرکت ادمین

تغییر رمز دایرکت ادمین از طریق ssh

تغییر پسورد ssh،تغییر پسورد admin ، آموزش کار با ssh،اموزش کار با sshتغییر رمز سرور و روت ، آموزش تغییر رمز...

طراحی و توسعه منحصر به فرد برای توسط سرور افروز

هاست پربازدید

هاست ارزان

ثبت دامنه

دامنه ارزان

خرید سرویس اختصاصی

هاست چت روم

سرور افروز

افروز سرور

گروه طراحی چت روم

بهترین گروه طراحی چت روم

طراحی چت روم

طراح چت روم

چت روم

logo-samandehi

طراح چت روم

طراحی چتروم

خرید چت روم

طراحی چت

طراحی چت روم

گروه طراحی چت روم

انتقال چت روم

طراح چت

طراح چتروم

چت روم

خرید چت روم ارزان

چت روم ارزان

هاست چت روم

سفارش چت روم

چت روم ارزان

خرید چتروم

چت

سئو چت روم

مای طرح

سرور افروز

گروه طراحی چت روم چت روم ارزان طراح چت خرید چت روم طراحی چت طراحی چت روم انتقال چت روم هاست چت روم سفارش چت روم چت روم ارزان گروه طراحی چت روم طرح آرا دی چت مای طرح دیزاین طرح گروه طراحی چت روم چت روم ارزان طراح چت خرید چت روم طراحی چت طراحی چت روم انتقال چت روم هاست چت روم سفارش چت روم چت روم ارزان گروه طراحی چت روم طرح آرا دی چت مای طرح سرور افروز