کاربرد-فایل-robot-txt

موتورهای جستجو گر مانند گوگل ، بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot استفاده می کنند. وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

محتویات فایل

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. نمونه کد زیر مثالی از محتویات فایل Robots.txt می باشد :

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/

در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی “Disallow: /cgi-bin/ /tmp/”  وجود ندارد.

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robots.txt شرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: * Disallow: /

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت

User-agent: * Disallow:

(برای اینکار می توانید همچنین یک فایل Robots.txt خالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot Disallow: /

برای اعطای دسترسی به یک روبات خاص

User-agent: Google Disallow:

توجه داشته باشید که محل قرار گیری این فایل در سایت شما به شکل زیر است:

www.YourSite.com/robot.txt

نظرات کاربران
مطالب مرتبط
ساسپند شدن سایت

ساسپند شدن سایت چیست؟ ساسپند شدن سایت به معنی به تعلیق در آمدن سایت است یعنی کاربران و بازدیدکنندگان نمی‌توانند…

تغییر رمز دایرکت ادمین از طریق ssh

تغییر پسورد ssh برای تغییر پسورد root سرورهای لینوکسی لازم است شما ابتدا به ssh وصل شوید . سپس از…

رفع مشکل ادیتور دایرکت ادمین

یکی از مشکلات اساس دایرکت ادمین مشکل ویرایش فایل فارسی uft-8 می باشد ، زمانی که در فایل منیجر دایرکت…

درباره سرور افروز

تمامي كالاها و خدمات اين فروشگاه، حسب مورد داراي مجوزهاي لازم از مراجع مربوطه مي‌باشند و فعاليت‌هاي اين سايت تابع قوانين و مقررات جمهوري اسلامي ايران است قیمتی که در هنگام سفارش مشتري در پیش‌­فاکتور منظور گرديده است، معتبر مي‌باشد .

طراحی و توسعه منحصر به فرد برای سرور افروز توسط استودیو نوا

هاست پربازدید

هاست ارزان

ثبت دامنه

دامنه ارزان

خرید سرویس اختصاصی

هاست چت روم

سرور افروز

افروز سرور

گروه طراحی چت روم

بهترین گروه طراحی چت روم

طراحی چت روم

طراح چت روم

چت روم

طراح چت روم

طراحی چتروم

خرید چت روم

طراحی چت

طراحی چت روم

گروه طراحی چت روم

انتقال چت روم

طراح چت

طراح چتروم

چت روم

خرید چت روم ارزان

چت روم ارزان

هاست چت روم

سفارش چت روم

چت روم ارزان

خرید چتروم

چت

سئو چت روم

مای طرح

سرور افروز

گروه طراحی چت روم چت روم ارزان طراح چت خرید چت روم طراحی چت طراحی چت روم انتقال چت روم هاست چت روم سفارش چت روم چت روم ارزان گروه طراحی چت روم طرح آرا دی چت مای طرح دیزاین طرح گروه طراحی چت روم چت روم ارزان طراح چت خرید چت روم طراحی چت طراحی چت روم انتقال چت روم هاست چت روم سفارش چت روم چت روم ارزان گروه طراحی چت روم طرح آرا دی چت مای طرح سرور افروز