سفارشی سازی Robots.txt برای CMS های معروف

چهارشنبه, ۱۱ام فروردین , ۱۳۸۹ | ۱۱ دیدگاه

این که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسدله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد  فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دارای این فایل معمولا در رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق این فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم.

نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد :

http://www.yoursite/robots.txt

کافیست دستورات زیر را در این فایل کپی پیست کنید :

WordPress

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/

Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /libraries/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /admin
Disallow: /administrator
Disallow:/admin/
Disallow: /admin.html
Disallow:/admin.php

Drupal

User-agent: *
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Paths (clean URLs)
Disallow: /admin/
Disallow: /aggregator/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /contact
Disallow: /logout
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/password/
Disallow: /print/
Disallow: /forward/
# Files
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Block user tracker pages
Allow: /project/track
Disallow: /*/track$
Disallow: /*/track?page=

If you are not using static urls:

Disallow: /?q=admin/
Disallow: /?q=aggregator/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /user/login/

در این رابطه میتوانید پست زیر را نیز بخوانید :
robot.txt چیست ؟ A Standard for Robot Exclusion

Be Sociable, Share!


۱۱ دیدگاه


  1. Hesam
    ۱۱ فروردین ۱۳۸۹

    بهینه کردیم رفت …




  2. Hesam
    ۱۱ فروردین ۱۳۸۹

    سطح دسترسی مهم هست ؟
    شما که خودت نداری : http://www.ittutorial.ir/robot.txt




  3. شاهین
    ۱۱ فروردین ۱۳۸۹

    سلام، ممنون از پست خوبتون، فقط چند تا نکته:
    اسم فایل robotS.txt هست، نه robot.txt
    با خیلی از محدودیت های ذکر شده، بخصوص: Disallow: /tag موافق نیستم، همانطور که در سایت خودتون هم چنین محدودیت هایی اعمال نشده.




  4. حاصلي
    ۱۱ فروردین ۱۳۸۹

    بنده یک پرسش دارم و اون اینکه آیا شما مطمئنید با این کار امنیت پایگاه حفظ خواهد شد؟
    چرا که ما با این کار خودمان نام تمامی فولدر های سایت خودمان در یک فایل متنی برای هکر ها قرار دادیم.
    در ضمن وقتی من از یک cms استفاده می کنم تقریبا همه هکر ها می دانند که چه فایل هایی در cms من وجود دارد.
    سپاسگزارم.




  5. Mort3ZA
    ۱۲ فروردین ۱۳۸۹

    سلام (با تبریک عید )
    کامران خان میشه چندتا از گزینه‌های وردپرس رو بگی که چرا باید غیرقابل دیدن بشن برای موتور جستجو؟ مثلا images/>pre> چیه؟




  6. کامران
    ۱۲ فروردین ۱۳۸۹

    ممنون از همه عزیزان
    این کار به پایگاه داده هیچ ارتباطی نداره و فقط فولدرهای شما رو مخفی میکنه چرا که هسته اصلی وردپرس قدرت زیادی داره و بیشتر از طریق ضعف افزونه ها مورد هجوم قرار میگیرید.




  7. Hesam
    ۱۲ فروردین ۱۳۸۹

    تک طرح آموزش هایی در این زمنیه گذاشته اونم پیشنهاد کنید خوبه !




  8. علیرضا
    ۱۲ فروردین ۱۳۸۹

    بسیار مطلب مفیدی است. سپاس گذارم




  9. آرش
    ۱۶ فروردین ۱۳۸۹

    خیلی خوب و آموزنده است
    بسیار بسیار تشکر




  10. اصغر
    ۱۸ مهر ۱۳۸۹

    من فایل رو تو سایت پایین چک کردم ارورداد
    http://tool.motoricerca.info/robots-checker.phtml



  11. […] سفارشی سازی Robots.txt – بروزداری وردپرس – تهیه بکاپ از دیتابیس – […]



دیدگاه خود را بنویسید