خانه / وردپرس / آموزش سئو / روش بهینه کردن فایل Robots.txt برای سئو
روش بهینه کردن فایل Robots.txt برای سئو
روش بهینه کردن فایل Robots.txt برای سئو

روش بهینه کردن فایل Robots.txt برای سئو

روش بهینه کردن فایل Robots.txt برای سئو رو میخواهیم بگیم زیرا همانطور که اطلاع دارید مبحث سئوی به صورتی گسترده بوده است که کسی نمی تونه تمامی آنها رو به راحتی یاد بگیرد از هاست گرفته تا مطالب رو به خود اختصاص می دهد حالا بریم سراغ این آموزش سئو تا بتونیم باز راه دیگر ی رو جلوی پای شما بگذاریم

روش بهینه کردن فایل Robots.txt برای سئو

فایل Robots.txt چیست ؟ این فایل وظیفه سئوی سایت رو بر عهده داره و به موتورهای جستجو می گه که کدام قسمت رو ایندکس نماید و شاید با خود بگید آیا این فایل ضروریه ؟با توجه به کاری که به عهده داره  چون با نبودش به ایندکس شدن مطالب شما مانع نخواهد شد بلکه به سئوی سایت شما کمک بسیاری رو می نماید پس با توجه به بودنش میشه گفت ضروریه این فایل در جایی بوده که موتورهای جستجو به دنبال نقشه سایت شما می گردن مگر اینکه اون رو در Google Webmaster Tools مشخص نکرده باشین.

طریقه ساخت فایل Robots.txt ؟

دوستان اگه این فایل رو داشته باشید در ریشه هاست ( public_html)می باشد که می تونید به ر احتی پیداش کنید اما اگه ندارید میتونید در هاست خود یک فایل با نام robots.txt بسازید و یا در کامپیوتر خود یک فایل رو با ویرایشگر نوت پد باز کرده و ان رو با اسم robots.txt ذخیره و در هاست آپلود نمایید

طریقه استفاده از فایل robots.txt ؟

در اینجا می خواهیم گام به گام ساختار این فایل رو بهتون بگیم user agent برای نام ربات جستجویی بوده است که با ان ارتباط برقرار می نمایید مثلا ربات گوگل (Googlebot)، ربات بینگ (Bingbot) و اگه می خواهید تمامی ربات ها رو شامل نمایید در مقابل انها علامت * رو قرار بدید

خط های بعدی برای ساختارهای مجاز و غیر مجاز ایندکس شدن بوده است تا مشخص نمایید ربات کدام شاخه رو ایندکس و کدام یک رو ایندکس ننماید در زیر یک فایل رو می بینید که تمامی رباتها رو فراخونی می نماید ضمن به شاخه ی آپلود تصاویر رو برای ایندکس شدن مجاز میدونه و دو شاخه ی دیگه رو غیرمجاز میدونه.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

بهینه سازی فایل robots.txt برای سئو

دوستان گوگل به شما وب مسترها این توصیه رو می نماید تا هیچ محتوای خود رو از فایل robots.txt پنهان ننمایید به صورتی دیگر اگه بخواهیم بگیم اگه شما دسته بندی , تاریخ و .. رو از ایندکس شدن منع نمایید هیچ کار درستی رو انجام نداده اید و هدف این فایل robots.txt بررسی فایلهای سایت شما بوده است تا با انها چه برخوردی نماید

شما به اضافه کردن مواردی چون شاخه مدیریت (admin) یا صفحه ثبت نام و … به فایل robots.txt رو ندارید چزا اینها به صورت خودکار برچسپ noindex  بوده و ایندکس نمی شوند ما در اینجا به شما یک پیشنهاد می کنیم و ان هم این بوده که فایل readme.html را در robots.txt  غیر مجاز نمایید چرا ؟ چون ممکنه برخی از افراد استفاده نمایند تا بدونند نسخه وردپرس شما چنده و با این کار می تونید از برخی حملات جلوگیری نمایید

افزودن نقشه ی XML سایت به فایل robots.txt

شاید از افزونه هایی چون WordPress SEO by Yoast و … جهت نقشه سایت استفاده می کنید پس اگه این چنین است آنها به صورت خودکار به robots.txt اضافه می شوند اما شاید این پلاگین نتونست اینکار رو انجام بده که باید خود این کار رو انجام دهید همانند مثال در کدهای زیر باید آدرسی توی افزونه بری نقشه گذاشته شده است استفاده نمایید

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

نمونه ی یک فایل robots.txt مناسب

دوستان شما میتونید همانند زیر یک فایل robots.txt با بخش های مختلف داشته و با توجه به نیاز خود تغییر دهید

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

از همراهیتون ممنون و سپاسگذاریم

منبع : قالب وردپرس

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *