برای اینکه یک وب‌سایت منتشر شده و در اختیار مردم قرار بگیرد، زحمات زیادی کشیده می‌شود. از مراحل طراحی سایت گرفته تا انتشار نهایی محتوا یا محصول.وقتی سایت آماده شد و شروع به کار کرد، بدترین کابوس یک وب‌مستر ایندکس نشدن صفحات سایت توسط گوگل است. در واقع اگر گوگل سایت ما را ایندکس نکند، ترافیک زیادی را از دست خواهیم داد. چون سایتها بیشتر ترافیک خود را از موتورهای جستجو جذب می‌کنند.

چطور تعداد صفحات ایندکس شده سایتمان را تشخیص دهیم؟

برای این کار 2 راه وجود دارد :

1 – استفاده از Site:example.ir

مرورگر خود را باز کنید. وارد سایت گوگل شده و در باکس سرچ عبارت site:example.ir را وارد کنید . توجه کنید که به جای Exmaple.ir آدرس سایت خودتان را بنویسید. مثلا اگر بخواهیم ببینیم گوگل چه تعداد از صفحات سایت تیک تاک تک را ایندکس کرده کافیست این عبارت را سرچ کنیم :

site:tictactec.ir

2 – استفاده از Google Search Console ( توصیه شده )

بهترین ابزار برای اینکه بفهمیم گوگل درباره سایت ما چطور فکر می‌کند، گوگل سرچ کنسول است. یک ابزار رایگان و مفید که هر وب‌مستری باید خوب آن را درک کند. برای اینکه تعداد صفحات ایندکس شده خود را بفهمید وارد Property خود در سرچ کنسول شوید. به قسمت Coverage مراجعه کنید. قسمت Valid مربوط به صفحات ایندکس شده معتبر سایت است.

3 – به کمک ابزارهای آنلاین سئو

سایتهای زیادی هستند که سرویس‌های مختلف سئو ارائه می‌کنند. به کمک ابزار بررسی تعداد صفحات ایندکس شده در گوگل سایت خود را آنالیز کنید ( دقت کنید که قبل از استفاده حتما Ip خود را عوض کنید )

آیا باید تمام صفحات ما توسط گوگل ایندکس شوند؟

خیر. هیچ اجباری نیست. اینجا لازم است شما را به بلاگ خود گوگل ارجاع بدهم ( که معتبرترین منبع برای مطالعه سئو است ) گوگل اعلام کرده که کاملا طبیعی است اگر تمامی Page های یک Site ایندکس نشوند. دقت کنید که از کلمه perfectly normal استفاده شده است. پس نگران این نباشید اگر 5 یا 10 صفحه از سایتتان توسط گوگل نادیده گرفته می‌شود. به خاطر مسائلی مثل محتوای تکراری ( Duplicate Content ) یا مسائل دیگر، گوگل تعدادی از صفحات را کنار می‌گذارد.

ایندکس نشدن مطالب سایت در گوگل | تیک تاک تک

11 دلیل ایندکس نشدن صفحات سایت توسط گوگل :

1 – سایت شما تازه‌ تاسیس است

معمولا سایتهای جدید نیاز به زمان دارند تا به خوبی توسط گوگل شناخته شوند. سایتی که به تازگی ساخته شده مثل یک کودک شیرخوار است و نیاز به صرف زمان و تلاش دارد تا رشد کند. یکی از دلایلی که صفحات سایت در گوگل ایندکس نمی‌شوند، جدید بودن سایت است.در واقع مهم‌ترین دلیل همین است.

راه حل :

ناامید نشوید. اگر مطمئن هستید که سایتتان از لحاظ تکنیکال سئو یا سئو فنی مشکلی ندارد باید صبر کنید. گوگل به سایتهای جدید توصیه می‌کند که محتوای باارزش و مفید تولید کنند تا کارشان دیده شود. با محتوای قوی شانس بک لینک گرفتن از دیگر سایت‌ها زیاد می‌شود و به مرور سایت شما توسط گوگل و سایر موتورهای جستجو به خوبی درک و ایندکس می‌شود.

2 – سایت هم با www در دسترس است هم بدون www

این یک مشکل فنی مهم است که باید حتما تکلیفش روشن شود. قبلا گفتیم که tictactec.ir و www.tictactec.ir دو سایت مجزا هستند و گوگل آن ها را جدا از هم می‌بیند. ممکن است سایت شما با آدرس www ایندکس شده باشد و شما نسخه بدون www را آنالیز می‌کنید.

راه حل :

  • یک دامنه مشخص برای سایتتان انتخاب کنید : یا نسخه با www یا نسخه بدون www
  • هر دو آدرس را برای خود Verify کنید : دو Property مجزا هم برای نسخه با www و هم برای نسخه بدون www ایجاد کنید و هر دو را زیر نظر داشته باشید

3 – فایل Robots.txt مشکلی دارد

ممکن است ربات‌های گوگل به سایت دسترسی نداشته باشند. شاید ناخواسته یا به اشتباه فایل Robots خود را دستکاری کرده‌اید و حالا گوگل نمی‌تواند بعضی از صفحات را پیدا کند. حتما این فایل را بررسی کنید و ببنید چه ساختاری دارد. در پست seo Technical درباره فایل Robots صحبت کردم و یک نمونه استاندارد وردپرسی هم قرار داده‌ام. همینطور یک سرویس که به شما اجازه ساخت اتوماتیک این فایل را می‌دهد.

4 – از متاتگ no index استفاده شده است

متاتگ‌ها بخشی از  سایت هستند که به طور مستقیم توسط کاربر دیده نمی‌شوند، اما استفاده از آنها بسیار به ما کمک می‌کند. noindex هم یکی از متاتگ‌هاست که برای جلوگیری از ایندکس شدن یک صفحه استفاده می‌شود. ممکن است از این تگ در صفحات خود استفاده کرده باشید و با یک خط کد از موتورهای جستجو خواسته باشید که سایت را ایندکس نکنند. حالا چطور مطمئن شویم که سایت از تگ noindex استفاده نمی‌کند؟

راه حل :

هر صفحه را جداگانه بررسی کنید. کلید ترکیبی CTRL + U را فشار دهید. اینجا کدهای سایت را می‌بینید. متاتگ ها در قسمت Header قرار دارند. جایی که تگ header باز می‌شود تا آنجایی که بسته می‌شود را چک کنید و اگر کدی شبیه به این داشتید آن را حدف کنید.

<meta name="robots" content="noindex">

یا شاید کدی شبیه به این ببینید که فقط دسترسی ربات گوگل را می‌بندد.

<meta name="googlebot" content="noindex">

5 – سایت نقشه سایت یا Sitemap ندارد

داشتن نقشه سایت اصلا اچباری نیست و لزوما نباید همه سایتها Sitemap داشته باشند. نباید انتظار داشته باشید به محض ساختن نقشه سایت هم صفحات شما ایندکس شوند هم جایگاه خوبی بگیرند. Sitemap یک فایل XML کوچک است که Directory های سایت را مرتب کرده و به ربات‌های گوگل دید بهتری نسبت به ساختار سایت می‌دهد. مشکل ایندکس نشدن سایت با ساختن نقشه سایت حل نمی‌شود. اما توصیه می‌کنم یکی برای سایتتان داشته باشید.

6 – از محتوای تکراری ( Duplicate Content ) استفاده می‌کنید

بلای جان هر سایتی محتوای تکراری است. وقتی می‌گوییم محتوا معجزه می‌کند، منظورمان محتوای Unique و منحصر به فرد است. اگر تعداد زیادی پست منتشر می‌کنید که فقط عنوان ( Title ) متفاوتی دارند اما ساختارشان یکی است ( یا تفاوت ناچیزی دارند ) ممکن است گوگل بیخیال ایندکس کردن سایت شما بشود.

راه حل :

پست‌های خود را بررسی کنید. اگر محتوای تکراری می‌بینید، بهترینشان را انتخاب کنید و بقیه صفحات را به همان پست اصلی ریدایرکت 301 کنید.

7 – تنظیمات امنیتی سیستم مدیریت محتوا را تغییر داده‌اید

یکی از قابلیت‌های جالب بعضی از CMS ها، جلوگیری از ایندکس شدن صفحات سایت توسط موتور جستجو است. شاید سایت خود را آزمایشی آپلود کرده‌اید و دوست ندارید موتور جستجو محتوای آن را ببیند و ایندکس کند. با فعال کردن این قابلیت جلوی دسترسی Search Engine گرفته می‌شود.

راه حل :

اگر از وردپرس استفاده می‌کنید، مراحل زیر را دنبال کنید :

  • وارد پنل کاربری خود بشوید.
  • از قسمت تنظیمات گزینه خواندن را انتخاب کنید
  • تیک قسمت نمایش به موتورهای جستجو را بردارید

ایندکس نشدن مطالب سایت | تیک تاک تک

البته وردپرس اشاره می‌کند که : این برعهده‌ی موتورهای جستجوست تا به پیشنهاد شما احترام بگذارند. یعنی حتی با فعال کردن این گزینه هم ممکن است بعضی از صفحات ایندکس شوند

8 – فایل htaccess مشکلی دارد

htaccess یک فایل پیکربندی است که در وب سرور آپاچی اجرا می‌شود. htaccess مخصوص وردپرس نیست و می‌تواند در هر سروری که از آپاچی استفاده می‌کند، اجرا شود. تنظیمات زیادی در این فایل کوچک قرار دارد. مثل ریدایرکت‌های سایت، ارور 404 و غیره. ممکن است مشکل ایندکس نشدن سایت مربوط به فایل htaccess سایت شما باشد.

راه حل :

از یک متخصص بخواهید محتویات فایل را بررسی کند. من یک نمونه بسیار ساده و استاندارد را نشانتان می‌دهم. می‌توانید فایل خود را با این کد مقایسه کنید. احتمال دارد فایل شما قابلیت‌های بسیار بیشتری نسبت به این نمونه ساده داشته باشد. البته دستکاری کردن htaccess بسیار خطرناک است و ممکن است مشکلات جدی برای سایتتان پیش بیاورد. خواهش می‌کنم با احتیاط آن را ویرایش کنید.

نمونه یک فایل htaccess استاندارد در وردپرس:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L] </IfModule>
# END WordPress

9 – احتمالا هاستیگ شما مشکل دارد

این احتمال بسیار ضعیف است و بیشتر یقه سایتهایی را می‌گیرد که از شرکت‌های گمنام ارائه دهنده هاست، سرویس خریداری می‌کند. اکثر شرکت‌هایی که در ایران خدمات هاستینگ ارائه می‌دهند ( البته منظورم برندهای مطرح است ) Uptime نود و نه درصد را تضمین می‌کنند. یعنی ضمانت می‌دهند سایت شما در 99% مواقع قابل دسترس باشد. پس اگر از یک شرکت معتبر هاست تهیه کردید نگران این موضوع نباشید.

هاست شما باید طوری باشد که سایت همیشه در دسترس باشد. چون اگر ربات گوگل چندین بار به سایت سر بزند ولی نتواند به محتویات آن دسترسی داشته باشد، در ایندکس صفحات مشکل جدی پیش می‌آید.

راه حل :

وضعیت هاستینگ خود را بررس کنید. آیا سایت به خوبی برای کاربر و موتور جستجو قابل دسترس است؟ اگر اینطور نیست یک Plan مناسب برای میزبانی سایت خود انتخاب کنید. در یک پست مجزا شرایط یک هاست مناسب را توضیح می‌دهم.

10 – سایت توسط گوگل جریمه یا پنالتی شده است

کابوس وب مسترها همین آخرین مورد است. فکر کنید یک شبه از نتایج جستجو محو شوید. وقتی این مقاله را می‌نویسم این اتفاق تلخ برای سایت بسیار محبوب پی سی دانلود افتاد. این سایت به یکباره جایگاه عالی خود را در نتایج از دست داد.

ممکن است گوگل به عنوان یک جریمه صفحات شما را ایندکس نکند. اگر به این مشکل خوردید باید تلاش زیادی کنید تا دوباره اعتماد گوگل را بدست آورید.

راه حل :

به کمک Search Console بررسی کنید که مشکل از کجاست. در قسمت Coverage صفحاتی که هنگام Crawl به مشکل خورده‌اند را می‌بینید. وقتی مشکل را شناسایی کردید و شروع به حل آن کردید. احتمالا دوباره سایت شما ایندکس شده و به مرور رتبه می‌گیرد. ( به زودی یک آموزش جامع برای Google Search Console آماده می‌کنیم )

11 – سایت شما به سختی بارگذاری می‌شود

اگر سایت کندی دارید و کدنویسی غیراصولی و غیراستاندارد باعث شده سایتتان به زحمت بر روی مرورگر اجرا شود. باید نگران ایندکس نشدن کل سایت باشید. چون اگر Crawler در هنگام مراجعه به سایت با تاخیر بسیار زیاد مواجه شود، به احتمال قوی هیچکدام از صفحات شما را ایندکس نمی‌کند.

راه حل :

سعی کنید تا حد ممکن سرعت سایت خود را بهبود ببخشید. ساختار کدنویسی را بررسی کنید. عکس‌ها را به صورت فشرده آپلود کنید. اگر سایتتان وردپرسی است تا حد ممکن پلاگین‌ها را کم کنید و غیره. در یک پست مجزا به طور کامل روشهای افزایش سرعت سایت را بررسی می‌کنیم.

 

11 دلیل که گوگل سایت شما را ایندکس نمی کند | حل مشکلات ایندکس نشدن سایت
5 (100%) 1 vote