1. استفاده از فایل Robots.txt

هر کدام از سایت‌ها یک بودجه مشخص برای خزش دارند که باید بهترین استفاده را از آن ببرند؛ یکی از راه‌هایی که میتواند در بهینه سازی این بودجه خزش (Crawl Budget) کمک کند، فایل Robots است که در آن مشخص میشود ربات گوگل چه بخش‌هایی از سایت خبری را نیازی نیست خزش کند. با این کار بودجه خزش صرف صفحات با اهمیت تر خواهد شد. نحوه ویرایش این فایل در صفحه فایل Robots قابل مشاهده است.

2. ویرایش نقشه سایت (Sitemap)

برعکس فایل ربات (Robots.txt) که در آن مشخص شد گوگل چه بخش‌هایی را نباید ایندکس کند، در نقشه سایت مشخص میکنید که گوگل اولویت خزش و ایندکس را روی چه صفحاتی قرار دهد. فایل نقشه سایت که با پسورد XML در سایت قرار میگیرد قابلیت مشخص کردن درجه اهمیت صفحات و نرخ بروزرسانی آنها را دارد.

3. لینک سازی داخلی

ارتباط درست بین صفحات سایت، از طریق لینک‌های موجود در منوی سایت (هدر)، فوتر و سایدبار یکی از اصلی‌ترین راه‌ها برای یافتن صفحات جدید توسط گوگل و ایندکس آنها است. نکته مهم‌تر این است که خبرهای جدید در صفحه اصلی قرار گیرند. از آنجایی که صفحه اصلی سایت‌های خبری، شاهرگ اصلی این سایت‌هاست که باید از آن برای ایندکس سریعتر خبرهای جدید استفاده کرد.

همچنین استفاده از صفحات آرشیو خبری (اقتصادی، سیاسی، اجتماعی، حوادث و …) برای لینک سازی داخلی و ایندکس سریعتر صفحات، بسیار پرکاربرد است.