Правильний файл robots.txt для CMS WordPress

15. 01. 2021

Вебмайстри та маркетологи знають наскільки важлива індексація сайту пошуковими системами. Саме тому вони роблять все можливе, щоб допомогти пошуковикам типу Google і Yandex правильно сканувати та індексувати свої сайти.
Велика кількість часу і ресурсів витрачаються на внутрішню і зовнішню оптимізацію, таку як контент, посилання, теги, оптимізація зображень і структури сайту.
Все це грає величезну роль в просуванні. Однак якщо ви забули зробити технічну оптимізацію сайту, якщо ви не чули про файли robots.txt і sitemap.xml можуть виникнути проблеми з правильним скануванням і індексацією вашого сайту.
У цій статті я поясню як правильно налаштовувати та використовувати файл robots.txt і мета-тег robots. Тож почнемо!

Що таке robots.txt

Robots.txt – це текстовий файл, який використовується в якості інструкції для роботів пошукових систем (також відомих як сканери, боти або павуки), як сканувати та індексувати сторінки сайту.

Простими словами, robots.txt говорить роботам, які сторінки або файли сайту ми хочемо бачити в пошуку, а які ні.

В ідеалі файл robots.txt розміщується в кореневому каталозі вашого веб-сайту (https://site.com/robots.txt), щоб роботи могли відразу отримати доступ до його інструкцій.

Якщо ви використовуєте CMS WordPress, то ви зможете побачити ваш файл за вищевказаною адресою, однак ви не знайдете сам файл в загальній папці з вашим сайтом. Це тому що WordPress автоматично створює віртуальний файл robots.txt (з параметрами за замовчуванням), якщо не знаходить даний файл в кореневому каталозі сайту.

Віртуальний файл robots.txt CMS WordPress не вирішує всіх необхідних завдань, у зв’язку з цим вкрай бажано написати свій.

Для чого потрібен robots.txt

Файл robots.txt потрібен, для того щоб заборонити пошуковим роботам відвідувати певні розділи вашого сайту, наприклад:

  • сторінки пагінацію;
  • сторінки з результатами пошуку на сайті;
  • адміністративні файли;
  • службові сторінки;
  • посилання з utm-мітками;
  • дані про параметри сортування, фільтрації, порівняно;
  • сторінка особистого кабінету і т.п.

Важливо! Файл robots.txt не є обов’язковим до виконання пошуковими роботами. У зв’язку з цим, якщо ви хочете на 100% бути впевненими в тому що будь-яка зі сторінок вашого сайту не з’явиться в пошуковій видачі – використовуйте мета-тег robots.
Згідно з довідкою Google файл robots.txt не призначений для того, щоб забороняти показ веб-сторінок в результатах пошуку Google.
Якщо ви не хочете щоб якась сторінка вашого сайту з’явилася в пошуку вставте у <head> сторінки атрибут noindex:

Як редагувати robots txt

Редагувати файл robots.txt в CMS WordPress можна двома способами. Додати необхідний код у файл functions.php, або за допомогою плагіна.
У нашій компанії ми вважаємо за краще другий спосіб.
Встановлюємо плагін Virtual Robots.txt зі сховищ CMS WordPress, відкриваємо його в адмін. панелі у вкладці Налаштування. В відкрилося поле плагіна вносимо необхідний код, тиснемо кнопку Save і вуаля – ваш файл robots.txt готовий.

Правильний robots.txt для CMS WordPress

Взяв з сайту seogio.ru і трохи підкоригував. Ось що вийшло:

Перевірка robots.txt

Якщо файл robots.txt налаштований неправильно це може привести до множинних помилок в індексації сайту.
Перевірити, чи правильно налаштований robots.txt можна за допомогою безкоштовного інструменту Google Robots Testing Tool

Вибираємо наш сайт:
проверка robots txt

Вводимо в рядок шлях до нашого файлу robots.txt і тиснемо кнопку Перевірити:

перевірка robots txt

В результаті не повинно бути помилок і попереджень та файл повинен бути Доступний для роботів:

проверка файла robots txt в gsc

 

Якщо файл robots.txt налаштований правильно, це значно прискорить процес індексації вашого сайту.

Поділитися:

Оставить комментарий

100

Послуги веб-студії

Наша веб-студія 5 років спеціалізується на розробці сайтів, мобільних додатків та інтернет-маркетингу. Створимо сайт виходячи з ваших потреб та побажань.
error: Alert: Content is protected !!