ЯК індексує Яндекс :: Пошукова оптимізація

Індексація - процес сканування файлів, розташованих на інтернет-ресурсі, пошуковим роботом. Дана процедура здійснюється для того, щоб сайт був доступний в результатах пошуку по різних запитах в пошуковій системі. Серед найбільш великих пошукачів на сьогоднішній день є «Яндекс», який по-своєму проводить дане сканування.

Інструкція

Індексацією інтернет-сайту займаються спеціальні автоматичні програми - пошукові роботи, які автоматично відслідковують появу нових сайтів у всесвітній павутині, проводячи постійне сканування знаходяться в мережі інтернет-сторінок, файлів і посилань на них на кожному ресурсі.

Для сканування робот переходить в директорію, на якій розташовується ресурс на тому чи іншому сервері. При виборі нового сайту робот керується його доступністю. Наприклад, існує думка, що «Яндекс» виконує сканування спочатку сайтів, створених в російськомовному домені і російською мовою - ru, рф, su або ua, і лише потім переходить в інші регіони.

Робот переміщається на сайт і переглядає його структуру, спочатку займаючись пошуком вказують на подальший пошук файлів. Наприклад, сайт сканується на наявність Sitemap.xml або robots.txt. У цих файлах може бути задане поведінку пошукового робота при скануванні. За допомогою карти сайту (sitemap.xml) робот більш точно отримує уявлення про структуру ресурсу. Через robots.txt веб-майстер задає файли, які він не хотів би, щоб вони видавалися в результатах пошуку. Наприклад, це може бути особиста інформація або інші небажані дані.

Просканувавши ці два документи і отримавши потрібні інструкції, робот починає аналізувати HTML-код і обробляти отримані теги . За замовчуванням, при відсутності файлу robots.txt пошуковик починає обробляти всі документи, що зберігаються на сервері.

Переходячи по посиланнях в документах, робот також отримує інформацію про інших сайтах, які потрапляють в чергу по скануванню слідом за даними ресурсом. Проскановані файли на сайті зберігаються в якості текстової копії та структури на серверах в дата-центрах «Яндекса».

Необхідність повторного сканування визначається також автоматично роботами. Програма порівнює наявний результат сканування з оновленою версією сайту при повторному проходженні індексації. Якщо отримані програмою дані різняться, проводиться оновлення копії сайту і на сервері «Яндекса».