Мета-теги располагаются в заголовке HTML-документа, между тегами и , а потому они остаются невидимы для читателя страницы. Предназначены они для включения информации о документе, которая используется разными агентами (сервером, броузерами, поисковыми роботами) в различных целях. Элементы META предоставляют дополнительные сведения о способе обработки документа броузером, позволяют поисковым роботам обрабатывать документ без его загрузки.

Вступление

Поисковые роботы (или спайдеры, пауки, поисковые машины и т.д.) постоянно шарят по веб-страницам, обрабатывая, содержащуюся на них информацию. Веб-мастер может управлять поведением поисковиков на своём сайте двумя способами: при помощи мета-тегов, либо файла robots.txt. Рассмотрим подробнее второй способ.