Любой, мало-мальски знакомый с Интернетом человек скажет Вам, что скорость коммутируемого соединения (т.е. обычного модемного) слишком мала для комфортной работы в сети. Тем более, что всё чаще пользователю предлагают скачать какую-нибудь программку, посмотреть видео ролик, послушать музыку, всё большее распространение получает весьма ресурсоёмкие технологии типа Flash и т.д. В общем, какова бы ни была скорость Вашего подключения к Интернету, её всегда будет мало.

Вступление

Поисковые роботы (или спайдеры, пауки, поисковые машины и т.д.) постоянно шарят по веб-страницам, обрабатывая, содержащуюся на них информацию. Веб-мастер может управлять поведением поисковиков на своём сайте двумя способами: при помощи мета-тегов, либо файла robots.txt. Рассмотрим подробнее второй способ.