Манипуляция с роботами

Вот тут многие пишут про уход из-под АГС, вывод из бана и прочего. Наиболее часто встречающаяся тактика/стратегия заключается в телодвижениях над robots.txt и/или .htaccess - суть клоакинг.

Клоакинг — (от анг. cloak - мантия, маска, прикрытие) прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

Что для меня, эти попытки управления ботами выглядят неоднозначно, так как ни один из признаков, по которому бота (индексирующего, АГС) можно отличить от человека, не может быть признан надежным.

Подменить UserAgent, IP и остальные headers не составляет никакого труда. Мне даже стало интересно провести эксперимент - подменив в браузере юзер-агент пройтись по топовым сайтам в нескольких тематиках.
Я еще могу допустить, что предлагаемые способы основываются лишь на своего рода лени или загруженности программеров ПС, которые пока еще не маскируют своих ботов, но это я считаю до поры до времени.