Занимаясь парсингом Гугла, столкнулся с вопросом бана моих поисковых запросов.
Как уменьшить вероятность бана?

Несколько советов:

1. Используй прокси (причем, подойдут даже
обычные прозрачные прокси, но не для запро-
сов с использованием операторов «inurl» и
«site»);
2. Используй задержку между запросами (я
обычно использую задержку в 10 секунд, эта
нехитрая процедура обеспечивает долгий и
беспроблемный парсинг);
3. Используй различные датацентры Гугла.
«Живой» список датацентров находится тут:
awt.win32utils.com/datac/;
4. Если все-таки выскакивает капча, то обес-
печь в своем парсере возможность вбивать
ее вручную (китайцев, которые согласны
работать по $0.01 за каждый вбив капчи,
предостаточно ).

Как уменьшить вероятность бана?

Другие статьи:
Скачать Первый канал