Прокси для отслеживания позиций: руководство по подключению к SERP

Прокси может направить запрос отслеживания позиций из другой сетевой локации, но это не делает автоматические запросы к Google разрешёнными. Согласно политикам Google в отношении спама, автоматический сбор данных для проверки позиций без явного разрешения считается нарушением, поэтому в первую очередь оцените этот риск. В технических разделах ниже описано то, что вы можете разумно контролировать: как ваш трекер реагирует на ограничение частоты запросов и действительно ли работает ваше подключение через прокси.

Сначала риск несоблюдения требований

Google's правила в отношении спама определяют машинно-генерируемый трафик как отправку автоматических запросов в Google. Они указывают, что это включает скрапинг результатов для проверки позиций или иной автоматизированный доступ к Google Search без прямого разрешения. Google заявляет, что это нарушает его политику в отношении спама и Условия использования.

Практические последствия для настройки отслеживания позиций:

• Прокси — это сетевой посредник. Он меняет маршрут вашего трафика. Он не даёт разрешения от поисковой системы и не делает автоматизированный доступ соответствующим правилам.
• Ничто в этой статье не является обещанием, что запросы пройдут или что можно избежать какой-либо блокировки или принудительных мер.
• Условия провайдера тоже важны. Эта статья не оценивает условия допустимого использования Proxyca, поэтому изучите их, а также политики Google, прежде чем запускать любые автоматические проверки.

Если ваш рабочий процесс зависит от автоматизированного доступа к Google Search, решите, как вы будете справляться с этим риском, прежде чем тратить время на настройку прокси.

Как правильно читать сигналы ограничения частоты запросов

RFC 6585 определяет статус 429 «Too Many Requests» как означающий, что пользователь отправил слишком много запросов за определённое время. Ответ может содержать заголовок Retry-After. Ключевое слово — «может»: трекер не может рассчитывать на наличие этой подсказки.

Стоит учесть в своих инструментах три ограничения сигнала 429:

1. В нём не указано, что именно было ограничено. RFC не определяет, как сервер идентифицирует пользователя или подсчитывает запросы. Лимиты могут применяться к отдельному ресурсу, ко всему серверу или к набору серверов, а пользователь может определяться по учётным данным или cookie. Один лишь код 429 не говорит о том, что лимит превысил IP-адрес, сессия или адрес подключения.
2. Серверы не обязаны использовать код 429. При ограничении использования сервер может вместо этого разрывать соединения. Процедура повторных попыток, которая реагирует только на чистый ответ 429, будет неверно воспринимать тайм-ауты и сбросы соединения как сетевые сбои или вовсе игнорировать их.
3. Ответы 429 не должны кэшироваться. Если ваш инструмент или слой перед ним сохраняет ограниченный по частоте ответ как обычный результат, вы запишете сбой как данные. Убедитесь, что ответы с ограничением никогда не используются повторно.

Разумный подход — считать любой ответ 429, тайм-аут или сброс соединения «отсутствием достоверного результата для этой проверки». Снизьте скорость, повторите позже и запишите, какой сигнал вы получили. Не отражайте этот пропуск в отчётах как изменение позиций.

Наблюдение	На что это указывает	О чём это не говорит
Ответ 429	Слишком много запросов за заданное время; может присутствовать Retry-After	Относилось ли ограничение к IP, сессии, адрес подключения или ко всему серверу
Разрыв соединения или повторяющийся таймаут	Сервер может ограничивать использование, не отправляя 429	Вызвана ли проблема throttling (ограничением скорости) или сбоем сети
Отсутствует Retry-After	Заголовок необязателен	Что можно сразу повторить попытку
Успешный ответ после паузы	Один запрос прошёл	Что лимит снят или как он считается

Для общей диагностики подключения см. Почему не работает прокси: ошибки и способы исправления разделяет сетевые сбои, проблемы с авторизацией на прокси, ограничения на запросы и блокировки аккаунта.

Подключение через прокси: что на самом деле делает CONNECT

HTTPS-трафик через HTTP-прокси обычно использует метод CONNECT. RFC 9110 определяет его как запрос к прокси на установление туннеля к адресату, указанному в цели запроса. Когда туннель установлен, прокси слепо пересылает данные в обоих направлениях, пока он не будет закрыт.

Детали, которые помогут при отладке настроек прокси в трекере:

• Цель — только host:port. Порта по умолчанию для CONNECT нет, поэтому клиент должен указать его явно.
• Любой ответ 2xx означает, что туннель существует. Любой неуспешный ответ означает, что туннель не был сформирован, поэтому ни один запрос не достиг целевого ресурса через него.
• Аутентификация на прокси может контролировать создание туннеля. Клиент может передать учётные данные Proxy-Authorization для авторизации туннеля.
• Ограничения по портам — это норма. RFC 9110 говорит, что прокси, поддерживающие CONNECT, должны ограничивать его ограниченным набором известных портов или настраиваемым списком безопасных целевых адресов. Поэтому то, разрешает ли прокси конкретного провайдера CONNECT к порту 443, — вопрос конфигурации у этого провайдера, а не то, что гарантирует протокол.

Неудачный CONNECT просто означает, что туннель не был создан. Ответ 429, полученный через установленный туннель, обычно приходит от целевого ресурса, но его может вернуть и прокси или шлюз, поэтому фиксируйте, какой узел отправил каждый ответ. Если записывать результат туннеля отдельно от статуса поискового запроса, это избавит от многих догадок.

Параллельность на стороне прокси

RFC 9114, спецификации HTTP/3, отмечено, что прокси, поддерживающий CONNECT, может быть более осторожным в отношении числа одновременных запросов, которые он принимает, потому что потоки CONNECT могут создавать непропорционально большую нагрузку на прокси. Это контекст HTTP/3, а не правило для каждого прокси-соединения. Тем не менее, если вы запускаете много параллельных проверок и туннели не устанавливаются, ограничение параллелизма на прокси — одна из возможных причин среди прочих. Уменьшение числа параллельных соединений — разумная первая корректировка.

UDP — это отдельный механизм

Обычный CONNECT работает только по TCP. RFC 9298 описывает проксирование UDP поверх HTTP через другой механизм — connect-udp. Не предполагайте, что прокси, обрабатывающий туннели HTTPS, также обрабатывает UDP, и не предполагайте, что провайдер предлагает connect-udp. Инструментам отслеживания позиций, работающим по обычному HTTPS, он не нужен, поэтому это важно, только если вашему инструментарию специально требуется UDP.

Об общих способах проверки прокси см. Как проверить прокси: пошаговое руководство.

Как вести честные логи трекера

Несколько привычек помогут сохранить ваши данные пригодными к использованию при нестабильных подключениях:

• Отделите сбои от результатов. Тайм-аут, ошибка 429 или сбой туннеля — это отсутствие результата, а не место в рейтинге.
• Запишите условия. Сохраняйте используемый прокси, время, статус ответа и информацию о том, были ли повторные попытки, чтобы странные результаты можно было отследить до причины.
• Никогда не кэшируйте ответы с ограничением скорости. Убедитесь, что ответ 429 не сохраняется и не используется повторно как обычная страница.
• Снизьте скорость запросов после сигнала о лимите. Сделайте паузу перед повторной попыткой и не считайте смену IP разрешением игнорировать лимит.

Что Proxyca заявляет на собственных страницах

Ниже приведены собственные заявления Proxyca, они могут меняться, поэтому проверяйте актуальную главную страницу, FAQ и страница с тарифами перед покупкой:

• Тариф для датацентр-прокси: описаны как выделенные датацентр-прокси с безлимитным трафиком; для этого тарифа указаны HTTPS и SOCKS5. Цены в списке: 2,50 $ за 30 дней, 4,70 $ за 60 дней и 7,00 $ за 90 дней.
• Тариф резидентских прокси: описаны как реальные резидентские IP с геотаргетингом по стране и городу. Согласно FAQ провайдера, цена на резидентские прокси зависит от использованного трафика и числа одновременных подключений. Геотаргетинг — это собственное заявление провайдера, поэтому проверяйте поведение локации самостоятельно.
• Локации и сессии: в FAQ сказано, что пользователи могут выбирать прокси из определённых стран, штатов и городов. Срок сохранения IP зависит от тарифа, предлагаются как ротационные, так и статические варианты, а количество одновременных IP зависит от подписки.
• Access: управление осуществляется через Telegram-бота, у которого, как сказано, нет ни панели управления, ни API. Не рассчитывайте на программное управление сессиями через Proxyca.
• Payment: криптовалюта, настройка через Telegram и без KYC.

Этот список не означает, что какой-либо тариф подходит для проверки позиций в поисковых системах или что его разрешено для этого использовать. Чтобы сопоставить два типа IP, прочитайте Датацентр-прокси и резидентские прокси: в чём разница?.

FAQ

Делает ли прокси допустимым скрапинг для проверки позиций?

Нет. Политики Google по спаму описывают автоматизированный парсинг для проверки позиций без явного разрешения как машинно генерируемый трафик, нарушающий его политики и Условия использования. Прокси меняет только сетевой путь.

Если я получаю 429, нужно ли сразу менять IP?

Ответ 429 не показывает, к чему применялся лимит: к IP, сессии, конечной точке или ко всему серверу, поэтому новый IP — ненадёжное решение. Сделайте паузу, снизьте частоту запросов и обратите внимание, был ли передан заголовок Retry-After.

Почему мой инструмент работает на одних портах, но не работает на других?

RFC 9110 говорит, что CONNECT следует ограничивать известными портами или настраиваемым списком безопасных целевых адресов. Какие порты разрешает провайдер — вопрос конфигурации на его стороне, поэтому спросите у провайдера или проверьте соединение.

Может ли одна и та же настройка прокси обрабатывать UDP-трафик?

Не обязательно. Обычный CONNECT создаёт TCP-туннели, а UDP поверх HTTP использует отдельный механизм connect-udp, описанный в RFC 9298. Не стоит считать, что провайдер его предоставляет.

Следующий шаг

Изучите правила Google и условия провайдера, затем решите, какой объём автоматизированного доступа вам действительно нужен. Когда будете готовы рассмотреть прокси, Открыть Proxyca в Telegram.