Как рассчитать пул прокси под объем запросов

Почему нельзя считать пул прокси «на глаз»

Когда команда запускает парсинг, обычно мыслят просто: чем больше прокси, тем лучше. На практике такая логика быстро приводит к двум проблемам. Первая — перерасход бюджета. Вторая — ложное ощущение, что инфраструктура устойчивая, хотя bottleneck может быть вообще не в количестве IP, а в скорости ротации, профиле запросов или слишком агрессивной многопоточности.

Если задача — регулярно собирать выдачу, карточки товаров, цены, наличие, сниппеты, отзывы или рекламные размещения, вам важен не абстрактный объем прокси, а пропускной ресурс одного IP. И только после этого — общий пул. Для SEO-аналитики, мониторинга цен, рекламной разведки и работы с большими массивами данных это критично.

Именно поэтому вопрос «сколько прокси нужно для парсинга» на самом деле сводится к более точному: «какую нагрузку выдерживает один прокси до роста отказов».

От чего зависит размер пула

Перед расчетом нужно определить пять базовых параметров:

• Общий объем запросов — сколько страниц, карточек или ответов API вы хотите получить.
• Временное окно — за сколько минут или часов нужно собрать данные.
• Допустимая нагрузка на один IP — сколько запросов в минуту выдерживает конкретная площадка.
• Параллельность — сколько потоков или воркеров будет работать одновременно.
• Уровень риска — насколько критичны блокировки, капчи, 429/403 ответы и потери данных.

Есть и дополнительные факторы: User-Agent, cookie-сессии, глубина обхода, повторные запросы, JS-нагрузка, география, тип контента и необходимость удерживать «чистый» поведенческий профиль. Но если говорить о практическом старте, именно эти пять пунктов дают 80% точности.

Базовая формула расчета прокси под парсинг

Рабочая модель выглядит так:

А безопасные запросы на 1 IP за период считаются так:

Где:

• RPS/IP — реальная, а не теоретическая интенсивность запросов на один IP;
• время работы — окно сбора данных;
• коэффициент запаса — обычно 0,5–0,8, чтобы учитывать отказы, ротацию, задержки и нестабильные ответы.

Для большинства задач безопаснее считать не в запросах в секунду, а в запросах в минуту. Это нагляднее и честнее. Например, если площадка начинает нервничать уже после 20–30 запросов в минуту с одного IP, нет смысла рисовать в модели 100.

Простая практическая схема

1. Берете тестовый IP.
2. Запускаете парсинг с плавным ростом частоты.
3. Смотрите, где растет доля 429, 403, капч и пустых ответов.
4. Фиксируете рабочий предел.
5. Умножаете на время и закладываете запас 20–50%.

Такой подход намного полезнее любой «средней цифры из интернета», потому что разные площадки ведут себя радикально по-разному.

Типовые сценарии и примеры расчета

Сценарий 1. Небольшой мониторинг цен

Допустим, вам нужно собрать 12 000 страниц за 6 часов. По тестам один IP стабильно держит 15 запросов в минуту без роста отказов. Берем коэффициент надежности 0,7.

Считаем:

• 15 запросов/мин × 360 минут = 5 400 запросов
• 5 400 × 0,7 = 3 780 безопасных запросов на 1 IP
• 12 000 / 3 780 = 3,17

То есть минимально нужно 4 прокси, но с учетом пиков, повторов и возможной ротации я бы рекомендовал 5–6 мобильных прокси.

Сценарий 2. Средний SEO-парсинг выдачи

Нужно собрать 90 000 запросов за 10 часов. Безопасная интенсивность на IP — 12 запросов в минуту, коэффициент 0,65.

• 12 × 600 = 7 200
• 7 200 × 0,65 = 4 680
• 90 000 / 4 680 = 19,23

Значит, расчетный минимум — 20 прокси. Для стабильной рабочей схемы чаще берут 24–30, особенно если нужна равномерная нагрузка, гео-разделение и запас на повторные запросы.

Сценарий 3. Агрессивный сбор большого массива данных

Допустим, проекту нужен объем 500 000 запросов за сутки. Один IP реально выдерживает 10 запросов в минуту, коэффициент запаса — 0,6.

• 10 × 1 440 = 14 400
• 14 400 × 0,6 = 8 640
• 500 000 / 8 640 = 57,87

Минимум — 58 прокси. Но для такого объема рабочий пул чаще будет 65–80, потому что на длинной дистанции всегда всплывают повторные обходы, провалы по тайм-аутам, нестабильные ответы серверов и неравномерность нагрузки.

Почему мобильные прокси часто выигрывают в таких расчетах

Когда речь идет о нагрузке, многие по привычке сравнивают только цену за IP. Но в реальности важнее не стоимость единицы, а стоимость стабильного запроса. И здесь мобильные прокси часто оказываются выгоднее, потому что один качественный мобильный канал с правильной ротацией может закрывать задачу эффективнее, чем пачка слабых или перегретых IP.

Для задач парсинга, мониторинга рекламы, анализа выдачи, сбора сниппетов, e-commerce-аналитики и маркетинговой разведки мобильные прокси удобны по нескольким причинам:

• нативный профиль мобильной сети;
• гибкая ротация IP;
• возможность управлять частотой смены;
• лучшее поведение в чувствительных сценариях;
• более предсказуемая масштабируемость при росте объема.

Именно поэтому при одинаковом бюджете иногда разумнее взять не 50 случайных IP, а 15–20 хорошо настроенных мобильных прокси и правильно распределить потоки.

Частые ошибки при подборе пула

Вот где чаще всего теряют деньги и время:

1. Считают только по объему, но не по времени. 100 000 запросов за неделю и за 2 часа — это две разные инфраструктуры.
2. Игнорируют коэффициент запаса. Если модель сходится «в ноль», в бою она почти всегда развалится.
3. Не тестируют лимит на один IP. Средняя цифра без замера бесполезна.
4. Путают количество потоков и количество прокси. 100 потоков на 10 IP — это не масштабирование, а ускоренный путь к ограничениям.
5. Не учитывают повторные запросы. На больших объемах 5–15% повторов — обычная история.
6. Берут прокси без управляемой ротации. В результате даже хороший пул работает хуже, чем мог бы.

Как подойти к расчету через LTE Center

В LTE Center я советую клиентам мыслить не категориями «дайте N прокси», а категорией «какой у нас план по запросам в час и какая допустимая плотность на IP». Это помогает быстрее найти рабочую конфигурацию и не платить за избыточный пул.

Базовый порядок такой:

• фиксируете целевой объем запросов;
• определяете дедлайн сбора;
• тестируете 1–3 мобильных прокси на целевой площадке;
• смотрите фактический порог без деградации;
• масштабируете пул с запасом 20–40%;
• отдельно планируете пиковую нагрузку и повторные обращения.

Такой подход особенно хорошо работает в задачах серого интернет-продвижения, где важна не просто скорость, а стабильный съем данных, предсказуемый rate limit и аккуратная ротация IP. Без этой математики даже дорогие прокси часто не дают желаемого результата.

Выводы с аргументами и цифрами

Если подвести итог, то ответ на вопрос «сколько прокси нужно для парсинга» всегда рождается из трех цифр: объем запросов, безопасная нагрузка на IP и время выполнения задачи. Все остальное — надстройки.

На практике рабочая логика такая:

• до 10–15 тысяч запросов для умеренной задачи часто хватает 5–10 прокси;
• 50–100 тысяч запросов обычно требуют уже 20–30 прокси при аккуратной нагрузке;
• 500 тысяч запросов в сутки — это чаще всего от 60 прокси и выше, если нужен стабильный поток данных без лишних потерь.

Самая дорогая ошибка — не недобор и не перебор прокси сам по себе, а отсутствие модели. Когда расчет сделан правильно, можно сократить расход инфраструктуры на 20–35%, а долю сбоев — на 15–40% уже на первом цикле оптимизации. Именно поэтому хороший пул прокси — это не про «побольше», а про точно под задачу.

Вопросы и ответы