Зачем парсеру отдельный IP
Прокси для парсинга решают несколько рабочих задач. Сбор цен и наличия в разных регионах, когда магазин показывает данные по IP посетителя. Распределение нагрузки, чтобы параллельные потоки не шли с одного домашнего адреса. И отделение рабочего трафика: если сайт ограничит доступ для IP парсера, твой браузер и почта продолжат работать как обычно. Парсер через прокси ведёт себя так же, как без него, меняется только адрес, с которого приходят запросы.
Частая ситуация: в программе есть поле для прокси, но без логина и пароля, а провайдер выдаёт адреса только с авторизацией. Или парсер берёт системный прокси Windows, и вместе с ним через тот же адрес уходит браузер. ProxyBridge закрывает оба случая: логин и пароль задаются в нём, а правило касается только процесса парсера.
Как сделать в ProxyBridge
- Скачай ProxyBridge и установи его от имени администратора.
- Открой вкладку «Прокси», вставь адрес прокси или шлюза провайдера (можно сразу несколько, по одному в строке) и нажми «Добавить».
- Нажми «Проверить все»: у каждого адреса появятся задержка, внешний IP, страна и город.
- На «Главной» нажми «Добавить программу» и выбери парсер в списке запущенных или через «Выбрать файл...».
- Справа в строке парсера выбери прокси, для всех остальных программ оставь «Напрямую» и нажми «Подключить».
Какие прокси выбрать под парсер
Купить прокси можно у провайдеров, их список собран на странице провайдеров на этом сайте. Если прокси куплен у другого продавца, просто вставь его адрес в программу. Прокси, купленный в ProxyBridge, добавляется в список сам.
- Серверные IPv4: недорогие и быстрые, подходят для открытых каталогов, справочников и API с понятными лимитами.
- IPv6: ещё дешевле, но работают только с сайтами, у которых есть IPv6-адрес. Проверь это до покупки.
- Резидентные: адреса домашних провайдеров, нужны, когда сайт по-разному отвечает домашним и серверным сетям или важна точная география.
- Мобильные: дорогие, для парсинга нужны редко, их чаще берут под работу с аккаунтами.
Ротация: что делает ProxyBridge, а что провайдер
Многие парсеры сами работают со списком прокси и меняют адрес на каждый запрос или поток. Если в твоём парсере такая настройка есть, используй её: ProxyBridge назначает один прокси на программу (процесс) и IP по запросам не меняет. Он полезен там, где у прокси для парсера просто нет поля в настройках: самописные скрипты, консольные утилиты, программы, собранные в .exe, или десктопный парсер, который понимает только системный прокси.
Если ротация нужна, а парсер её не умеет, есть промежуточный вариант. Многие провайдеры продают резидентные прокси через шлюз: у тебя один адрес и порт, а внешний IP меняется на стороне провайдера по таймеру или на каждое соединение. Такой шлюз добавляется на вкладке «Прокси» как обычный адрес и выбирается в строке парсера. Для ручной смены адресов загрузи список через «Импорт из файла» на той же вкладке и проверь все адреса разом кнопкой «Проверить все».
Парси аккуратно
Прокси не отменяет правил сайта. Перед запуском сбора прочитай пользовательское соглашение и robots.txt, держи разумную частоту запросов, делай паузы и не собирай персональные данные без законного основания. Если у сайта есть API или выгрузка, бери данные оттуда: это быстрее и честнее по отношению к владельцу. Технические рамки ProxyBridge: UDP идёт через прокси только для SOCKS5 с его поддержкой, иначе блокируется; DNS-запросы по умолчанию идут через прокси. VPN-клиент можно не выключать: программа работает вместе с WireGuard, AmneziaWG и подобными.
Частые вопросы
Какие прокси нужны для парсинга сайтов?
Для открытых каталогов и API обычно хватает серверных IPv4. Резидентные берут, когда важна точная география или сайт иначе отвечает серверным адресам.
Как подключить прокси к парсеру, если в нём нет настроек прокси?
Добавь парсер на вкладке «Главная» ProxyBridge кнопкой «Добавить программу» и выбери для него прокси. Программа перехватывает его соединения на уровне драйвера, поэтому настройки в самом парсере не нужны.
Сколько прокси нужно для парсинга?
Зависит от объёма и лимитов сайта. В ProxyBridge один процесс работает через один прокси, поэтому для смены IP по запросам используй ротацию в парсере или шлюз провайдера.