Как парсить Amazon?
Пишу парсер для Amazon. Первые его версии парсили сайт напрямую через мой IP, но я столкнулся с предупреждениями о подозрительной активности, отправленными мне на почти. Чуть позже я начал использовать платные прокси от BestProxies, но 99% их не имеют возможности заходить на Amazon. Объемы парсинга сравнительно небольшие - около 1000 страниц. Парсер использую - Puppeteer.
Какие выходы есть из ситуации? Может есть сервисы для выкачки данных, а дальнейший парсинг будет проходить в офлайн режиме? Есть ли возможность работать со своего IP, но растянуть время работы программы на час или больше?
ПрограммированиеJavascript+3
Jeff ParkerПарсинг
· 257
ОтвечаетИрина Смирнова
Здравствуйте, а что если подключить Turbo VPN
, он создает динамические IP и вы таким образом сможете избежать блокировки . В принципе проблема в том , что сервис вас отслеживает , а с динамическим IP они устанут отслеживать откуда идет запрос и из какой страны.
Первый
Пробовать прокси от разных поставщиков, брать на тест минимальное количество.
У поставщика стоит спросить, не закрывали ли они сами доступ на Амазон. Иногда они так делают на каких-то маркетплейсах. Объясняешь, что ты не мошенник - открывают. Были такие случаи.
Сервисы есть, по-моему, у создателя сообщества, как раз такой )
Но, если это для разовой задачи в 1000 позиций... Читать далее