Рептилии, которые сегодня популярны в Интернете, стали знакомым для многих людей словом, основанным на скриптовых файлах, где разработчики пишут код в соответствии с определенной логикой, которая позволяет им сканировать информацию Всемирной паутины в соответствии с заранее установленными правилами.

Сетевые рептилии на самом деле используют скрипты для доступа к большому количеству веб - страниц в течение короткого периода времени, отслеживая скрипты для указания конкретных целей и захвата информации. Но поскольку браузер ограничивает частоту доступа к одному и тому же IP - адресу в фиксированное время, это ограничивается тем, что сервер работает под чрезмерным давлением, чтобы избежать ошибок. В это время, чтобы снять ограничения и быстро получить данные, прокси - IP становится приоритетным выбором для сетевых рептилий. Зарубежные агенты ISPKEY имеют огромное количество динамических жилых IP - адресов, а пулы IP - прокси расположены по всему миру, обеспечивая мощную техническую поддержку сетевых программ рептилий.

IP - прокси предоставляет сетевым рептилиям гибкие IP - адреса, которые предотвращают антирептильный механизм, который трогает сервер, постоянно меняя IP - адреса, как описано ниже.

Получите адрес и номер порта, здесь упоминается получение IP - адреса API - ссылки

DEF GET IP LIST ():

url=”XXX”

resp = requests.get (URL)

/ / Извлечение данных страницы

resp_json=resp.text

Преобразование данных JSON в словарь

resp dict = json.loads (resp json)

ip dict list = resp dict.get (« data»)

Удалить данные из строки данных

return ip_dict_list

Некоторые IP - адреса, не входящие в белый список IP, требуют проверки пароля пользователя, ссылки API шифруют имя пользователя и пароль, а также шифрование для проверки кода.

Направление запросов на целевой веб - сайт для получения соответствующих данных. Успех - это доступ к ответной информации, неудача - распечатка результатов

def spider ip (ip port, url): / / Адрес URL, который действительно нужно запросить

HEADERS1 = {

"User - Agent": "XXX"

/ / Информация о браузере

}

Головные уборы = {

"Proxy - Authorization": "Basic% s"% (base code (username, password))

/ / Имя пользователя + пароль

}

/ / Поместить IP - адрес прокси в параметр proxy

Прокси = {

"http": "http: / / {} '.format (ip port)

}

/ Отправка сетевых запросов

Запрос выполнен

try:

Reap = requests.get (URL) proxies=proxy,headers=headers,headers1=headers1)

/ / Анализ данных доступа

result = reap.text

/ / Отправить не удалось, распечатать этот агент не удалось

except:

Результат = "Этот агент не работает"

Эта статья представлена здесь, больше информации об IP пожалуйста, с нетерпением ждем ниже.