В настоящее время, когда речь идет о больших данных, будут упоминаться веб-сканеры, а когда речь пойдет о веб-сканерах, обязательно будет упомянут IP-прокси. Поэтому у многих людей подсознательно возникает мысль, что если они оставят IP прокси, краулер будет как инвалид без ног и не сможет ползти. Может ли это быть правдой?
Работающий?
Зачем сканеру IP-адрес прокси?
Обычно, чтобы обеспечить нормальную работу своих веб-сайтов, администраторы веб-сайтов устанавливают различные политики, например, доступ по IP-адресу только несколько раз 24 часа в сутки, количество доступов не должно превышать определенное число, а поведение при доступе не должно быть античеловечным и т. д. Чтобы получить огромный объем необходимой информации, инженеры-сканеры неизбежно активируют эти политики, и тогда IP-адрес будет ограничен. Вот почему сканерам нужны прокси-IP.
Нужен ли мне IP-адрес прокси, если я хочу лишь немного сканировать?
Итак, всем ли сканерам нужны прокси-IP? Это не так, пока не срабатывает стратегия защиты от сканирования целевого веб-сайта, нет необходимости в прокси-IP. У некоторых небольших сканеров очень небольшая нагрузка, что аналогично обычному человеческому доступу, поэтому, естественно, их IP-адреса не будут ограничены. Некоторые скажут: такого краулера не существует, какой в нем смысл? ! Конечно, смысл маленького краулера заключается в автоматическом получении информации, тем самым экономя силы и время.
Нужен ли вам IP-прокси, если вы не гонитесь за скоростью?
Некоторые задачи сканера имеют немного большую рабочую нагрузку, но если вы не гонитесь за скоростью, вы можете разделить их и разместить на сервере, сканируя понемногу каждый день, или разместить их на нескольких серверах и работать одновременно; завершить работу через месяц. Это не запустит стратегию защиты от сканирования целевого веб-сайта, поэтому нет необходимости в прокси-IP.
Короче говоря, не все сканеры не могут работать без IP-прокси. Некоторым малым сканерам не нужен IP-адрес прокси, а некоторым сканерам, которым не нужна скорость, не нужен IP-прокси. Однако, если у сканера большая рабочая нагрузка и его необходимо завершить. Время, вам необходимо найти IP-адрес прокси-сервера. Для сканеров с различными рабочими нагрузками требуется разное количество IP-адресов прокси.