python爬虫使用代理哪个好？动态资源与固定资源怎么选择

用 Python 写爬虫的朋友，几乎都遇到过类似的场景：脚本明明没改，却突然大面积超时、返回 403，或者开始弹出验证码——十有八九，是你的真实 IP 被目标网站识别并限制了。这时候，代理 IP 就成了爬虫项目的标配。但代理资源又分动态和固定（静态）两大类，很多新手一开始就纠结：到底哪个好？其实没有绝对的”好”，只有”适不适合”。这篇文章就把两者的区别、适用场景和选择思路一次讲清楚。

为什么 Python 爬虫必须要用代理 IP？

绝大多数网站的反爬策略都是围绕 IP 展开的：同一个 IP 在短时间内请求次数过多，就会触发限速、人机验证，甚至直接封禁。而爬虫的本质恰恰是高频、批量地访问页面，两者天然冲突。代理 IP 的价值主要体现在三点：

一是隐藏真实 IP，把请求压力从你本机网络转移到代理节点上，避免真实出口被拉黑；二是分散请求特征，让目标网站看到的是大量不同的访问来源，而不是单一 IP 的异常高频；三是保障任务连续性，某个 IP 失效时可以立刻切换到新的 IP，采集任务不至于中途瘫痪。

简单说：不挂代理的爬虫，规模一小就跑不动；挂上合适的代理，采集才有可能”跑得久、跑得稳”。

动态代理资源：大规模采集的主力选择

动态代理的核心特征是”IP 会变”：它背后是一个庞大的 IP 资源池，可以按每次请求自动更换 IP，也可以按设定的时间间隔轮换。对爬虫来说，这带来几个直接的好处：

不容易被集中封禁。请求被打散到不同 IP 上，单个 IP 的访问频率降下来，触发反爬的概率大大降低；即使某个 IP 被封，下一个请求马上换新 IP，任务不中断。成本更灵活。动态资源一般按流量计费，用多少算多少，适合请求量大、但单页数据量小的采集任务。地区可以定向。很多业务需要采集特定地区的页面内容（比如本地化的搜索结果、电商价格），动态资源通常支持按国家、城市维度筛选出口 IP。

以光络云的动态住宅代理为例，它提供海量真实住宅 IP 资源，兼容 HTTP 和 SOCKS5 协议，支持按国家、城市定向，适合电商价格监控、内容聚合、舆情监测、SEO 数据采集等大规模场景。

固定（静态）代理资源：稳定会话的保障

固定代理（也叫静态代理，如静态 ISP 代理）正好相反：一个 IP 分配给你之后会长期保持不变，今天是这个 IP，下周还是这个 IP。它的价值在于”稳定”和”一致”：

有些业务并不需要频繁换 IP，反而需要目标网站”记住”你。比如需要先登录再采集的场景，登录态通常和 IP 绑定，IP 一变就可能被踢下线；再比如社交媒体账号的日常运营，如果每次登录都换一个地区、换一个 IP，账号风险会非常高。这类任务用固定 IP，会话稳定不掉线，IP 属性长期一致，业务表现明显更平稳。

需要注意的是，固定 IP 不等于可以无限暴力请求——单 IP 的访问频率依然要控制，否则同样会被目标网站盯上。

动态与固定怎么选？一张表看懂

两者的差异可以浓缩成下面这张对比表，对照自己的业务场景基本就能做出判断：

一个简单的判断口诀：要量，选动态；要稳，选固定。如果你的任务是”短时间抓大量页面”，动态资源几乎是不二之选；如果是”长时间维持少数几个身份”，固定资源更合适。实际项目里，很多团队是两者搭配使用：采集任务走动态，账号和登录态走静态，各司其职。

Python 爬虫接入代理实战示例

下面用最常用的 requests 库演示两种典型用法。接入信息（地址、端口、账号密码）以服务商控制台提供的为准，下面以光络云为例。

场景一：动态代理 + 重试机制，适合大规模采集：

import requests
import time

# 代理接入信息以光络云控制台提供的为准
PROXIES = {
    "http": "http://用户名:密码@代理地址:端口",
    "https": "http://用户名:密码@代理地址:端口",
}

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/120.0 Safari/537.36"
}

def fetch(url, max_retries=3):
    """带指数退避重试的代理请求"""
    for attempt in range(max_retries):
        try:
            resp = requests.get(url, proxies=PROXIES,
                                headers=HEADERS, timeout=10)
            if resp.status_code == 200:
                return resp.text
            print(f"第 {attempt + 1} 次请求，状态码：{resp.status_code}")
        except requests.exceptions.RequestException as e:
            print(f"第 {attempt + 1} 次请求异常：{e}")
        time.sleep(2 ** attempt)  # 1s、2s、4s 逐次放大间隔
    return None

html = fetch("https://目标网站.com/list?page=1")
if html:
    print("采集成功，页面长度：", len(html))

场景二：固定（静态）代理 + Session 会话，适合需要登录态的任务：

import requests

# 固定代理：整个会话期间使用同一个 IP
session = requests.Session()
session.proxies = {
    "http": "http://用户名:密码@静态代理地址:端口",
    "https": "http://用户名:密码@静态代理地址:端口",
}
session.headers.update({"User-Agent": "Mozilla/5.0 ..."})

# 登录后，后续请求都走同一个固定 IP，登录态不易丢失
session.post("https://目标网站.com/login",
             data={"username": "你的账号", "password": "你的密码"})

resp = session.get("https://目标网站.com/user/profile")
print(resp.text)

两段代码的骨架是一样的，区别只在于：动态场景下每次请求可能拿到不同出口 IP，所以要配好重试和异常处理；静态场景下用 Session 把 Cookie 和固定 IP 绑在一起，维持稳定的登录状态。

选代理服务商，重点看这几点

确定了”用动态还是固定”，下一步就是挑服务商。市面上代理产品质量参差不齐，建议重点考察这几个指标：

IP 质量与纯净度：住宅 IP 通常比机房 IP 更不容易被识别，被大量滥用过的”脏 IP”会直接拖垮成功率；成功率和延迟：用测试资源跑一轮真实业务，看请求成功率和响应速度最有说服力；协议兼容性：至少支持 HTTP/HTTPS，有 SOCKS5 支持更灵活；定向能力：能否按国家、城市筛选出口 IP，直接影响地区类采集任务的可行性；计费方式：流量波动大选按流量，IP 需求固定选按 IP 计费，按实际用量选最省的方案。

综合来看，光络云作为全球网络基础设施及数据服务商，代理资源覆盖国内和海外多个地区，动态住宅代理、静态 ISP 代理等产品线比较齐全，可以按业务场景灵活组合。这里特别提醒一点：使用光络云的海外代理 IP 资源时，需要你本地已具备海外网络环境（TikTok 专线除外，它无需自备海外网络）；如果是国内业务场景，则可以直接使用对应的国内资源。

常见问题

Q：动态代理和固定代理可以同时用吗？
可以，而且这是比较推荐的做法。把大规模采集任务跑在动态资源上，把需要登录态、需要账号稳定的任务放在固定资源上，两类业务互不干扰，整体成功率和账号安全性都会更好。

Q：使用光络云的代理 IP 需要什么网络条件？
光络云的海外代理 IP 资源需要客户自身具备海外网络环境才能使用（TikTok 专线除外）。如果你的业务面向国内场景，使用对应的国内代理资源即可，接入方式是一样的。

Q：免费代理 IP 能用在爬虫里吗？
不建议。免费代理普遍存在速度慢、存活时间短、成功率低的问题，更麻烦的是安全风险——请求经过不明节点，可能被监听或篡改内容，业务数据和账号凭据都可能泄露。正式项目请使用正规服务商的产品。

Q：挂了代理还是被封，可能是什么原因？
常见原因有三个：一是请求频率太高，代理只能换 IP，不能替你”装作人类”，要配合限速和随机延时；二是请求头太粗糙，缺少 User-Agent、Referer 等字段，特征一眼假；三是 IP 质量差，用了被大量滥用过的”脏 IP”，换一家质量更高的服务商往往就能改善。

Q：按流量计费和按 IP 计费，哪个更划算？
取决于业务形态。请求量大、页面轻、IP 需求流动性强，按流量计费的动态资源更省；需要少量 IP 长期在线、维持会话，按 IP 计费的静态资源更划算。拿真实业务量做一周测试，再对比账单，是最靠谱的判断方式。