什么是 HTTP 头？

当您通过代理服务转发流量时，HTTP 头部便成了管理您连接的“无形力量”。您的应用程序发出的每个请求都会经过代理基础设施，而正是这些头部使这一过程得以实现并确保其安全。

不妨将头部信息视为每条在互联网上传输的数据所附带的使用说明书。当您的爬虫、机器人或应用程序通过代理发送请求时，它发送的不仅仅是你想要访问的URL。 它还会发送相关上下文信息：证明你是授权用户的认证令牌、让请求看起来合法的 User-Agent 字符串，以及关于你期望获得何种响应的技术细节。

在代理端，头部信息承担着更繁重的任务。它们携带有关哪些代理服务器 记录了您的请求处理过程，包括内容是来自缓存还是源服务器，以及您的流量在网络中经过了哪些路由。诸如 X-Forwarded-For 之类的标头会保留您的原始 IP 地址（或根据配置进行屏蔽），而 Via 标头则记录了您的请求经过了代理基础设施。

对于网络爬虫用户而言，请求头尤为关键。目标网站会利用请求头来检测机器人和爬虫——它们会检查你的 User-Agent 字段以确认你是否真的是浏览器，检查 Accept 请求头以确认你是否像真实访客一样请求内容，并分析其他数十种请求头模式。 家庭和数据中心代理可帮助您发送正确的请求头以融入正常流量，但了解这些请求头的作用，将使您能够对抓取操作进行精细调整。

标头还用于控制与代理服务的身份验证。您的 API 密钥或身份验证令牌会通过 Authorization 标头（或有时通过自定义标头，如 Proxy-Authorization）进行传输。代理基础设施正是通过这种方式来确定应向哪个账户收费，以及代理池 您可以访问哪些资源，以及您的请求受哪些速率限制。如果请求头设置错误，您的请求将无法通过身份验证；如果设置正确，您就能无缝访问全球代理网络。

‍

代理用户的关键标头

身份验证与授权头

代理授权: 这就是你验证 通过代理服务。它以如下格式携带您的凭据（用户名和密码或 API 令牌）：基础 Base64（用户名:密码）. 通过代理发出的每个请求都必须包含有效的 Proxy-Authorization 头部，否则将被拒绝。这与用于对目标网站进行身份验证的 Authorization 头部是不同的。

授权: 用于通过代理访问目标网站时的身份验证。该标头会未经代理基础设施处理直接传递，最终到达目标服务器。在 API 抓取中较为常见，因为此时需要访问需要身份验证的端点—代理服务器负责处理连接，而您的 Authorization 头则负责处理目标网站的身份验证。

代理路由与标识头

X-Forwarded-For: 记录处理该请求的 IP 地址链。当您使用代理时，该标头可能包含您的原始 IP、代理的 IP，或者被配置为仅显示您希望目标网站看到的 IP。 代理服务通常提供两种配置选项：移除此标头（以实现最大程度的匿名性）或保留此标头（当您需要精确的地理位置信息时）。理解 X-Forwarded-For 对于排查目标网站为何会看到特定 IP 地址的原因至关重要。

X-Real-IP: 这是“X-Forwarded-For”的一个更简单的替代方案，仅包含一个 IP 地址。某些配置会使用它将您的原始 IP 地址传递给目标服务器，而另一些配置则在代理基础设施中将其用于内部路由和分析。您可以配置是否将此标头发送给目标网站，还是仅在内部使用。

来源: 由代理服务器自动添加，用于表明该请求经过了代理。该标头会暴露代理的使用情况，因此某些隐身配置会在转发请求前将其移除。如果您遇到访问受阻的情况且存在 Via 标头，请考虑使用住宅代理 并移除了 Via 标头。

X-Forwarded-Proto: 指示原始请求使用的是 HTTP 还是 HTTPS。当代理服务器处理 SSL 终止时，这一点非常重要——即使您与代理服务器的连接可能是 HTTPS，该标头也会告知目标服务器您最初打算使用的协议。这可以防止重定向循环和混合内容问题。

请求自定义标头

用户代理: 这是网页抓取中最受关注的标头。目标网站会检查该标头，以确定发起请求的是哪种浏览器或应用程序。缺失或可疑的 User-Agent 会被视为危险信号。代理服务可以自动轮换 User-Agent，您也可以提供自定义的 User-Agent。最佳实践：使用与目标市场中真实浏览器相匹配的 User-Agent。 使用 Windows 10 系统的 Chrome User-Agent 抓取 Google 看起来很正常；而使用 Python-requests/2.28.0 则会昭示“机器人”身份。

Accept 和 Accept-Language: 真正的浏览器会发送详细的 Accept 头部，列出其支持的内容类型（HTML、图片、JSON 等），并包含 Accept-Language 头部以指定首选语言。 爬虫程序通常会省略这些标头或使用通用值，这使得它们很容易被识别出来。在通过代理进行爬取时，请发送完整且真实的 Accept 标头。许多代理服务会提供基于常见浏览器配置的标头模板。

Referer: 告知目标服务器您是从哪个页面访问过来的。许多网站会检查此信息，以防止热链接或直接访问特定页面。使用代理进行数据抓取时，设置适当的 Referer 头信息可使您的流量看起来像自然浏览。例如，如果您正在抓取产品页面，Referer 应指向分类页面或搜索结果页面。

Cookie: 在抓取已登录区域或应对依赖 Cookie 的反机器人系统时，Cookie 对维持会话至关重要。代理服务器会透明地传递 Cookie 头，但您需要在抓取应用程序中自行管理 Cookie 状态。专业提示：某些反机器人系统会根据 Cookie 的处理模式对您进行指纹识别。模仿浏览器的 Cookie 行为有助于提高成功率。

代理服务返回的响应头

X-Proxy-Cache: 一个常见的自定义标头，用于指示响应是否来自缓存 或者是从目标服务器上新获取的。值可能为 HIT（缓存响应）、MISS（新获取）或 BYPASS（不可缓存）。监控此指标有助于您了解性能状况，以及是否因非缓存请求而触发了速率限制。

X-Proxy-ID: 用于识别网络中处理了您请求的具体代理服务器。此信息对调试很有帮助——如果您发现某些请求存在问题，通过此标头可以将问题与具体的代理节点关联起来。您可以将此信息提供给支持团队，以便更快地排查故障。

X-速率限制-剩余值: 显示在达到您的速率限制. 代理提供商会实现此功能，以帮助您主动管理请求量。当该数值过低时，您的应用程序可能会减慢速度或在发出更多请求前进行等待，从而防止因超过限制而导致的严重故障。

电子商务价格监控: 当通过住宅代理监控竞争对手的价格, 正确的请求头至关重要。你需要设置符合目标市场的、真实的 User-Agent 和 Accept-Language 请求头，使用 Referer 模拟从分类页面浏览的情况，并在不同请求中轮换这些请求头以避免被指纹识别。请求头轮换功能可以实现自动化处理，从经过验证的浏览器配置池中动态调用配置。

社交媒体数据收集: Instagram 和 Facebook 等平台会严格审查请求头。 您需要完美的 User-Agent 字符串、完整的 Accept 标头、正确的 Accept-Encoding（gzip、deflate）以及 Cookie 管理来维持会话。住宅 IP 结合类似浏览器的标头，可使您的自动化操作与真实用户毫无二致。当通过代理访问官方 API 时，Authorization 标头会携带您的 API 令牌。

SEO 排名跟踪: 当检查搜索引擎排名 通过地理定位代理从不同位置访问时，请求头决定了您看到的结果。 Accept-Language 请求头必须与目标国家/地区相匹配，User-Agent 应代表该地区常见的浏览器，而 X-Forwarded-For（如果未被移除）应与您正在使用的住宅 IP 地址一致。这些信号之间的不匹配可能会触发验证码挑战.

广告验证:验证广告位 要求您的请求必须与目标受众的流量完全一致。这意味着 User-Agent 头必须与特定设备匹配（例如 iPhone 13 上的移动版 Safari、Windows 10 上的 Chrome），Accept-Language 头必须与目标市场一致，且 Do-Not-Track 头需根据典型用户行为进行设置。 住宅代理提供 IP 地址；您则需提供符合验证标准的请求头配置。

大规模API抓取: 通过代理调用第三方 API 时，“Authorization”标头用于对 API 进行身份验证，而“Proxy-Authorization”标头则用于对代理服务进行身份验证。您还可以根据目标 API 的要求使用自定义标头（如 X-API-Key）。代理基础设施会保留您所有的标头，同时仅添加必要的代理相关标头。 来自 API 和代理服务双方的速率限制标头可帮助您优化请求调度。

市场研究与数据整合:从多个来源收集数据 需要针对每个网站采用不同的标头策略。有些会严格检查 Referer 标头，有些则侧重于 User-Agent 标头，还有许多会验证 Accept 标头是否与内容类型相符。 代理管理仪表盘允许您配置按域名划分的标头规则，从而确保每个目标站点都能自动获得相应的标头。X-Forwarded-For 标头可根据目标站点是否将其用于地理定位，在每次会话中进行配置，或者机器人检测.

始终包含代理授权: 这看似显而易见，却是连接失败的首要原因。请确保您的 Proxy-Authorization 请求头格式正确，并使用了最新的凭据。如果您遇到 407 错误（需要代理身份验证），请检查该请求头是否存在且内容正确。 代理控制面板通常会以正确格式显示您的认证字符串——请完全照抄。

智能轮换 User-Agent 头部: 不要只是从列表中随意挑选 User-Agent。应确保 User-Agent 与其他标头中模拟的设备/浏览器相匹配。 如果发送的是移动端 User-Agent，则视口尺寸和 Accept 头部也应符合移动端模式。User-Agent 旋转功能会自动确保相关头部之间的一致性。切勿发送缺失或可疑的 User-Agent，例如“Mozilla/4.0”或仅包含“Python”的 User-Agent。

使用完整的标头集: 真正的浏览器每次请求都会发送 15-20 个请求头。如果只发送 3-4 个请求头，就会显得很可疑。 至少应包含：User-Agent、Accept、Accept-Language、Accept-Encoding、Connection 以及 Referer（如适用）。请求头模板提供了与真实浏览器行为相匹配的完整集合。在受保护的网站上，仅发送最低限度的请求头与发送完整的类浏览器请求头之间的成功率差异可能高达 40-50%。

遵守 X-Rate-Limit 标头: 目标网站和代理服务都会在请求头中返回速率限制信息。忽略这些信息会导致被封锁及服务中断。 请在构建爬取逻辑时，读取 X-Rate-Limit-Remaining 和 X-Rate-Limit-Reset 头部字段，并据此进行流量控制。这样既可避免触及硬性限制，也有助于在代理服务商和目标网站两端保持良好信誉。

根据您的使用场景配置 X-Forwarded-For: 为了实现最大程度的隐身，请通过标头管理设置完全移除 X-Forwarded-For 标头。对于地理位置至关重要的应用（如本地搜索结果、区域性内容），请确保 X-Forwarded-For 与您的住宅代理的位置. 为了调试，您可以在内部将原始 IP 保留在此标头中，但在数据到达目标之前将其移除。请选择符合您具体需求的配置。

监控 Via 和转发标头: 这些标头会暴露代理的使用情况。大多数目标网站会忽略它们，但先进的反机器人系统会进行检测。 住宅代理可在隐身模式下自动移除这些标头。如果您遇到较高的封锁率，请检查是否向目标网站发送了 Via 或 Forwarded 标头——代理控制面板会精确显示每次请求中发送了哪些标头。如有必要，请切换至标头移除模式。

对于代理用户而言，HTTP 头是控制网络流量的接口。它们用于验证您对代理基础设施的访问权限，自定义请求在目标网站中的呈现方式，并提供关键的调试信息。 掌握了请求头，您就掌握了基于代理的数据采集技术——从而实现更高的成功率，规避封锁，并在不被察觉的情况下提取业务所需的数据。