3.23模拟浏览器环境

在开发爬虫程序时，目标网站可能会根据用户代理（User-Agent）或其他因素提供不同的页面版本，如 PC 端和移动端。此外，一些网站还具备反爬虫机制，能够识别并阻止爬虫程序的访问。为应对这些问题，我们可以配置请求标头以模拟真实的浏览器环境进行请求。

在开发爬虫程序时，目标网站可能会根据用户代理（User-Agent）或其他因素提供不同的页面版本，如 PC 端和移动端。此外，一些网站还具备反爬虫机制，能够识别并阻止爬虫程序的访问。为应对这些问题，我们可以配置请求标头以模拟真实的浏览器环境进行请求。

cs
HttpRequestBuilder.Get("https://www.baidu.com/")    .SimulateBrowser(); // 模拟 PC 浏览器环境HttpRequestBuilder.Get("https://www.baidu.com/")    .SimulateBrowser(isMobile: true); // 模拟移动端浏览器环境

在添加该操作之后，HTTP 请求将在发送前自动附带以下请求标头，以确保服务器能够准确识别并处理请求：

bash
# PC 浏览器代理Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36 Edg/142.0.0.0# 移动端浏览器代理Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Mobile Safari/537.36 Edg/142.0.0.0