2.27抓取网页内容（爬虫）

Install-Package AngleSharp

// 获取博客园首页 HTML 字符串var cnblogs = await httpRemoteService.SendAsStringAsync(HttpRequestBuilder.Get("https://www.cnblogs.com/")     .SetUserAgent(UserAgents.GetRandom())); // 随机浏览器 User-Agent// 使用默认配置创建一个用于解析网页的上下文var context = BrowsingContext.New(Configuration.Default);// 将获取到的 HTML 字符串作为虚拟请求的内容，解析为可操作的文档对象var document = await context.OpenAsync(req => req.Content(cnblogs));// 使用 CSS 选择器查询文档中所有匹配的元素：id 为 post_list 下的 post-item-title 类元素var elements = document.QuerySelectorAll("#post_list .post-item-title");// 提取每个元素的文本内容（即博客标题）var titles = elements.Select(u => u.TextContent).ToList();

Install-Package HtmlAgilityPack

// 获取博客园首页 HTML 字符串var cnblogs = await httpRemoteService.SendAsStringAsync(HttpRequestBuilder.Get("https://www.cnblogs.com/")     .SetUserAgent(UserAgents.GetRandom())); // 随机浏览器 User-Agent// 创建 HtmlDocument 实例，用于解析 HTMLvar document = new HtmlDocument();// 加载获取到的 HTML 字符串document.LoadHtml(cnblogs);// 使用 XPath 获取节点集合：选择 id 为 post_list 的元素内，所有 class 包含 post-item-title 的子元素var nodes = document.DocumentNode.SelectNodes("//*[@id='post_list']//*[contains(@class,'post-item-title')]");// 提取每个节点的内部文本（即博客标题）var titles =  nodes.Select(node => node.InnerText).ToList();

Install-Package Microsoft.Playwright

dotnet tool install --global Microsoft.Playwright.CLIplaywright install chromium

// 启动 Playwright（默认以无头模式运行 Chromium）using var playwright = await Playwright.CreateAsync();await using var browser = await playwright.Chromium.LaunchAsync();// 新建页面并设置窗口尺寸（模拟真实浏览器环境）var page = await browser.NewPageAsync();await page.SetViewportSizeAsync(1920, 1080);// 访问页面并等待网络空闲，确保 JavaScript 执行完毕await page.GotoAsync("https://www.cnblogs.com/", new() { WaitUntil = WaitUntilState.NetworkIdle });// 等待目标元素出现（SPA 页面可能异步渲染）await page.WaitForSelectorAsync("#post_list .post-item-title");// 提取所有匹配元素的文本（即博客标题）；page.ContentAsync() 可获取渲染后的完整 HTMLvar titles = await page.Locator("#post_list .post-item-title").AllTextContentsAsync();