R语言网络爬虫实战指南教你如何高效抓取网页数据并解决反爬虫难题 – 资料库

引言：为什么选择R语言进行网络爬虫
在数据科学领域，R语言以其强大的统计分析能力和丰富的包生态系统而闻名。虽然Python在网络爬虫领域更为流行，但R语言同样具备出色的网页数据抓取能力。R语言的
rvest
、
httr
等包提供了简洁高效的API，使得网页数据抓取变得轻而易举。
网络爬虫的核心价值在于能够自动化地从互联网获取结构化数据，为后续的数据分析、机器学习模型训练或商业决策提供数据基础。然而，随着网站安全意识的增强，反爬虫技术也日益复杂。本指南将从基础到高级，全面介绍如何使用R语言高效抓取网页数据，并应对各种反爬虫挑战。
一、R语言网络爬虫基础
1.1 必备的R包及其安装
在进行网络爬虫之前，我们需要安装并加载以下核心R包：
# 安装必要的包
install.packages(“rvest”) # 网页解析核心包
install.packages(“httr”) # HTTP请求处理
install.packages(“xml2”) # XML/HTML解析
install.packages(“dplyr”) # 数据处理
install.packages(“stringr”) # 字符串处理
install.packages(“jsonlite”) # JSON数据处理
install.packages(“RSelenium”) # 浏览器自动化（处理动态网页）
install.packages(“polite”) # 礼貌爬虫，遵守robots.txt

# 加载包
library(rvest)
library(httr)
library(xml2)
library(dplyr)
library(stringr)
library(jsonlite)
library(RSelenium)
library(polite)
1.2 网络爬虫的基本工作流程
一个完整的网络爬虫通常包含以下步骤：
目标分析
：分析目标网站的结构，确定数据位置
发送HTTP请求
：获取网页源代码
解析HTML
：提取所需数据
数据清洗
：格式化提取的数据
数据存储
：将数据保存到文件或数据库
遵守规则
：遵守robots.txt和网站使用条款
1.3 第一个简单的爬虫示例
让我们从一个简单的例子开始：抓取豆瓣电影Top250的电影名称和评分。
# 定义目标URL
url <- "https://movie.douban.com/top250" # 读取网页内容 web_page <- read_html(url) # 提取电影名称（使用CSS选择器） movies <- web_page %>%
html_nodes(“.title”) %>%
html_text()

# 提取评分
ratings <- web_page %>%
html_nodes(“.rating_num”) %>%
html_text()

# 查看前6个结果
head(movies)
head(ratings)

# 将数据整理成数据框
movie_data <- data.frame( 电影名称 = movies, 评分 = ratings, stringsAsFactors = FALSE ) # 查看结果 print(movie_data) 代码解析： read_html() ：读取网页内容并解析为HTML文档 html_nodes() ：使用CSS选择器定位元素 html_text() ：提取元素的文本内容整个过程无需复杂的HTTP请求头设置，rvest会自动处理基本的请求头二、高级网页数据抓取技术 2.1 处理动态加载内容（JavaScript渲染）许多现代网站使用JavaScript动态加载内容，直接使用 read_html() 无法获取这些数据。这时我们需要使用RSelenium来模拟浏览器行为。 # 启动RSelenium（需要先安装Docker或ChromeDriver） # 这里以Chrome为例，需要先下载对应版本的chromedriver library(RSelenium) # 启动浏览器 rD <- rsDriver(browser = "chrome", chromever = "latest") remDr <- rD[["client"]] # 导航到目标页面 remDr$navigate("https://www.example.com") # 等待页面加载（重要！） Sys.sleep(3) # 获取动态渲染后的页面源码 page_source <- remDr$getPageSource()[[1]] # 使用rvest解析 web_page <- read_html(page_source) # 提取数据（同上） data <- web_page %>%
html_nodes(“.some-class”) %>%
html_text()

# 关闭浏览器
remDr$close()
rD[[“server”]]$stop()

# 清理
rm(rD, remDr)
gc()
2.2 处理分页和翻页
大多数网站都有分页功能，我们需要循环抓取所有页面。
# 示例：抓取多页数据
base_url <- "https://movie.douban.com/top250?start=" # 存储所有数据 all_data <- list() # 循环抓取25页（每页25条，共250条） for (i in 0:24) { # 构造URL url <- paste0(base_url, i * 25) # 读取页面 web_page <- read_html(url) # 提取当前页数据 movies <- web_page %>%
html_nodes(“.title”) %>%
html_text()

ratings <- web_page %>%
html_nodes(“.rating_num”) %>%
html_text()

# 存储到列表
all_data[[i + 1]] <- data.frame( 电影名称 = movies, 评分 = ratings, 页码 = i + 1, stringsAsFactors = FALSE ) # 礼貌爬虫：每次请求间隔2秒 Sys.sleep(2) # 打印进度 cat("已抓取第", i + 1, "页\n") } # 合并所有数据 final_data <- do.call(rbind, all_data) # 保存结果 write.csv(final_data, "douban_top250.csv", row.names = FALSE) 2.3 处理API接口（JSON数据）很多网站通过API提供数据，直接调用API比解析HTML更高效。 # 示例：调用开放API获取数据 # 假设我们有一个返回JSON的API api_url <- "https://api.example.com/data" # 发送GET请求 response <- GET(api_url) # 检查请求是否成功 if (status_code(response) == 200) { # 解析JSON json_data <- content(response, "text", encoding = "UTF-8") data <- fromJSON(json_data) # 处理数据 processed_data <- data %>%
as.data.frame()

print(processed_data)
} else {
cat(“请求失败，状态码：”, status_code(response), “\n”)
}
三、应对反爬虫策略
3.1 识别和遵守robots.txt
在开始爬虫之前，首先要检查目标网站的robots.txt文件，了解哪些内容允许爬取。
library(polite)

# 检查robots.txt
host <- "https://www.example.com" robots <- polite::robots_txt(host) # 查看允许和禁止的规则 print(robots) # 使用polite包进行礼貌爬虫 session <- polite::bow(host, user_agent = "MyResearchBot/1.0") # 使用session进行请求 response <- polite::nod(session, "/path/to/page") page <- polite::scrape(response) 3.2 设置合理的请求头（User-Agent）很多网站会检查User-Agent，拒绝非浏览器请求。设置一个合理的User-Agent可以避免被立即封禁。 # 设置请求头 headers <- add_headers( `User-Agent` = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", `Accept` = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", `Accept-Language` = "zh-CN,zh;q=0.9,en;q=0.8", `Accept-Encoding` = "gzip, deflate, br", `Connection` = "keep-alive", `Upgrade-Insecure-Requests` = "1" ) # 使用httr发送请求 url <- "https://www.example.com" response <- GET(url, headers, timeout(10)) if (status_code(response) == 200) { web_page <- read_html(content(response, "text", encoding = "UTF-8")) # 提取数据... } else { cat("请求失败：", status_code(response), "\n") } 3.3 使用代理IP池当请求频率过高时，网站会封禁IP。使用代理IP可以绕过这个限制。 # 使用代理IP的示例 # 注意：需要购买或获取可用的代理IP proxy_list <- c( "http://proxy1.example.com:8080", "http://proxy2.example.com:8080", "http://3.1.1.1:8080" # 示例IP ) # 随机选择代理 random_proxy <- sample(proxy_list, 1) # 使用代理发送请求 response <- GET( url, headers, config = use_proxy(random_proxy), timeout(10) ) # 封装成函数 fetch_with_proxy <- function(url, proxy_pool) { proxy <- sample(proxy_pool, 1) tryCatch({ response <- GET(url, headers, config = use_proxy(proxy), timeout(10)) if (status_code(response) == 200) { return(read_html(content(response, "text", encoding = "UTF-8"))) } else { return(NULL) } }, error = function(e) { cat("代理", proxy, "请求失败：", e$message, "\n") return(NULL) }) } 3.4 请求间隔和随机延迟避免高频请求是防止被封禁的关键。 # 随机延迟函数 random_delay <- function(min_seconds = 1, max_seconds = 3) { delay <- runif(1, min_seconds, max_seconds) Sys.sleep(delay) } # 在循环中使用 for (i in 1:100) { url <- paste0("https://www.example.com/page/", i) # 随机延迟 random_delay(2, 5) # 发送请求 web_page <- read_html(url) # 处理数据... cat("已完成", i, "/ 100\n") } 3.5 处理验证码和登录对于需要登录或验证码的情况，可以使用RSelenium模拟人工操作。 # RSelenium处理登录和验证码 library(RSelenium) rD <- rsDriver(browser = "chrome", chromever = "latest") remDr <- rD[["client"]] # 导航到登录页 remDr$navigate("https://www.example.com/login") # 输入用户名和密码 username <- remDr$findElement(using = "css selector", "#username") username$sendKeysToElement(list("your_username")) password <- remDr$findElement(using = "css selector", "#password") password$sendKeysToElement(list("your_password")) # 处理验证码（可能需要人工干预） cat("请手动处理验证码，完成后按回车继续...") readline() # 点击登录按钮 login_btn <- remDr$findElement(using = "css selector", "button[type='submit']") login_btn$clickElement() # 等待登录完成 Sys.sleep(3) # 登录后抓取数据 remDr$navigate("https://www.example.com/protected/data") page_source <- remDr$getPageSource()[[1]] data <- read_html(page_source) %>%
html_nodes(“.data-table”) %>%
html_table()

# 关闭
remDr$close()
rD[[“server”]]$stop()
3.6 处理JavaScript加密和混淆
对于复杂的JavaScript加密，可以使用V8引擎或直接在RSelenium中执行JS。
library(V8)

# 示例：解密简单的JS加密
ct <- v8_new_context() ct$eval("function decrypt(data) { return atob(data); }") ct$eval("var encrypted = 'SGVsbG8gV29ybGQ=';") # "Hello World"的base64加密 decrypted <- ct$eval("decrypt(encrypted);") print(decrypted) # 在RSelenium中执行JS获取动态数据 remDr$executeScript("return document.querySelector('.dynamic-content').innerText;") 四、数据存储与管理 4.1 保存为CSV/Excel # 保存为CSV write.csv(final_data, "data.csv", row.names = FALSE, fileEncoding = "UTF-8") # 保存为Excel（需要openxlsx包） library(openxlsx) write.xlsx(final_data, "data.xlsx") 4.2 存入数据库 library(RSQLite) library(DBI) # SQLite数据库 con <- dbConnect(RSQLite::SQLite(), "mydatabase.db") dbWriteTable(con, "web_data", final_data, overwrite = TRUE) dbDisconnect(con) # MySQL数据库（需要RMySQL包） library(RMySQL) con <- dbConnect( MySQL(), dbname = "mydb", host = "localhost", user = "root", password = "password" ) dbWriteTable(con, "web_data", final_data, overwrite = TRUE) dbDisconnect(con) 包polite：遵守robots.txt和礼貌爬虫包V8：处理JavaScript加密 ### 4.3 数据清洗和预处理 ```r # 数据清洗示例 cleaned_data <- final_data %>%
# 去除重复
distinct() %>%
# 处理缺失值
filter(!is.na(电影名称)) %>%
# 格式化评分
mutate(评分 = as.numeric(评分)) %>%
# 提取年份（假设名称中包含年份）
mutate(年份 = str_extract(电影名称, “\$\\d{4}\$”)) %>%
mutate(年份 = str_replace_all(年份, “[()]”, “”))

# 查看清洗后的数据
summary(cleaned_data)
五、实战案例：综合应用
5.1 案例：抓取电商网站商品信息
这个案例展示如何抓取一个电商网站的商品信息，包括处理分页、反爬虫和数据存储。
# 完整电商爬虫示例
library(rvest)
library(httr)
library(dplyr)
library(stringr)
library(jsonlite)
library(polite)

# 1. 设置礼貌爬虫会话
session <- bow( "https://www.example-ecommerce.com", user_agent = "ResearchBot/1.0 (your.email@example.com)", delay = 2 # 每次请求间隔2秒 ) # 2. 定义抓取单个商品详情的函数 scrape_product <- function(product_url, session) { tryCatch({ # 礼貌请求 response <- nod(session, product_url) page <- scrape(response) # 提取商品信息 product <- list( 名称 = page %>% html_node(“h1.product-title”) %>% html_text(trim = TRUE),
价格 = page %>% html_node(“.price”) %>% html_text(trim = TRUE) %>% str_extract(“\\d+\\.\\d+”) %>% as.numeric(),
品牌 = page %>% html_node(“.brand”) %>% html_text(trim = TRUE),
评分 = page %>% html_node(“.rating”) %>% html_text(trim = TRUE) %>% str_extract(“\\d+\\.\\d+”) %>% as.numeric(),
评论数 = page %>% html_node(“.review-count”) %>% html_text(trim = TRUE) %>% str_extract(“\\d+”) %>% as.numeric(),
描述 = page %>% html_node(“.description”) %>% html_text(trim = TRUE),
URL = product_url
)

return(product)
}, error = function(e) {
cat(“抓取失败：”, product_url, “-“, e$message, “\n”)
return(NULL)
})
}

# 3. 主抓取函数
scrape_ecommerce <- function(base_url, max_pages = 10) { all_products <- list() for (page_num in 1:max_pages) { # 构造列表页URL list_url <- paste0(base_url, "/products?page=", page_num) cat("正在抓取第", page_num, "页...\n") # 获取列表页 response <- nod(session, list_url) list_page <- scrape(response) # 提取商品链接 product_links <- list_page %>%
html_nodes(“.product-link”) %>%
html_attr(“href”) %>%
paste0(base_url, .)

if (length(product_links) == 0) {
cat(“没有找到商品链接，停止抓取\n”)
break
}

# 抓取每个商品详情
for (i in seq_along(product_links)) {
product <- scrape_product(product_links[i], session) if (!is.null(product)) { all_products[[length(all_products) + 1]] <- product } # 随机延迟 random_delay(1, 3) cat(" 已完成", i, "/", length(product_links), "\n") } } # 转换为数据框 df <- bind_rows(all_products) return(df) } # 4. 执行抓取 # 注意：这是一个示例，实际使用时需要替换为真实的URL # final_data <- scrape_ecommerce("https://www.example-ecommerce.com", max_pages = 5) # 5. 数据清洗 cleaned_data <- final_data %>%
filter(!is.na(名称) & 名称 != “”) %>%
mutate(
价格 = round(价格, 2),
抓取时间 = Sys.time()
) %>%
distinct(名称, .keep_all = TRUE)

# 6. 保存数据
write.csv(cleaned_data, “ecommerce_products.csv”, row.names = FALSE, fileEncoding = “UTF-8”)

# 7. 统计信息
cat(“总共抓取”, nrow(cleaned_data), “个商品\n”)
cat(“平均价格：”, mean(cleaned_data$价格, na.rm = TRUE), “\n”)
cat(“最高评分：”, max(cleaned_data$评分, na.rm = TRUE), “\n”)
5.2 案例：处理复杂反爬虫的新闻网站
# 处理复杂反爬虫的新闻爬虫
library(RSelenium)
library(xml2)
library(dplyr)
library(stringr)

# 启动浏览器
rD <- rsDriver(browser = "chrome", chromever = "latest", verbose = FALSE) remDr <- rD[["client"]] # 设置浏览器选项（隐藏自动化特征） remDr$executeScript("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})”)

# 定义新闻抓取函数
scrape_news <- function(keyword, max_articles = 50) { # 搜索页面 search_url <- paste0("https://www.example-news.com/search?q=", URLencode(keyword)) remDr$navigate(search_url) Sys.sleep(3) articles <- list() count <- 0 while (count < max_articles) { # 滚动加载更多内容（模拟人工滚动） remDr$executeScript("window.scrollTo(0, document.body.scrollHeight);") Sys.sleep(2) # 获取当前页面源码 page_source <- remDr$getPageSource()[[1]] page <- read_html(page_source) # 提取新闻链接 links <- page %>%
html_nodes(“.news-item”) %>%
html_node(“a”) %>%
html_attr(“href”) %>%
unique()

if (length(links) == 0) break

# 抓取每篇新闻
for (link in links) {
if (count >= max_articles) break

tryCatch({
# 在新标签页打开
remDr$executeScript(paste0(“window.open(‘”, link, “‘, ‘_blank’);”))
Sys.sleep(2)

# 切换到新标签页
windows <- remDr$getWindowHandles() remDr$switchToWindow(windows[[2]]) # 获取内容 article_source <- remDr$getPageSource()[[1]] article_page <- read_html(article_source) article <- list( 标题 = article_page %>% html_node(“h1”) %>% html_text(trim = TRUE),
作者 = article_page %>% html_node(“.author”) %>% html_text(trim = TRUE),
时间 = article_page %>% html_node(“.time”) %>% html_text(trim = TRUE),
内容 = article_page %>% html_node(“.content”) %>% html_text(trim = TRUE),
URL = link
)

articles[[length(articles) + 1]] <- article count <- count + 1 # 关闭当前标签页，返回主标签页 remDr$closeWindow() remDr$switchToWindow(windows[[1]]) cat("已抓取", count, "/", max_articles, "篇新闻\n") # 随机延迟 Sys.sleep(runif(1, 2, 5)) }, error = function(e) { cat("抓取失败：", link, "-", e$message, "\n") # 确保返回主标签页 windows <- remDr$getWindowHandles() if (length(windows) > 1) {
remDr$switchToWindow(windows[[1]])
}
})
}

# 尝试点击”加载更多”按钮
tryCatch({
load_more <- remDr$findElement(using = "css selector", ".load-more") load_more$clickElement() Sys.sleep(2) }, error = function(e) { # 没有加载更多按钮，停止 break }) } return(bind_rows(articles)) } # 执行抓取 # news_data <- scrape_news("人工智能", max_articles = 30) # 关闭浏览器 remDr$close() rD[["server"]]$stop() rm(rD, remDr) gc() 六、性能优化和最佳实践 6.1 并行抓取对于大规模抓取任务，可以使用并行处理提高效率。 library(future) library(furrr) # 设置并行计划 plan(multisession, workers = 4) # 使用4个核心 # 并行抓取函数 parallel_scrape <- function(urls) { future_map(urls, function(url) { tryCatch({ # 礼貌爬虫 session <- bow(url, user_agent = "ParallelBot/1.0") page <- scrape(session) # 提取数据 data <- list( title = page %>% html_node(“title”) %>% html_text(),
url = url
)

return(data)
}, error = function(e) {
return(NULL)
})
}, .progress = TRUE)
}

# 使用示例
urls <- paste0("https://www.example.com/page/", 1:10) results <- parallel_scrape(urls) 6.2 错误处理和重试机制 # 带重试的请求函数 fetch_with_retry <- function(url, max_retries = 3, delay = 2) { for (i in 1:max_retries) { tryCatch({ response <- GET(url, headers, timeout(10)) if (status_code(response) == 200) { return(read_html(content(response, "text", encoding = "UTF-8"))) } else { cat("请求失败，状态码：", status_code(response), "，重试", i, "/", max_retries, "\n") } }, error = function(e) { cat("请求错误：", e$message, "，重试", i, "/", max_retries, "\n") }) if (i < max_retries) Sys.sleep(delay * i) # 指数退避 } return(NULL) } 6.3 监控和日志 # 简单的日志系统 log_message <- function(message, level = "INFO") { timestamp <- format(Sys.time(), "%Y-%m-%d %H:%M:%S") log_entry <- paste0("[", timestamp, "] [", level, "] ", message, "\n") cat(log_entry) # 可以同时写入文件 write(log_entry, "crawler.log", append = TRUE) } # 在爬虫中使用 log_message("开始抓取任务") log_message("抓取失败：URL不可达", "ERROR") 七、法律和道德考虑 7.1 遵守robots.txt 始终检查并遵守robots.txt文件，这是网站所有者对爬虫的基本要求。 7.2 尊重网站使用条款仔细阅读网站的使用条款，了解是否允许爬虫，以及有哪些限制。 7.3 控制请求频率每秒请求不超过1-2次避免在高峰时段抓取为每个网站设置单独的延迟策略 7.4 数据使用限制仅抓取公开数据不要抓取个人信息遵守数据保护法规（如GDPR）八、常见问题和解决方案 8.1 问题：请求被拒绝（403 Forbidden）解决方案：检查并设置合理的User-Agent 使用代理IP 降低请求频率检查robots.txt 8.2 问题：抓取的数据不完整解决方案：使用RSelenium处理动态内容增加页面加载等待时间检查是否有隐藏的iframe或AJAX请求 8.3 问题：内存不足解决方案：分批抓取并及时保存使用 data.table 替代 data.frame 处理大数据定期清理内存： gc() 8.4 问题：IP被封禁解决方案：使用代理IP池增加请求间隔联系网站管理员申请API访问权限九、总结 R语言提供了强大而灵活的网络爬虫工具，从简单的 rvest 到复杂的 RSelenium ，能够应对各种网页数据抓取需求。关键在于：选择合适的工具：静态页面用rvest，动态内容用RSelenium 遵守规则：尊重robots.txt和网站条款保持礼貌：控制请求频率，使用随机延迟做好错误处理：网络请求不稳定，需要重试机制优化性能：并行处理、代理IP、高效存储通过本指南的学习，你应该能够： ✅ 使用R语言抓取静态和动态网页数据 ✅ 处理分页、登录、验证码等复杂场景 ✅ 应对各种反爬虫策略 ✅ 高效存储和管理抓取的数据 ✅ 遵守法律和道德规范记住，网络爬虫是一把双刃剑，合理使用可以为研究和商业带来巨大价值，但滥用可能导致法律问题。始终以负责任的态度进行网络爬虫活动。附录：推荐的R包和工具核心包：rvest, httr, xml2 动态内容：RSelenium, chromote 礼貌爬虫：polite 数据处理：dplyr, stringr, data.table JSON处理：jsonlite 并行计算：future, furrr 数据库：RSQLite, DBI, RMySQL 日志：log4r, futile.logger 学习资源： Rvest官方文档： https://rvest.tidyverse.org/ httr官方文档： https://httr.r-lib.org/ RSelenium官方文档： https://cran.r-project.org/web/packages/RSelenium/ Polite包文档： https://dmi3kno.github.io/polite/ 祝你在R语言网络爬虫的道路上越走越远！ # R语言网络爬虫实战指南教你如何高效抓取网页数据并解决反爬虫难题引言：为什么选择R语言进行网络爬虫在数据科学领域，R语言以其强大的统计分析能力和丰富的包生态系统而闻名。虽然Python在网络爬虫领域更为流行，但R语言同样具备出色的网页数据抓取能力。R语言的 rvest 、 httr 等包提供了简洁高效的API，使得网页数据抓取变得轻而易举。网络爬虫的核心价值在于能够自动化地从互联网获取结构化数据，为后续的数据分析、机器学习模型训练或商业决策提供数据基础。然而，随着网站安全意识的增强，反爬虫技术也日益复杂。本指南将从基础到高级，全面介绍如何使用R语言高效抓取网页数据，并应对各种反爬虫挑战。一、R语言网络爬虫基础 1.1 必备的R包及其安装在进行网络爬虫之前，我们需要安装并加载以下核心R包： # 安装必要的包 install.packages("rvest") # 网页解析核心包 install.packages("httr") # HTTP请求处理 install.packages("xml2") # XML/HTML解析 install.packages("dplyr") # 数据处理 install.packages("stringr") # 字符串处理 install.packages("jsonlite") # JSON数据处理 install.packages("RSelenium") # 浏览器自动化（处理动态网页） install.packages("polite") # 礼貌爬虫，遵守robots.txt # 加载包 library(rvest) library(httr) library(xml2) library(dplyr) library(stringr) library(jsonlite) library(RSelenium) library(polite) 1.2 网络爬虫的基本工作流程一个完整的网络爬虫通常包含以下步骤：目标分析：分析目标网站的结构，确定数据位置发送HTTP请求：获取网页源代码解析HTML ：提取所需数据数据清洗：格式化提取的数据数据存储：将数据保存到文件或数据库遵守规则：遵守robots.txt和网站使用条款 1.3 第一个简单的爬虫示例让我们从一个简单的例子开始：抓取豆瓣电影Top250的电影名称和评分。 # 定义目标URL url <- "https://movie.douban.com/top250" # 读取网页内容 web_page <- read_html(url) # 提取电影名称（使用CSS选择器） movies <- web_page %>%
html_nodes(“.title”) %>%
html_text()

# 提取评分
ratings <- web_page %>%
html_nodes(“.rating_num”) %>%
html_text()

# 查看前6个结果
head(movies)
head(ratings)

# 关闭浏览器
remDr$close()
rD[[“server”]]$stop()

ratings <- web_page %>%
html_nodes(“.rating_num”) %>%
html_text()

# 关闭
remDr$close()
rD[[“server”]]$stop()
3.6 处理JavaScript加密和混淆
对于复杂的JavaScript加密，可以使用V8引擎或直接在RSelenium中执行JS。
library(V8)

# 示例：解密简单的JS加密
ct <- v8_new_context() ct$eval("function decrypt(data) { return atob(data); }") ct$eval("var encrypted = 'SGVsbG8gV29ybGQ=';") # "Hello World"的base64加密 decrypted <- ct$eval("decrypt(encrypted);") print(decrypted) # 在RSelenium中执行JS获取动态数据 remDr$executeScript("return document.querySelector('.dynamic-content').innerText;") 四、数据存储与管理 4.1 保存为CSV/Excel # 保存为CSV write.csv(final_data, "data.csv", row.names = FALSE, fileEncoding = "UTF-8") # 保存为Excel（需要openxlsx包） library(openxlsx) write.xlsx(final_data, "data.xlsx") 4.2 存入数据库 library(RSQLite) library(DBI) # SQLite数据库 con <- dbConnect(RSQLite::SQLite(), "mydatabase.db") dbWriteTable(con, "web_data", final_data, overwrite = TRUE) dbDisconnect(con) # MySQL数据库（需要RMySQL包） library(RMySQL) con <- dbConnect( MySQL(), dbname = "mydb", host = "localhost", user = "root", password = "password" ) dbWriteTable(con, "web_data", final_data, overwrite = TRUE) dbDisconnect(con) 4.3 数据清洗和预处理 # 数据清洗示例 cleaned_data <- final_data %>%
# 去除重复
distinct() %>%
# 处理缺失值
filter(!is.na(电影名称)) %>%
# 格式化评分
mutate(评分 = as.numeric(评分)) %>%
# 提取年份（假设名称中包含年份）
mutate(年份 = str_extract(电影名称, “\$\\d{4}\$”)) %>%
mutate(年份 = str_replace_all(年份, “[()]”, “”))

return(product)
}, error = function(e) {
cat(“抓取失败：”, product_url, “-“, e$message, “\n”)
return(NULL)
})
}

if (length(product_links) == 0) {
cat(“没有找到商品链接，停止抓取\n”)
break
}

# 6. 保存数据
write.csv(cleaned_data, “ecommerce_products.csv”, row.names = FALSE, fileEncoding = “UTF-8”)

if (length(links) == 0) break

# 抓取每篇新闻
for (link in links) {
if (count >= max_articles) break

tryCatch({
# 在新标签页打开
remDr$executeScript(paste0(“window.open(‘”, link, “‘, ‘_blank’);”))
Sys.sleep(2)

return(data)
}, error = function(e) {
return(NULL)
})
}, .progress = TRUE)
}