Colly 则是同级别的轻量级、高性能、易 的采集利器。话说回来，很多开发者在实际项目中会遇到以下痛点：

• 传统脚本并发能力弱。抓取速度远不及需求，
• 频繁请求导致 IP 被封，缺少有效的反爬手段。
• 代码结构散乱，难以维护和复用。不过，
• 数据持久化方式单一。无法灵活对接业务数据库，怎么说呢，

凭借 Go 的原生并发优势和 Colly 的设计哲学。这些痛点都可以在 极低资源使用情况下实现高并发抓取从而建立数据采集、监控、舆情程序的不错的选择。

Colly 是 Go 中最流行的爬虫框架之一，目标是提供快速、可靠、可 的网络爬虫方法。

主要特性这方面。

• API 简洁清晰，上手难度低——解决“代码难以阅读和维护”的痛点。老实说，
• 内置并发队列。支持高并发爬取——直接提高抓取速度。
• 自动管理 Cookie、Referer、User-Agent——帮助绕过常见的反爬检测。
• 支持 CSS Selector 与 XPath ——简化页面解析。按理说，
• 深度控制、域名白名单、请求限制 ——防止爬虫跑飞或被封。
• 回调式编程模型，高度灵活。
• 可 中间件、代理池、去重规则 ——应对复杂反爬场景。

二、安装 Colly

go get -u github.com/gocolly/colly/v2

再看在代码中引入，

import "github.com/gocolly/colly/v2"

三、编写你的第一个 Colly 爬虫

创建采集器

c := colly.NewCollector

注册回调解析页面内容

c.OnHTML {
fmt.Println
})

处理请求事件

c.OnRequest {
fmt.Println)
})

开始访问网页

c.Visit

完整示例代码：

package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main {
c := colly.NewCollector
c.OnRequest {
fmt.Println)
})
c.OnHTML {
fmt.Println
fmt.Println)
})
c.Visit
}

四、处理多页面采集

通过在页面中发现新的 URL 并递归调用 .Visit实现深度抓取。配合去重机制，可避免重复请求导致的资源浪费和 IP 被封风险。

c.OnHTML {
link := e.Request.AbsoluteURL)
// 自动跳过已访问 URL
c.Visit
})

五、设置请求限制：防止被封 IP

速率限制

c.Limit(&colly.LimitRule{
DomainGlob: "*",Delay: 1 * time.Second,RandomDelay: 500 * time.Millisecond,})

并发数限制

// 同时最多 5 个请求
c.Limit(&colly.LimitRule{
DomainGlob: "*",Parallelism: 5,})

*通过合理配置速率与并发。可显著降低触发目标站点防护策略的概率*

六、自定义 User-Agent、Cookie 与 Header

c.OnRequest {
r.Headers.Set AppleWebKit/537.36 Chrome/124.0 Safari/537.36")
r.Headers.Set
})
// 如有登录需求，可直接注入 Cookie
c.OnResponse {
// 示例：保存登录后返回的 Set-Cookie
})

七、使用代理池突破封禁

import (
"github.com/gocolly/colly/v2/proxy"
)
func main {
c := col.ly.NewCollector
rp,_ := proxy.RoundRobinProxySwitcher(
"http的观点是，//127.0.0.1:8080","http://127.0.0.1:8081","http://127.0.0.1:8082",)
c.SetProxyFunc
c.Visit
}

多代理轮换可以显著降低单个 IP 被封的概率，是“频繁被屏蔽”痛点的根本方法。

八、深度控制与域名限制

• 域名白名单：

c.AllowedDomains = string{"example.com"。"api.example.com"}

• 最大抓取深度：

// 最多向下抓取 3 层
c.MaxDepth = 3

• 排除规则：

// 排除图片等静态资源
c.OnHTML{ /* ignore */ })

这些配置帮助你把握抓取边界，避免因误抓外部站点导致数据污染或法律风险。

九、数据持久化：CSV / JSON / 数据库

写入 CSV 文件

f,_ := os.Create
defer f.Close
w := csv.NewWriter
defer w.Flush
c.OnHTML {
title := e.ChildText
price := e.ChildText
w.Write
})

写入 JSON

type Product struct {
Title string `json:"title"`
Price string `json:"price"`
}
var results Product
c.OnHTML{
p := Product{
Title这方面。e.ChildText,Price:e.ChildText,}
results = append
})
c.OnScraped{
说到b,_，=json.MarshalIndent
os.WriteFile
})

写入 MySQL / PostgreSQL

在回调函数内部直接执行 SQL INSERT，就可以完成持久化。示例略去连接细节，读者自行替换为项目中的 DB 包即可。

十、实战案例：抓取京东商品信息

下面演示如何快速获取商品名称与价格，实现商品价格监控等业务需求。

package main
import (
“fmt”
“github.com/gocolly/colly/v2”
)
func main {
c := colly.NewCollector(
colly.AllowedDomains,colyl.MaxDepth,)
// 设置速率限制避免触发风控
c.Limit(&colyl.LimitRule{
DomainGlob: "*"。Delay: 500 * time.Millisecond,Parallelism: 4,})
// UA & Proxy 示例
// ...
c.OnHTML {
title := e.ChildText
price := e.ChildText
fmt.Printf
})
startURL := “https://search.jd.com/Search?keyword=手机&enc=utf‑8”
c.Visit
}

运行后即可得到类似：

 小米11 Ultra 3999元 华为Mate40 4299元 iPhone13 5999元 …

十一、Colly 最适合哪些场景？

• 商品价格监控 & 比价网站
• 舆情监测与社交媒体数据采集
• 新闻门户或博客文章批量抓取
• 实时监控程序
• 多站点聚合搜索引擎
• 为数据分析与可视化后台提供可靠的数据来源

Colly 将 Go 的高并发特性与简洁 API 融合，为你提供了一套「**快速搭建 → 高效运行 → 易于维护**」的爬虫方法。话说回来，针对前文提到的痛点，这里 从梳理对应措施来看。

痛点	Coly 对策
抓取速度慢	使用内置并发队列 + LimitRule 并行控制，可轻松达到数百甚至上千 QPS。
IP 被封 / 风控频繁触发	自定义 UA + Header + Cookie；结合 proxy.RoundRobinProxySwitcher 实现动态代理轮换； 合理设置 Delay 与 RandomDelay。
代码难以维护 / 重复逻辑多	回调式设计 + 中间件机制，使得请求前置处理、响应解析统一抽离；配合 Go 的模块化组织，实现高度复用。
数据落地困难	内置 CSV / JSON 示例；怎么说呢，回调中自由调用数据库驱动，实现任意持久化方式。