go-lurker: go lurker 一个基于 master / worker 模式实现的并发爬虫

1月18日，北京，聊聊2025如何加入技术开发？

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

免费加入

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

分支 1

标签 0

go lurker project create 565cb8f

1 次提交

lurker

README.md

data.txt

go.mod

log_data.txt

main.go

README

Go Lurker （并发爬虫）

1、基于 Master / Worker 模式实现

2、简易的api

3、代码实例：

```
lk := lurker.CreateLurker()
	lk.SetWriteFileLog(true).SetItem(&lurker.LurkerItem{
		Url:      "http://www.baidu.com",
		StartTag: "<title>",
		EndTag:   "</title>",
	}).SetItem(&lurker.LurkerItem{
		Url:      "http://www.jdon.com",
		StartTag: "<div class='wrap-footer'>",
		EndTag:   "</div>",
	}).SetItem(&lurker.LurkerItem{
		Url:      "http://www.taobao.com",
		StartTag: "<title>",
		EndTag:   "</title>",
	})
	lk.Run(func(data string) {
		fmt.Println(data)
	})
```

go lurker 一个基于 master / worker 模式实现的并发爬虫

取消

暂无发行版

马建仓 AI 助手

尝试更多

代码解读

代码找茬

代码优化

https://gitee.com/wangziyue1983/go-lurkerg.git

[email protected]:wangziyue1983/go-lurkerg.git

wangziyue1983

go-lurkerg

go-lurker

master

daxiongjun/go-lurker

简介

发行版

贡献者

近期动态

daxiongjun/go-lurker .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

daxiongjun/go-lurker