go语言交易系统界面:Go每日一库之chromedp
go语言交易系统界面:Go每日一库之chromedp我们从 Protocol Monitor 面板中可以看到,其中有几个字样,Method,Request,Response。这里的 Method 就是对应官网 https://chromedevtools.github.io/devtools-protocol/ 左侧每个Domain的 Event。重启chrome,在console的更多里面就可以打开对应的 Monitor在我们打开 webtool 调试工具的时候,其实调试工具也是一个web页面,两个web页面通过websocket建立了一个联系。所以我们如果写了一个客户端程序,也和目标页面创建一个基于 CDP 的 websocket连接,我们也可以通过这个协议来对页面进行操作。在chrome的开发者工具中打开实验选项 Protocol Monitor
chromedp是什么?
chromedp是go写的,支持Chrome DevTools Protocol 的一个驱动浏览器的库。并且它不需要依赖其他的外界服务(比如 Selenium 和 PhantomJs)。
Chrome DevTools Protocol (CDP)
Chrome DevTools Protocol (CDP) 的主页在:https://chromedevtools.github.io/devtools-protocol/。它提供一系列的接口来查看,检查,调整并且检查 Chromium 的性能。Chrome 的开发者工具就是使用这一系列的接口,并且 Chrome 开发者工具来维护这些接口。
所谓 CDP 的协议,本质上是什么呢?本质上是基于 websocket 的一种协议。比如
在我们打开 webtool 调试工具的时候,其实调试工具也是一个web页面,两个web页面通过websocket建立了一个联系。所以我们如果写了一个客户端程序,也和目标页面创建一个基于 CDP 的 websocket连接,我们也可以通过这个协议来对页面进行操作。
如何打开 Protocol Monitor
在chrome的开发者工具中
打开实验选项 Protocol Monitor
重启chrome,在console的更多里面就可以打开对应的 Monitor
CDP 协议内容
我们从 Protocol Monitor 面板中可以看到,其中有几个字样,Method,Request,Response。这里的 Method 就是对应官网 https://chromedevtools.github.io/devtools-protocol/ 左侧每个Domain的 Event。
20200622151635
这里的每个Method方法可能是调试页面给目标页面发送的,但是更多是目标页面给调试页面发送的消息。所以我们需要读懂每个Method的内容。不过很可惜,我个人感觉官网的每个Method文档的描述写的实在是太简单了,也没有看到更详细的描述,只能通过名字和事件来猜测每个Method意思了。
chromedp 使用chromedp的使用最快的方法就是看 https://github.com/chromedp/examples 这个项目
基本我们可以熟悉最常用的几个方法了:
- chromedp.NewContext() 初始化chromedp的上下文,后续这个页面都使用这个上下文进行操作
- chromedp.Run() 运行一个chrome的一系列操作
- chromedp.Navigate() 将浏览器导航到某个页面
- chromedp.WaitVisible() 等候某个元素可见,再继续执行。
- chromedp.Click() 模拟鼠标点击某个元素
- chromedp.Value() 获取某个元素的value值
- chromedp.ActionFunc() 再当前页面执行某些自定义函数
- chromedp.Text() 读取某个元素的text值
- chromedp.Evaluate() 执行某个js,相当于控制台输入js
- network.SetExtraHTTPheaders() 截取请求,额外增加header头
- chromedp.SendKeys() 模拟键盘操作,输入字符
- chromedp.nodes() 根据xpath获取某些元素,并存储进入数组
- chromedp.NewRemoteAllocator
- chromedp.OuterHTML() 获取元素的outer html
- chromedp.Screenshot() 根据某个元素截图
- page.CaptureScreenshot() 截取整个页面的元素
- chromedp.Submit() 提交某个表单
- chromedp.WaitNotPresent() 等候某个元素不存在,比如“正在搜索。。。”
- chromedp.Tasks{} 一系列Action组成的任务
我们尝试打开 https://www.cnblogs.com/ 的首页,然后获取所有文章的标题和链接:
packagemain
import(
"context"
"fmt"
"log"
"github.com/chromedp/cdproto/cdp"
"github.com/chromedp/chromedp"
)
funcmain(){
ctx cancel:=chromedp.NewContext(
context.Background()
chromedp.WithLogf(log.Printf)
)
defercancel()
varnodes[]*cdp.Node
err:=chromedp.Run(ctx
chromedp.Navigate("https://www.cnblogs.com/")
chromedp.WaitVisible(`#footer` chromedp.ByID)
chromedp.Nodes(`.//a[@class="titlelnk"]` &nodes)
)
iferr!=nil{
log.Fatal(err)
}
fmt.Println("getnodes:" len(nodes))
//printtitles
for_ node:=rangenodes{
fmt.Println(node.Children[0].NodeValue ":" node.AttributeValue("href"))
}
}