js能写爬虫脚本吗？js代码写一段web爬虫代码
js能写爬虫脚本吗？js代码写一段web爬虫代码
我手头有个项目，其中有个功能是爬取一个指定页面的所有链接地址，返回一个lists。我现在分享出来。
var tag = document.querySelectorAll("a");
var myarray = []
for (var i = 0; i < tag.length; i ) {
var nametext = tag[i].textContent;
var cleantext = nametext.replace(/\s /g ' ').trim();
var cleanlink = tag[i].href;
myarray.push([cleantext cleanlink]);
};
function generateJson() {
var hrefArray = [];
for (var i = 0; i < myarray.length; i ) {
let t = {}
t.n = myarray[i][0]; t.m = myarray[i][1];
hrefArray.push(t);
};
var win = window.open("Json");
win.document.write(JSON.stringify(hrefArray));
}
generateJson()
测试步骤：
- 打开谷歌浏览器，地址栏输入网址的地址，打开要爬取的页面。
- 打开控制台。
- 复制粘贴上面的代码，json格式的数据将输出到当前页面。
屏幕截图
怎么运行
大家看完这篇文章有什么想法， 评论区多多交流！
