querylist采集效率低(QueryListV4-第2篇)
querylist采集效率低(QueryListV4-第2篇)
真正喜欢上一个人,应该是害羞的不敢表白 会总感觉配不上 可却渴望追到你;发信息时连绵不绝 见面后却欲言又止;沉默地微笑离开 而心却有万语千言在翻滚!喜欢一个人 宁愿被对方误认为是木头 也会本能地少动几下 少说几句 只因怕最丑的样子被看到 最没品味的话被听到。----网易云
#采集代码
$ql = QueryList::get('https://www.baidu.com/s?wd=QueryList' null [
'headers' => [
'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML like Gecko) Chrome/80.0.3987.149 Safari/537.36'
'Accept-Encoding' => 'gzip deflate br'
]
]);
$titles = $ql->find('h3>a')->texts(); //获取搜索结果标题列表
$links = $ql->find('h3>a')->attrs('href'); //获取搜索结果链接列表
print_r($titles->all());
print_r($links->all());
#采集结果
Array
(
[0] => QueryList|简洁、优雅的PHP采集工具
[1] => phpQuery选择器 - QueryList 4.0 指导文档
[2] => php写爬虫进行采集 QueryList的使用 - CSDN博客
[3] => QueryList采集在线测试
[4] => 介绍- QueryList 4.0 指导文档
[5] => QueryList交流社区|基于phpQuery的无比强大的采集工具
[6] => 介绍- QueryList 3.0 指导文档
[7] => thinkphp5使用QueryList实现采集功能 - 坚持一点点 - 博客园
[8] => QueryList一个基于phpQuery的无比强大的采集工具 - ThinkPHP框架
[9] => php使用QueryList轻松采集JavaScript动态渲染页面 - QueryList - ...
)
Array
(
[0] => http://www.baidu.com/link?url=CNKBNz0t9t6YLmIfXjKYnIkcQ-JzNOpAyiAHPDSnlkmrEqMq5q9o44ElplTf7nON
[1] => http://www.baidu.com/link?url=VKDqdL3WXxuy0xV3uHMDXRrqQlWGhh4qMQ5h4UCBw0sRJvE9uLlMbr5fE_gsURX8oehsAyzi9_QxVuC1CBjoTa
[2] => http://www.baidu.com/link?url=rjDcaEbicrZjIG-iFJdkHJTWxoxYA2EBatxh-EyvMDdPMPxtOi8nDUi7UiuIgmW9X7o6CvcFUqPqCrqJp7M4FmRKpJ52-ceBowE0ek_jb5O
[3] => http://www.baidu.com/link?url=9FAlKAB_4xCVP1hv_RlpPN8ROxsTSTDHpnvvxYn4j_veTkhxHfaPHUFAtc8BctDmN9ZVigMS7ggaVy778zAMzK
[4] => http://www.baidu.com/link?url=CFOkrOHOFsWPddZC1fuRv8ZqwhbF7P6vH1Pg1covRawG6wsmszFW1qnxHf7mWKPM
[5] => http://www.baidu.com/link?url=7kCwV_WRMZjWAeyOWP3zfX4Jx21tPeZhmyuENciN86BBd_g8znMD3JgEEfvGRbNc
[6] => http://www.baidu.com/link?url=p3JenyGg7qtP7lSKXkbLM8_eGTzxzjJGch7__-8fmuIsZOdEQbCquS6P_NdR4LoG
[7] => http://www.baidu.com/link?url=_EJBv9sxVtGT1paHERifcDHEaG8twDHk-Av2JD5DlkJUvipLAdNqovTdXAxijcI3LTaC3F_jYuMkHuTOJ0ic7_
[8] => http://www.baidu.com/link?url=ad9pwRrrkyTVOB7ZMKN29XyLX1MsXRIFPbA0ldPLTQQ58Dnw_YpZFKJZwxZ-jfaL
[9] => http://www.baidu.com/link?url=mEjYM95SeHFYCnfITubUoTOj7XWR1NparEcb3hCGqPGv_uChSvVFat6xcvyCz_9mLogw5ol5gU_isHqYRTJj2q
)
QueryList目前有2个支持的版本V3和V4,安装之前你需要根据实际环境来选择 它们的区别如下:
- V3
- PHP版本要求PHP5.3以上;
- 只有一个主文件,可直接引入无需使用Composer安装,使用便捷;
- 只有一个主要的API,学习简单;
- 支持V4版本的大多数功能特性
- V4
- PHP版本要求PHP7.1以上;
- 更加现代化的设计思想,文件结构复杂,需要使用Composer安装;
- 更加丰富的富有表现力的API 功能更加强大;
- 完全模块化的设计,更加强大的可扩展性;
总的来说,如果条件允许请尽量使用最新版本。
#环境要求
PHP >= 7.1
这里有个很多人都会犯的错误,那就是安装QueryList之前没有在命令行下执行php -v 命令来检查命令行下的PHP版本,很多人的PHP版本是PHP5,不满足QueryList4.0的依赖需求,所以composer就默认选择了安装QueryList3.0,导致按照QueryList4.0的文档来使用时报各种错误,比如get()方法未定义 希望我在这里强调之后不要有人再犯这个错!
#安装QueryList只需要执行下面这条命令就可以了:
composer require jaeger/querylist