hadoop大数据面试题库,QQ共同好友数据分析
hadoop大数据面试题库,QQ共同好友数据分析B:A C E KA:B C D F E O这里分析基于Hadoop相关技术实现逻辑。言归正传:以下是QQ好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友是单向的)
如下文章字数大约400字以及若干代码块,阅读时间需要20分钟左右。
这里所介绍的示例源自于一道面试题,
因直接粘贴逻辑影响格式,这里直接截图,如果有需要源码的人,可私信我。
对于共同好友的分析,常见于我们各个社交软件中,比如QQ等。
这里分析基于Hadoop相关技术实现逻辑。
言归正传:
以下是QQ好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友是单向的)
A:B C D F E O
B:A C E K
上述mapreduce执行完后,得到输出的文件如下:
【2】基于第一次执行完的文件,执行第二次mapreduce逻辑:
得到最终的结果文件为:
至此,得到结果。
下篇预告:Hadoop中重要的HDFS中元数据备份机制。
已上内容,纯属一家之言,因本人能力一般,见识有限,如有问题,请不吝指正,感谢。
相关技术内容会持续更新,大家可随时交流,欢迎关注本头条号