相关动态
【Hadoop笔记_4】项目案例实战
2024-11-10 18:08

【Hadoop笔记_4】项目案例实战

  • 第一部分:Hadoop介绍及安装

  • 第二部分:HDFS

  • 第三部分:MapReduce

分析资料

  • 链接:https://pan.baidu.com/s/1sn9uRWi3Rhl4GL4g04Tv5w 提取码:zidg

6.1 项目开发流程

在这里插入图片描述

6.2 项目任务

6.2.1 合并小文件

说明

  • 由于在网络上挖掘下来的数据可能不止一个文件,而对每一个小文件进行MapReduce分析则需要分成等数量的块,很可能会对mapreduce造成很大的压力,所以在之前根据需求有必要进行一个简单的文件合并

代码

FirstStep.java
 
6.2.2 完成网站KPI指标的统计

说明

  • KPI:关键业绩指标
  • 我们可以通过KPI看出这个网站的经营状况
  • 这里我们统计和
1、页面访问量统计

代码

LogEntity.java
 
WebVisitsNumsJob.java / WebVisitsNumsMapper.java / WebVisitsNumsReduce.java
 
2、页面访问量统计数据写到MySQL数据库中

代码

LogWritable.java
 
MRToMysqlMapper.java / MRToMysqlJob.java
 
3、页面独立IP的访问量统计

说明

  • 独立IP,即统计每个IP的访问量

代码

LogEntity.java
 
AloneIPVisitsNumsMapper.java / AloneIPVisitsNumsCombiner.java
 
AloneIPVisitsNumsReduce.java / StringSameCount.java
 
AloneIPVisitsNumsJob.java
 
4、页面独立IP的访问量统计写到MySQL中
AloneIpWritable.java
 
MRToMysqlMapper.java / MRToMysqlJob.java
 

6.2.3 在网页上显示 网页访问量统计的top5
1、MVC框架说明

M:module,业务模型,用于提供数据

V:view,视图、用户界面,用于显示数据

C:controller,控制器、分发,用于分发请求

2、新建Web项目

之前已经使用分析出了结果,并将数据写入到了中,现在如果要将数据显示到网页上就得新建一个web项目

  1. 新建一个web项目-

  2. 设置为3.0即可

  3. 一直,最后勾选然后即可。

3、项目结构

在这里插入图片描述

4、代码
1、实体类
 
2、工具类
 
3、Dao层
 
 
4、控制层
 
5、页面
 

6.2.4 在网页上显示 独立Ip访问量统计的Top10

说明

  • 前面实现了的显示,所以这里只需要在其基础上添上几笔
1、实体类
 
2、工具类
 
3、Dao层
 
4、控制层
 
5、页面
 

6.2.5 每天最高访问量
1、MapReduce统计
 
2、写出到MySQL中
 
 
3、显示到页面中

这里和前面一样,只需要添加一些类就可以了

1、实体类
 
2、dao层
 
3、控制层
 
4、页面
 

6.2.6 统计用户每小时的页面访问量(PV,page view

说明

  • 统计24小时类各个小时 页面的访问量
1、MR统计每个小时的访问量
 
2、录入到MySQL中
  • 建表
  • 创建序列化类
  • MR写出数据
 
 
3、显示到页面中
1、实体类
 
2、dao层
 
3、控制层
 
4、页面
 

6.2.7 统计用户的访问设备

说明:

  • 统计用户访问页面使用的设备
1、MR统计各个访问记录使用的设备,并统计相同设备的数量
 
2、MR录入到MySQL中
 
 
3、显示到页面中
1、实体类
 
2、dao层
 
3、控制层
 
4、页面
 

使用技巧

最新文章
百度竞价的价格排名如何查看?切实有效的查询途径
百度竞价的价格排名如何查看?切实有效的查询途径:百度推广账户后台中关键词的价格近似于真实出价的价格,而且在账户的后台,存
防止人肉搜索/保护个人隐私,Google Voice教程/GV号小白使用经验分享
    最近一段时间,大家上网越来越注重个人隐私了,我当然也一样。    就在今年早些时候,我微博账号被冻结,创建新号的
掌握百度收录规则:优质内容与创新性助力网站成功收录
百度收录有其特定的规则,这对网站制作人员和内容制作者来说极为关键。掌握这些规则,能让更多人的目光落在自己的网页或文章上。
搜狐简单AI:开启AI绘画和文生图的新时代,提升创作效率
在一个充满竞争的数字时代,许多创作者深感压力,尤其是那些需要频繁生产高质量内容的个体。在这样的背景下,AI技术的崛起为创造
AI大模型与网球运动结合的应用场景及案例分析
        AI大模型与网球运动结合的未来前景是广阔的,它不仅能够提升运动员的训练和比赛表现,还能改善教练
最值得一看的精品网站之一,你绝不能错过!
在现代网络文学的浪潮中,精品小说层出不穷,吸引了无数读者的目光。推荐几部不可错过的网络佳作:首先是《全职高手》,讲述了电
郑州SEO优化攻略,揭秘助力企业网络飞跃的策略精髓
郑州SEO网络优化推广,为企业提供专业网络策略,提升网站排名,增强品牌曝光度。通过精准关键词、高质量内容、优化用户体验,助
揭秘网站刷关键词排名软件,效果与风险并存
随着互联网的飞速发展,网络营销已经成为企业推广产品和服务的重要手段,在众多网络营销策略中,提高网站在搜索引擎中的关键词排
科大讯飞AI智能写作:全方位助力文案创作与优化,解决多种写作需求
在数字化浪潮的推动下智能写作成为了提升工作效率、优化内容品质的关键工具。科大讯飞智能写作以其强大的语言解决能力和丰富的创
支付宝小程序搜索排名优化,算法规则基础了解
小程序市场可谓是百花齐放,争奇斗艳。小程序搜索排名优化则为小程序获利提供了强大的支持。做优化首先要知道平台的规则&#
相关文章