**项目四：日志分析系统** **项目名称：** 吾爱破解论坛日志分析系统 **开发环境：** eclipse+mysql+maven+jdk+svn **系统架构：** hadoop+zookeeper+flume+hive+hbase+sqoop **项目描述：** 通过对吾爱破解网站的（http://www.52pojie.cn/）日志进行分析，计算网站关键指标，其中关键性指标有，浏览量:页面浏览量即为PV(Page View)，是指所有用户浏览页面的总和，用户每打开一个页面就被记录1 次。注册用户数:对系统每天的注册用户数进行统计。独立ip数：从某种程度上来说，独立IP的多少，是衡量网站推广活动好坏最直接的数据。跳出率\=跳出数/PV：跳出率是非常重要的访客黏性指标，它显示了访客对网站的兴趣程度：跳出率越低说明流量质量越好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。板块访问量pv，和板块独立ip访问量。 **责任描述** **:** 1\. 参与前期项目分析，得出网站的关键性能指标 2\. 通过写mapreduce任务对数据进行清洗 3\. 负责网站的浏览量统计，用户注册统计等模块的设计 **开发步骤****：** 1\. 使用flume把日志数据导入到hdfs中 2\. 明细日志使用Hbase存储 3\. 通过mapreduce对数据进行清洗 4\. 使用hive进行数据的多维分析 5\. 把hive分析结果使用sqoop导出到mysql中 6\. 提供图表和表格进行数据展示