基于Hadoop的并行数据分析系统.pdf

基于Hadoop的并行数据分析系统.pdf

(0个评分)

文集编号: 2015012706184

我要下载 收藏文档 0 学分

文档介绍

提出了一款基于Hadoop的并行数据分析系统———PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和“多源最短路径”算法的原理和实现,其中,提出的“消息传递模型”能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行K均值和决策树算法实现的“套餐推荐”,利用并行PageRank算法实现的“营销关键点发现”等;最后通过性能测试,说明该系统适合高效地处理大规模数据。

文档标签: 通信技术
分享文档17 联系TA