[1]刘佳耀,王佳斌.Slope One-BI算法的改进及其在大数据平台的并行化[J].华侨大学学报(自然科学版),2019,40(6):786-792.[doi:10.11830/ISSN.1000-5013.201812074]
　LIU Jiayao,WANG Jiabin.Improved Slope One-BI Algorithm and Parallelizationon Big Data Platform[J].Journal of Huaqiao University(Natural Science),2019,40(6):786-792.[doi:10.11830/ISSN.1000-5013.201812074]
点击复制

Slope One-BI算法的改进及其在大数据平台的并行化()
分享到：

《华侨大学学报（自然科学版）》[ISSN:1000-5013/CN:35-1079/N]

卷:
第40卷
期数:
2019年第6期
页码:
786-792
栏目:
出版日期:
2019-11-20

文章信息/Info

Title:
Improved Slope One-BI Algorithm and Parallelizationon Big Data Platform
文章编号:
1000-5013(2019)06-0786-07
作者:
刘佳耀;  王佳斌
华侨大学 工学院, 福建 泉州 362021
Author(s):
LIU Jiayao;  WANG Jiabin
College of Engineering, Huaqiao University, Quanzhou 362021, China
关键词:
Slope One-BI算法;  聚类;  Spark;  推荐算法
Keywords:
Slope One-BI algorithm;  clustering;  Spark;  recommendation algorithm
分类号:
TP391.1
DOI:
10.11830/ISSN.1000-5013.201812074
文献标志码:
A
摘要:
针对大数据时代下Slope One 算法推荐效率不高的问题,提出结合聚类和动态K近邻的双极Slope One 推荐算法.首先,结合Canopy和K-medoids的聚类算法把相似的用户汇聚到一起.然后,在所属聚类中,根据用户之间相似度的具体情况动态地寻找最近邻,并用Slope One-BI算法推荐预测.最后,在Spark平台上实现并行化.在电影数据集上的实验结果表明:基于Spark平台的优化算法与其他协同过滤算法相比,推荐精度具有明显优势.
Abstract:
Since it is not so efficient to recommend the method of Slope One algorithm with the linear regression model to solve the problem caused by the sparse data is proposed. Firstly, the clustering algorithm combining Canopy and K-medoids could bring similar pooled customers. Secondly, the nearest neighbor is dynamically searched in the affiliated clustering according to the specific situation of similarity between costumers by using the Slope One-BI algorithm to predict.Finally, parallelization is implemented on the Spark platform. The experiment shows that, comparing with the other Slope One algorithm by the film data set, the optimized algorithm based on Spark platform has improved the precision of recommendation.

参考文献/References:

[1] AMATRIAIN X.Past, present, and future of recommender systems: An industry perspective[C]//International Conference on Intelligent User Interfaces.[S.l.]:ACM,2016:1.DOI:10.1145/2856767.2856798.
[2] 项亮.推荐系统实践[M].北京:人民邮电出版社,2012.
[3] 孙丽梅,李悦,曹科研.简化的Slope One在线评分预测算法[J].计算机应用,2018,38(2):497-502.DOI:10.11772/j.issn.1001-9081.2017082493.
[4] 杨阳,向阳,熊磊.基于矩阵分解与用户近邻模型的协同过滤推荐算法[J].计算机应用,2012,32(2):395-398.DOI:10.3724/SP.J.1087.2012.00395.
[5] 黄皓璇,邢延.基于用户兴趣变化的Slope One协同过滤推荐算法[J].工业控制计算机,2017,30(7):112-113,115.DOI:10.3969/j.issn.1001-182X.2017.07.048.
[6] 龚敏,邓珍荣,黄文明.基于用户聚类与Slope One填充的协同推荐算法[J].计算机工程与应用,2018,54(22):139-143.DOI:10.3778/j.issn.1002-8331.1707-0336.
[7] 马瑞敏,卞艺杰,陈超,等.基于Hadoop的电子商务个性化推荐算法: 以电影推荐为例[J].计算机系统应用,2015,24(5):111-117.
[8] WHITE T.Hadoop权威指南[M].3版.王海,等译.北京:清华大学出版社,2015:205-240.
[9] 闫永刚,马廷淮,王建.KNN分类算法的MapReduce并行化实现[J].南京航空航天大学学报,2013,45(4):550-555.DOI:10.3969/j.issn.1005-2615.2013.04.019.
[10] 李淋淋,倪建成,于苹苹,等.基于聚类和Spark框架的加权Slope One算法[J].计算机应用,2017,37(5):1287-1291,1310.DOI:10.11772/j.issn.1001-9081.2017.05.1287.
[11] 原福永,温志慧,梁顺攀,等.融合项目分类的加权Slope One算法[J].小型微型计算机系统,2017,38(9):2090-2095.DOI:10.3969/j.issn.1000-1220.2017.09.032.
[12] 尹成祥,张宏军,张睿,等.一种改进的K-Means算法[J].计算机技术与发展,2014,46(1):30-33.
[13] 徐鹏程,王诚.K-Means算法改进及基于Spark计算模型的实现[J].南京邮电大学学报(自然科学版),2017,37(4):113-118.DOI:10.14132/j.cnki.1673-5439.2017.04.018.
[14] 卡劳,肯维尼斯科,温德尔,等.Spark快速大数据分析[M].王道远,译.北京:人民邮电出版社.
[15] 毛典辉.基于MapReduce的Canopy-Kmeans改进算法[J].计算机工程与应用,2012,48(27):22-26.DOI:10.3778/j.issn.1002-8331.2012.27.005.
[16] 王振军,黄瑞章.基于Spark的矩阵分解与最近邻融合的推荐算法[J].计算机系统应用,2017,26(4):124-129.DOI:10.15888/j.cnki.csa.005743.
[17] 汪永旗,王惠娇.旅游大数据的MapReduce客户细分应用[J].华侨大学学报(自然科学版),2015,36(3):292-296.DOI:10.11830/ISSN.1000-5013.2015.03.0292.
[18] 樊晓冬,王佳斌,蔡灿辉.ZigBee室内定位算法中数据预处理[J].华侨大学学报(自然科学版),2018,39(2):286-291.DOI:10.11830/ISSN.1000-5013.201601053.
[19] 刘佳耀,王佳斌.基于Spark的K近邻ALS的推荐算法[J].电脑知识与技术,2018,14(11):6-7,10.DOI:10.140 04/j.cnki.ckt.2018.1179.

相似文献/References:

[1]简彩仁,陈晓云.局部和稀疏保持无监督特征选择法[J].华侨大学学报(自然科学版),2015,36(1):111.[doi:10.11830/ISSN.1000-5013.2015.01.0111]
　JIAN Cai-ren,CHEN Xiao-yun.Unsupervised Feature Selection Using Locality and Sparsity Preserving[J].Journal of Huaqiao University(Natural Science),2015,36(6):111.[doi:10.11830/ISSN.1000-5013.2015.01.0111]
[2]汪永旗,王惠娇.旅游大数据的MapReduce客户细分应用[J].华侨大学学报(自然科学版),2015,36(3):292.[doi:10.11830/ISSN.1000-5013.2015.03.0292]
　WANG Yong-qi,Wang Hui-jiao.Application of Tourist Segmentation Based on MapReduce under Big Data of Tourism[J].Journal of Huaqiao University(Natural Science),2015,36(6):292.[doi:10.11830/ISSN.1000-5013.2015.03.0292]
[3]刘兴云,戴声奎.结合特征点匹配的在线目标跟踪算法[J].华侨大学学报(自然科学版),2018,39(3):461.[doi:10.11830/ISSN.1000-5013.201601022]
　LIU Xingyun,DAI Shengkui.Online Target Tracking Algorithm Based on Feature Point Matching[J].Journal of Huaqiao University(Natural Science),2018,39(6):461.[doi:10.11830/ISSN.1000-5013.201601022]
[4]李思纤,魏为民,楚雪玲,等.利用改进的超像素分割和噪声估计的图像拼接篡改定位方法[J].华侨大学学报(自然科学版),2020,41(2):237.[doi:10.11830/ISSN.1000-5013.201911010]
　LI Siqian,WEI Weimin,CHU Xueling,et al.Image Splicing Tampered Localization Method Using ImprovedSuperpixel Segmentation and Noise Estimation[J].Journal of Huaqiao University(Natural Science),2020,41(6):237.[doi:10.11830/ISSN.1000-5013.201911010]

备注/Memo

备注/Memo:
收稿日期: 2018-12-28
通信作者: 王佳斌(1974-),男,副教授,主要从事物联网、云计算、大数据、智能仪器的研究.E-mail:fatwang@hqu.edu.cn
基金项目: 国家自然科学基金青年科学基金资助项目(61505059); 福建省厦门市科技局产学研协同创新项目(3502Z20173046); 华侨大学研究生科研创新能力培养计划项目(1611422006)
更新日期/Last Update: 2019-11-20