[1]宋春红,王佳斌,郑力新.采用多叉树模型数据迁移算法的设计与实现[J].华侨大学学报(自然科学版),2018,39(6):932-936.[doi:10.11830/ISSN.1000-5013.201610016]
　SONG Chunhong,WANG Jiabin,ZHENG Lixin.Design and Implementation of Data Migration Algorithm Using Multi Fork Tree[J].Journal of Huaqiao University(Natural Science),2018,39(6):932-936.[doi:10.11830/ISSN.1000-5013.201610016]
点击复制

采用多叉树模型数据迁移算法的设计与实现()
分享到：

《华侨大学学报（自然科学版）》[ISSN:1000-5013/CN:35-1079/N]

卷:
第39卷
期数:
2018年第6期
页码:
932-936
栏目:
出版日期:
2018-11-20

文章信息/Info

Title:
Design and Implementation of Data Migration Algorithm Using Multi Fork Tree
文章编号:
1000-5013(2018)06-0932-05
作者:
宋春红1;  王佳斌1;  郑力新2
1. 华侨大学 工学院, 福建 泉州 362021;2. 华侨大学 工业智能化技术与系统福建省高校工程研究中心, 福建 泉州 362021
Author(s):
SONG Chunhong1;  WANG Jiabin1;  ZHENG Lixin2
1. College of Engineering, Huaqiao University, Quanzhou 362021, China; 2. Industrial Intelligent Technology and System Engineering Research Center of Fujian Province Colleges and Universities, Huaqiao University, Quanzhou 362021, China
关键词:
关系型数据库;  非关系型数据库;  数据迁移;  多叉树模型;  Sqoop
Keywords:
relational database;  nosql database;  data migration;  multi-fork tree model;  Sqoop
分类号:
TP31
DOI:
10.11830/ISSN.1000-5013.201610016
文献标志码:
A
摘要:
针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.
Abstract:
In order to solve the issues on of low migration efficiency about the historical data from traditional relation database to nosql database, the multi-fork tree model is proposed to reconstruct the historical data storage model. Then analyzed the relationship between each table node based on four migration rules. Finally the migration algorithm is derived to complete the automatic migration of the storage model and historical data in the relational database. The algorithm has a certain versatility that is not restricted by the storage mode of source database. Data migration experiments verify that the migration algorithm based on the multi-fork tree has greatly improved the query performance compared with the apache official tool Sqoop.

参考文献/References:

[1] HE Jianke.大并发大数量中的MYSQL瓶颈与NOSQL介绍[EB/OL].[2013-06-09] .http://hejianke83.blog.163.com/blog/static/.05/.
[2] 张华强.关系型数据库与NoSQL数据库[J].电脑知识与技术,2011,20(7):4802-4804.
[3] 覃雄派,王会举,杜小勇,等.大数据分析: RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.
[4] 王珊,王会举,覃雄派,等.架构大数据: 挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.
[5] VORA M N.Hadoop-HBase for large-scale data[C]//InternationalConference on Computer Science and NetworkTechnology.[S.l.]:IEEE Press,2011.
[6] NAHEMAN W,WEI J.Review of NoSQL databases and performance testing on HBase[C]//International Conference on MechatronicSciences, Electric Engineering and Computer.[S.l.]:IEEE Press,2013.
[7] Sqoop官网.Apache software foundation[EB/OL].[2016-11-23] .http://sqoop.apache.org/.
[8] RODEK L,POULSEN H F.A storage model of equipment data based on HBase[J].Applied Mechanics and Materials,2015,713/714/715(2):2418-2422.
[9] 宋春红,王佳斌,郑力新.一种MySQL到HBase的迁移策略的研究与实现[J].微型机与应用,2016,35(13):83-85.
[10] 百度百科.数据库范式[EB/OL].[2016-09-16] .http://baike.so.com/doc/4367825-4573590.html.
[11] 刘小晶,杜选.数据结构: Java语言描述[M].北京:清华大学出版社,2014:149-189.
[12] 刘增杰,张少君.MySQL5.5从零开始学[M].北京:清华大学出版社,2012:340-402.
[13] 罗林球,孟琦,李晓,等.异构数据库迁移的设计与实现[J].计算机应用研究,2006,23(12):233-235.DOI:10.3969/j.issn.1001-3695.2006.12.077.
[14] 方英兰,陈兵辉,唐苗.基于JDBC的优购数据库迁移系统的设计与实现[J].北方工业大学学报,2013,25(1):5-10.DOI:10.3969/j.issn.1001-5477.2013.01.002
[15] XU Junwu,LIANG Junling.Research on a distributed storage application with HBase[J].Advanced Materials Research,2013,631-632:1265-1269.DOI:10.4028/www.scientific.net/AMR.631-632.1265
[16] DIMIDUK N,KAURANA A,谢磊.HBase实战[M].北京:人民邮电出版社,2013:3-4,29-31.
[17] 蒋燚峰.HBase管理指南[M].北京:人民邮电出版社.2013:82-85.
[18] 代志远,刘佳,蒋杰.HBase权威指南[M].北京:人民邮电出版社,2013:339-364.

备注/Memo

备注/Memo:
收稿日期: 2016-10-12
通信作者: 王佳斌(1974-),男,副教授,主要从事大数据、物联网和嵌入式系统开发的研究.E-mail:fatwang@hqu.edu.cn.
基金项目: 国家自然科学基金青年科学基金资助项目(61505059); 福建省泉州市科技计划项目(2013Z12)
更新日期/Last Update: 2018-11-20