重庆理工大学学报(自然科学)

• •    

基于谓词的大数据抽样技术研究

姜群,傅瑜,李文生,等   

  • 出版日期:2017-08-25 发布日期:2017-09-01

  • Online:2017-08-25 Published:2017-09-01

摘要: 为解决大数据抽样问题,采用MapReduce产生内容满足给定谓词的固定规模样本, 并扩展了默认的Hadoop[1]设置,使其支持作业按需动态管理其资源消耗以解决MapReduce进 程中的资源浪费问题。实验结果证明:本文所提策略的执行性能优于默认的Hadoop,从而证明 MapReduce解决大数据抽样问题的可行性和有效性。