重庆理工大学学报(自然科学)

• •    

基于Hadoop的数据仓库构建模式研究

王缓缓,郭敬义,张警灿,等   

  • 出版日期:2015-07-25 发布日期:2015-07-15

  • Online:2015-07-25 Published:2015-07-15

摘要: 针对目前基于Hadoop的数据仓库一般采用“一对一”的模式或方法构建的情况,首先通过实例分析其不足之处;然后借鉴软件工程中的“生成器”设计模式的思想,提出一种Hadoop数据仓库的构建模式,称为“元数据驱动的生成器模式”,用于构建基于Hadoop的数据仓库,即ETL过程。该模式具有两点优势:一是由元数据驱动,充分发挥了关系数据库管理系统对元数据操作的效率优势;二是识别了“通用知识”和“具体对象知识”两类知识,并在对知识的分类基础上设计和实现ETL过程,消除了“一对一”模式下大量不必要的重复操作。