数据作为一种基础性与战略性资源得到了广泛认可，数据服务成为很多组织和机构日常运营中必不可少的重要环节。当下，数据质量在理论越来越受到关注，不仅是制约数据产业发展的关键问题，也是大数据应用研究中绕不开的重大问题。《大数据质量》汇集了国内外数据质量研究的经典理论、技术和方法，以及新的前沿发展趋势；首先介绍了传统数据质量研究的各种代表性成果，并在此基础上，分析大数据时代下数据质量面临的挑战，并详细介绍基于大数据的数据质量相关技术的实现；最后，通过一个实际案例，提出一套完整的大数据质量解决方案。 　　蔡莉，副教授，云南大学软件学院网络工程系副系主任，中国计算机学会西南网路与MIS专委会委员，昆明市仪器仪表学会理事。在软件学院工作期间，参与和主持省级和市级等教学和科研项目20余项，总计金额为200余万元。同时，在国际会议和国内核心期刊上发表30余篇论文，多篇被EI和ISTP检索。出版教材2部，拥有3个软件著作权。2004年获得IBM优秀教师奖，2008年获得IBM奖教金，2014年获得IBM产学合作专业综合改革项目支持。　　朱扬勇，复旦大学教授、博士生导师，数据科学研究中心主任、上海市政府信息化专家委员会专家。致力于数据科学与技术、数据挖掘及其应用等领域。主持过国家自然科学基金、国家863项目、上海市科委重点等多项数据挖掘领域的研究课题。 第1章理解数据质量1●1.1数据质量问题21.1.1数据质量带来的影响21.1.2影响数据质量的因素4●1.2数据质量概述71.2.1数据质量定义71.2.2大数据时代数据质量面临的挑战8●1.3数据质量与信息质量101.3.1从数据质量到信息质量的发展历程111.3.2数据质量与信息质量的区别与联系12参考文献14第2章数据质量标准17●2.1ISO 8000国际标准182.1.1ISO 8000的历史与现状182.1.2ISO/TS 8000100系列概述202.1.3ISO/TS 8000100主数据质量222.1.4ISO 22745： 2010概述24●2.2地理信息质量标准ISO 19100282.2.1地理信息数据质量312.2.2地理信息数据质量评价33●2.3统计数据质量标准352.3.1国际统计数据标准概述352.3.2IMF的数据公布通用标准（GDDS）362.3.3IMF的数据公布特殊标准（SDDS）38●2.4科学数据质量标准392.4.1科学数据标准规范392.4.2科学数据质量框架43参考文献44第3章数据分类及数据模型47●3.1数据类型及分类483.1.1数据类型483.1.2数据分类49●3.2结构化数据模型513.2.1概念模型513.2.2逻辑模型53●3.3半结构化和非结构化数据模型563.3.1XML语言573.3.2半结构化数据模型——数据和数据质量（D2Q）模型673.3.3非结构化数据模型——四面体模型71参考文献79第4章数据质量相关技术81●4.1数据集成824.1.1数据仓库的基本概念824.1.2数据仓库的体系架构834.1.3数据仓库的元数据87●4.2数据剖析894.2.1数据剖析的方法894.2.2数据剖析实例92●4.3数据清洁954.3.1数据清洁概述954.3.2“脏”数据的来源964.3.3数据清洁的原理与框架974.3.4数据清洁工具1004.3.5大数据环境下的数据清洁102●4.4数据溯源1054.4.1数据溯源的基本概念1054.4.2数据溯源的分类1064.4.3数据溯源模型1074.4.4数据溯源的方法1094.4.5数据溯源的应用1114.4.6大数据溯源111参考文献115第5章数据质量评估121●5.1数据质量维度1225.1.1数据质量维度定义1225.1.2常用的数据质量维度1235.1.3其他的数据质量维度1265.1.4质量维度度量127●5.2数据质量评估框架1305.2.1DQAF框架1315.2.2AIMQ框架1335.2.3DQA框架136●5.3数据质量评估方法1375.3.1定性评估1375.3.2定量评估1385.3.3综合评估140●5.4数据质量评估案例——媒体信息可信度质量评估1525.4.1背景概述1525.4.2媒体信息可信度评价指标体系1535.4.3媒体信息可信度的综合评价模型1545.4.4实验过程及结果分析160参考文献163第6章数据质量管理167●6.1质量管理1686.1.1质量管理发展历程1686.1.2全面质量管理170●6.2数据质量管理概述1716.2.1数据质量管理方法1726.2.2数据质量知识库管理1736.2.3MIT全面数据质量管理175●6.3数据质量管理团队建设1766.3.1任命首席数据官1776.3.2建立数据质量管理团队178●6.4质量管理成熟度模型1796.4.1信息质量管理成熟度模型1806.4.2数据质量管理成熟度模型181参考文献184第7章位置大数据中的质量研究187●7.1概述1887.1.1位置大数据的来源1887.1.2位置大数据的应用领域196●7.2位置大数据面临的质量问题1987.2.1GPS轨迹数据的质量问题1987.2.2签到数据的质量问题1997.2.3手机定位数据的质量问题2007.2.4智能公交IC卡数据的质量问题2017.2.5OSM地图数据的质量问题202●7.3位置大数据的质量评估模型2037.3.1GPS轨迹数据的质量评估模型2037.3.2签到数据的质量评估模型2057.3.3手机定位数据的质量评估模型2067.3.4OSM地图数据的质量评估模型2077.3.5基于云平台的位置大数据质量评估系统211●7.4位置大数据质量控制2147.4.1位置大数据清洁2147.4.2位置大数据质量控制2157.4.3OSM地图数据质量保证217参考文献221