1. 数据组织与管理1.1. 无关、错误的信息随之增长1.2. 数据管理包括对数据进行有效的收集、存储、处理和应用的过程1.3. 管理对象是数据生命周期所涉及的应用过程中描述构成应用系统构件属性的元数据1.3.1. 流程、文件、数据元、代码、规则、脚本、档案、模型、指标、物理表、ETL、运行状态1.4. 通常数据按照一定的组织形式和规则进行存储和处理以实现有效的数据管理1.5. 数据组织具有一个层层相连的层次体系1.5.1. 位、字符、数据元、记录、文件、数据库1.5.2. 记录是逻辑上相关的数据元组合1.5.3. 文件是逻辑上相关的记录集合1.5.4. 数据库是一种作为计算机系统资源共享的数据集合1.6. 文件存储1.6.1. 电子表单1.6.1.1. Spreadsheet1.6.1.2. 是多功能的数据组织形式1.6.1.3. 被广泛使用于办公自动化、商业和自然科学领域的数据组织与管理中1.6.1.4. 几乎所有的办公软件如Microsoft Excel、Tableau等都支持标准电子表单文件的导入和导出1.6.1.5. 主要缺点是缺少类型和元数据1.6.1.5.1. 在使用时需要预先给出对每个数据项的语义解释1.7. 结构化文件格式1.7.1. XMLExtensible Markup Language可扩展标记语言是其中的典型代表1.7.2. 科学数据格式*充分考虑了实验或测量数据的性能需求适用于高分辨率、高通量的传感器数据1.7.3. VOTable1.7.3.1. 一种由国际虚拟天文台联盟IVOA团队制定的XML数据格式1.7.3.2. 统一了记录天文星表等表列数据的格式1.7.4. NetCDF1.7.4.1. 网络通用数据格式1.7.4.2. 由美国大学大气研究协会针对科学数据的特点开发的*面向数组型并适合于网络共享的数据的描述和编码标准1.7.4.3. 被广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域1.7.5. HDF1.7.5.1. 层次型数据结构1.7.5.2. 由美国国家超级计算应用中心创建、以满足不同群体的科学家对不同工程项目领域之需的多对象文件格式1.8. 数据库1.8.1. 数据组织的高级形式是数据库即存储在计算设备内、有组织的、共享的、统一管理的数据集合2. 数据整合与集成2.1. 对于来自不同数据源的数据来说它们具有高度异构的特点2.1.1. 不同的数据模型2.1.2. 不同的数据类型2.1.3. 不同的命名方法2.1.4. 不同的数据单元等2.2. 数据整合的常用方式2.2.1. 物化式2.2.1.1. 查询之前涉及的数据块被实际交换和存储到*同一物理位置2.2.1.2. 物化式数据整合需要对数据进行物理移动即从源数据库移动到其他位置2.2.2. 虚拟式2.2.2.1. 数据并没有从数据源中移出而是在不同的数据源之上增加转换策略并构建一个虚拟层以提供统一的数据访问接口2.2.2.2. 使用中间件技术在中间件提供的虚拟数据层之上定义数据映射关系2.2.2.3. 虚拟层还负责将不同数据源的数据在语义上进行融合即在查询时做到语义一致2.3. 交互分析和可视数据要求数据整合采用集中式、虚拟式的模式2.4. 更好的方式是基于计算查询理念的语义整合利用应用领域的概念视图而不是数据源的普通描述以提供概念数据的透明性2.5. 数据集成2.5.1. 指数据库应用中结合不同资源的数据并为用户提供数据集合的统一访问其涵盖范围要比数据整合广2.6. 数据整合与数据联邦Data Federation区别2.6.1. 数据整合关注对众多独立和异构的数据源提供统一和透明的访问使得原本无法被单数据源支持的查询表达获得支持因此需要一个实际的物理数据源作为统一数据视图的数据来源2.6.2. 数据联邦则提供了一种逻辑上统一、实际物理位置分布在多个数据源中的数据的集成3. 数据库与数据仓库3.1. 数据库是数据的集合并且同时包含对数据的相关组织和操作3.1.1. 数据库模型设计3.1.2. 数据分析支持3.1.3. 并发和容错3.1.4. 速度和存储容量3.2. 数据库结构的基础是数据模型它是数据描述、数据联系、数据域以及一致性约束的集合3.3. 事务的ACID特性3.3.1. 原子性Atomic3.3.2. 一致性Consistent3.3.3. 隔离性Isolated3.3.4. 持久性Durable3.4. 交互式数据可视化应用通常需要将数据存储于内存以保证足够的性能3.5. SQL支持的数据类型是存储导向而不是语义导向的3.6. 关系型数据库中的事件通知通常用触发器机制实现3.7. 分析型数据库是面向分析应用的数据库系统主要提供数据的在线统计、在线分析、即时查询等操作3.8. NoSQL数据库3.8.1. 被认为是不同于传统关系型数据库的数据库管理系统的*总称3.8.2. 能够满足对数据的高并发读写、高效存储和访问、数据库高扩展性和高可用性等需求3.8.3. 为 SNS网站等规模大、并发数高的应用提供了符合其性能标准的解决方案3.8.4. 文档存储如CouchDB,MongoDB3.8.5. 面向网络的存储如Neo4j3.8.6. 键-值存储如Redis,Memcached3.8.7. 混合存储3.9. 现有一些数据可视化应用开始直接针对关系型数据库进行可视化并且拥有简单的统计、分析功能3.10. 数据仓库3.10.1. 指“面向主题的、集成的、与时间相关的、主要用于存储的数据集合3.10.2. 支持管理部门的决策过程3.10.3. 目的*是构建面向分析的集成化数据环境为分析人员提供决策支持3.10.4. 特点3.10.4.1. 数据仓库通常围绕某个应用目标、应用领域或使用者所感兴趣的内容制定包含了一些相关的、由外部产生的数据3.10.4.2. 数据仓库可以不断更新和增长这意味着数据可以被源源不断地积累起来从而允许用户分析数据的趋势变化、模式和相互关系3.10.4.3. 数据仓库为复杂的决策支持查询进行了大量优化3.10.4.4. 数据仓库的不同目标和数据模型也同时引发了不同于传统数据库的技术、方法论和方法的各种研究3.10.4.5. 对于结构化或非结构化数据数据仓库都能有效地进行处理并且还能够提供两种数据的整合功能4. 数据分析与挖掘4.1. 数据用于记录事实是实验、测量、仿真、观察、调查等的结果4.2. 数据分析4.2.1. 指组织有目的地采集数据、详细研究和概括总结数据从中提取有用信息并形成结论的过程4.2.2. 目的是从一堆杂乱无章的数据中集中、萃取和提炼出信息探索数据对象的内在规律4.2.3. 任务分解为定位、识别、区分、分类、聚类、分布、排列、比较、内外连接比较、关联、关系等活动4.2.4. 基于数据可视化的分析任务则包括*识别、决定、可视化、比较、推理、配置和定位4.2.5. 基于数据的决策则可分解为*确定目标、评价可供选择方案、选择目标方案、执行方案等4.2.6. 被分成描述性统计分析、探索式数据分析和验证性数据分析三类4.2.6.1. 探索式数据分析主要强调从数据中寻找出之前没有发现过的特征和信息4.2.6.2. 验证性数据分析则强调通过分析数据来验证或证伪已提出的假说4.2.6.3. 统计分析中的传统数据分析工具包括排列图、因果图、分层法、调查表、散布图、直方图、控制图等4.2.7. 数据分析从统计学中发展而来在各行业中体现出极大的价值4.2.8. 从流程上看数据分析以数据为输入处理完毕后提炼出对数据的理解4.2.9. 不仅有助于用户选择正确的预处理和处理工具还可以提高用户识别复杂数据特征的能力4.3. 面向大型或复杂的异构数据集数据分析的挑战是结合数据组织和管理的特点考虑数据可视化的交互性和操控性要求需求4.4. 部分数据分析方法采取增量式的策略但不提供给用户任何中间结果阻碍了用户对数据分析中间结果的理解和对分析过程的干预4.4.1. 解决方案之一是设计标准化协议4.5. 可预测模型标记语言PMML4.6. 数据挖掘4.6.1. 数据挖掘模型Data Mining Model4.6.2. 在没有明确假设的前提下去挖掘知识所得到的信息具有未知、有效和实用三个特征4.6.3. 数据挖掘的任务往往是预测性的而非传统的描述性任务4.6.4. 数据挖掘并不能替代传统的统计分析和探索式数据分析技术4.6.5. 关注模型的选择和参数的调节4.6.6. 数据挖掘和联机分析处理都致力于模式发现和预测具有一定的*互补性4.7. 联机分析处理4.7.1. OLAP4.7.2. 面向分析决策的方法4.7.2.1. 是交互式统计分析的高级形式4.7.3. 传统的数据库查询和统计分析工具负责提供数据库中的内容信息而联机分析处理则提供基于数据的假设验证方法4.7.4. 一种交互式探索大规模多维数据集的方法4.7.4.1. 发展趋势是融合数据可视化与数据挖掘方法转变为数据的在线可视分析方法4.7.5. 将表单数据转换为多维数组需要两个步骤4.7.6. 数据立方4.7.6.1. 是数据的一个容许各种聚合操作的多维表示4.7.6.2. 数据立方可用于记录包含数十个维度、数百万数据项的数据集并允许在其基础上构建维度的层次结构4.7.7. 被广泛看成一种支持策略分析和决策制定过程的方法与数据仓库、数据挖掘和数据可视化的目标有很强的相关性4.7.8. 切片Slicing指从数据立方中选择在一个或多个维度上具有给定的属性值的数据项4.7.9. 切块Dicing指从数据立方中选择属性值位于某个给定范围的数据子集4.7.10. 两个操作都等价于在整个数组中选取子集4.7.11. 汇总和钻取Roll-up and Drill-down—属性值通常具有某种层次结构4.7.12. Polaris4.7.12.1. 由斯坦福大学开发的用于分析多维数据立方的可视化工具4.7.12.2. 针对基于表格的数据进行可视化及分析可以认为是对表格数据诸如电子表格数据、关系型数据库数据等的一种可视化扩展4.8. 探索式数据分析4.8.1. 一种有别于统计分析的新思路不等同于以统计数据可视化为主的统计图形方法4.8.2. 探索式数据分析和统计分析、贝叶斯分析也有很大不同4.8.3. 统计分析的流程是问题数据模型分析结论4.8.4. 贝叶斯分析的流程则是问题数据模型先验分布分析结论4.8.5. 探索式数据分析的流程是问题数据分析模型结论4.8.6. 将聚类和异常检测看成探索式过程 读数据可视化09数据（中）
1. 数据组织与管理1.1. 无关、错误的信息随之增长1.2. 数据管理包括对数据进行有效的收集、存储、处理和应用的过程1.3. 管理对象是数据生命周期所涉及的应用过程中描述构成应用系统构件属性的元数据1.3.1. 流程、文件、数据元、代码、规则、脚本、档案、模型、指标、物理表、ETL、运行状态1.4. 通常数据按照一定的组织形式和规则进行存储和处理以实现有效的数据管理1.5. 数据组织具有一个层层相连的层次体系1.5.1. 位、字符、数据元、记录、文件、数据库1.5.2. 记录是逻辑上相关的数据元组合1.5.3. 文件是逻辑上相关的记录集合1.5.4. 数据库是一种作为计算机系统资源共享的数据集合1.6. 文件存储1.6.1. 电子表单1.6.1.1. Spreadsheet1.6.1.2. 是多功能的数据组织形式1.6.1.3. 被广泛使用于办公自动化、商业和自然科学领域的数据组织与管理中1.6.1.4. 几乎所有的办公软件如Microsoft Excel、Tableau等都支持标准电子表单文件的导入和导出1.6.1.5. 主要缺点是缺少类型和元数据1.6.1.5.1. 在使用时需要预先给出对每个数据项的语义解释1.7. 结构化文件格式1.7.1. XMLExtensible Markup Language可扩展标记语言是其中的典型代表1.7.2. 科学数据格式*充分考虑了实验或测量数据的性能需求适用于高分辨率、高通量的传感器数据1.7.3. VOTable1.7.3.1. 一种由国际虚拟天文台联盟IVOA团队制定的XML数据格式1.7.3.2. 统一了记录天文星表等表列数据的格式1.7.4. NetCDF1.7.4.1. 网络通用数据格式1.7.4.2. 由美国大学大气研究协会针对科学数据的特点开发的*面向数组型并适合于网络共享的数据的描述和编码标准1.7.4.3. 被广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域1.7.5. HDF1.7.5.1. 层次型数据结构1.7.5.2. 由美国国家超级计算应用中心创建、以满足不同群体的科学家对不同工程项目领域之需的多对象文件格式1.8. 数据库1.8.1. 数据组织的高级形式是数据库即存储在计算设备内、有组织的、共享的、统一管理的数据集合2. 数据整合与集成2.1. 对于来自不同数据源的数据来说它们具有高度异构的特点2.1.1. 不同的数据模型2.1.2. 不同的数据类型2.1.3. 不同的命名方法2.1.4. 不同的数据单元等2.2. 数据整合的常用方式2.2.1. 物化式2.2.1.1. 查询之前涉及的数据块被实际交换和存储到*同一物理位置2.2.1.2. 物化式数据整合需要对数据进行物理移动即从源数据库移动到其他位置2.2.2. 虚拟式2.2.2.1. 数据并没有从数据源中移出而是在不同的数据源之上增加转换策略并构建一个虚拟层以提供统一的数据访问接口2.2.2.2. 使用中间件技术在中间件提供的虚拟数据层之上定义数据映射关系2.2.2.3. 虚拟层还负责将不同数据源的数据在语义上进行融合即在查询时做到语义一致2.3. 交互分析和可视数据要求数据整合采用集中式、虚拟式的模式2.4. 更好的方式是基于计算查询理念的语义整合利用应用领域的概念视图而不是数据源的普通描述以提供概念数据的透明性2.5. 数据集成2.5.1. 指数据库应用中结合不同资源的数据并为用户提供数据集合的统一访问其涵盖范围要比数据整合广2.6. 数据整合与数据联邦Data Federation区别2.6.1. 数据整合关注对众多独立和异构的数据源提供统一和透明的访问使得原本无法被单数据源支持的查询表达获得支持因此需要一个实际的物理数据源作为统一数据视图的数据来源2.6.2. 数据联邦则提供了一种逻辑上统一、实际物理位置分布在多个数据源中的数据的集成3. 数据库与数据仓库3.1. 数据库是数据的集合并且同时包含对数据的相关组织和操作3.1.1. 数据库模型设计3.1.2. 数据分析支持3.1.3. 并发和容错3.1.4. 速度和存储容量3.2. 数据库结构的基础是数据模型它是数据描述、数据联系、数据域以及一致性约束的集合3.3. 事务的ACID特性3.3.1. 原子性Atomic3.3.2. 一致性Consistent3.3.3. 隔离性Isolated3.3.4. 持久性Durable3.4. 交互式数据可视化应用通常需要将数据存储于内存以保证足够的性能3.5. SQL支持的数据类型是存储导向而不是语义导向的3.6. 关系型数据库中的事件通知通常用触发器机制实现3.7. 分析型数据库是面向分析应用的数据库系统主要提供数据的在线统计、在线分析、即时查询等操作3.8. NoSQL数据库3.8.1. 被认为是不同于传统关系型数据库的数据库管理系统的*总称3.8.2. 能够满足对数据的高并发读写、高效存储和访问、数据库高扩展性和高可用性等需求3.8.3. 为 SNS网站等规模大、并发数高的应用提供了符合其性能标准的解决方案3.8.4. 文档存储如CouchDB,MongoDB3.8.5. 面向网络的存储如Neo4j3.8.6. 键-值存储如Redis,Memcached3.8.7. 混合存储3.9. 现有一些数据可视化应用开始直接针对关系型数据库进行可视化并且拥有简单的统计、分析功能3.10. 数据仓库3.10.1. 指“面向主题的、集成的、与时间相关的、主要用于存储的数据集合3.10.2. 支持管理部门的决策过程3.10.3. 目的*是构建面向分析的集成化数据环境为分析人员提供决策支持3.10.4. 特点3.10.4.1. 数据仓库通常围绕某个应用目标、应用领域或使用者所感兴趣的内容制定包含了一些相关的、由外部产生的数据3.10.4.2. 数据仓库可以不断更新和增长这意味着数据可以被源源不断地积累起来从而允许用户分析数据的趋势变化、模式和相互关系3.10.4.3. 数据仓库为复杂的决策支持查询进行了大量优化3.10.4.4. 数据仓库的不同目标和数据模型也同时引发了不同于传统数据库的技术、方法论和方法的各种研究3.10.4.5. 对于结构化或非结构化数据数据仓库都能有效地进行处理并且还能够提供两种数据的整合功能4. 数据分析与挖掘4.1. 数据用于记录事实是实验、测量、仿真、观察、调查等的结果4.2. 数据分析4.2.1. 指组织有目的地采集数据、详细研究和概括总结数据从中提取有用信息并形成结论的过程4.2.2. 目的是从一堆杂乱无章的数据中集中、萃取和提炼出信息探索数据对象的内在规律4.2.3. 任务分解为定位、识别、区分、分类、聚类、分布、排列、比较、内外连接比较、关联、关系等活动4.2.4. 基于数据可视化的分析任务则包括*识别、决定、可视化、比较、推理、配置和定位4.2.5. 基于数据的决策则可分解为*确定目标、评价可供选择方案、选择目标方案、执行方案等4.2.6. 被分成描述性统计分析、探索式数据分析和验证性数据分析三类4.2.6.1. 探索式数据分析主要强调从数据中寻找出之前没有发现过的特征和信息4.2.6.2. 验证性数据分析则强调通过分析数据来验证或证伪已提出的假说4.2.6.3. 统计分析中的传统数据分析工具包括排列图、因果图、分层法、调查表、散布图、直方图、控制图等4.2.7. 数据分析从统计学中发展而来在各行业中体现出极大的价值4.2.8. 从流程上看数据分析以数据为输入处理完毕后提炼出对数据的理解4.2.9. 不仅有助于用户选择正确的预处理和处理工具还可以提高用户识别复杂数据特征的能力4.3. 面向大型或复杂的异构数据集数据分析的挑战是结合数据组织和管理的特点考虑数据可视化的交互性和操控性要求需求4.4. 部分数据分析方法采取增量式的策略但不提供给用户任何中间结果阻碍了用户对数据分析中间结果的理解和对分析过程的干预4.4.1. 解决方案之一是设计标准化协议4.5. 可预测模型标记语言PMML4.6. 数据挖掘4.6.1. 数据挖掘模型Data Mining Model4.6.2. 在没有明确假设的前提下去挖掘知识所得到的信息具有未知、有效和实用三个特征4.6.3. 数据挖掘的任务往往是预测性的而非传统的描述性任务4.6.4. 数据挖掘并不能替代传统的统计分析和探索式数据分析技术4.6.5. 关注模型的选择和参数的调节4.6.6. 数据挖掘和联机分析处理都致力于模式发现和预测具有一定的*互补性4.7. 联机分析处理4.7.1. OLAP4.7.2. 面向分析决策的方法4.7.2.1. 是交互式统计分析的高级形式4.7.3. 传统的数据库查询和统计分析工具负责提供数据库中的内容信息而联机分析处理则提供基于数据的假设验证方法4.7.4. 一种交互式探索大规模多维数据集的方法4.7.4.1. 发展趋势是融合数据可视化与数据挖掘方法转变为数据的在线可视分析方法4.7.5. 将表单数据转换为多维数组需要两个步骤4.7.6. 数据立方4.7.6.1. 是数据的一个容许各种聚合操作的多维表示4.7.6.2. 数据立方可用于记录包含数十个维度、数百万数据项的数据集并允许在其基础上构建维度的层次结构4.7.7. 被广泛看成一种支持策略分析和决策制定过程的方法与数据仓库、数据挖掘和数据可视化的目标有很强的相关性4.7.8. 切片Slicing指从数据立方中选择在一个或多个维度上具有给定的属性值的数据项4.7.9. 切块Dicing指从数据立方中选择属性值位于某个给定范围的数据子集4.7.10. 两个操作都等价于在整个数组中选取子集4.7.11. 汇总和钻取Roll-up and Drill-down—属性值通常具有某种层次结构4.7.12. Polaris4.7.12.1. 由斯坦福大学开发的用于分析多维数据立方的可视化工具4.7.12.2. 针对基于表格的数据进行可视化及分析可以认为是对表格数据诸如电子表格数据、关系型数据库数据等的一种可视化扩展4.8. 探索式数据分析4.8.1. 一种有别于统计分析的新思路不等同于以统计数据可视化为主的统计图形方法4.8.2. 探索式数据分析和统计分析、贝叶斯分析也有很大不同4.8.3. 统计分析的流程是问题数据模型分析结论4.8.4. 贝叶斯分析的流程则是问题数据模型先验分布分析结论4.8.5. 探索式数据分析的流程是问题数据分析模型结论4.8.6. 将聚类和异常检测看成探索式过程