一、数据集成掌握数据集成就是将驻留在不同数据源中的数据进行整合向用户提供统一的数据视图使得用户能以透明的方式访问数据。1. 数据集成方法3种方法描述模式集成虚拟视图方法最早采用的数据集成方法将各数据源共享的视图集成为全局模式供用户透明地访问各数据源的数据复制集成​将数据源中的数据复制到相关的其他数据源上并对整体一致性进行维护。可以是整个数据源的复制也可以是仅对变化数据的传播与复制混合集成​保留虚拟数据模式视图为用户所用同时提供数据复制的方法以提高中间件系统性能2. 数据访问接口4种接口描述ODBC​用于数据库访问的应用程序编程接口API由应用程序接口、驱动程序管理器、驱动程序和数据源4个组件组成JDBC​用于执行SQL语句的Java应用程序接口由Java语言编写的类和接口组成是一种规范OLE DB​基于组件对象模型的数据存储对象能提供对所有类型数据的操作甚至能在离线情况下存取数据ADO​应用层的接口使用简单易于学习已成为常用的实现数据访问的主要手段之一。是COM自动接口几乎所有数据库工具、应用程序开发环境和脚本语言都可以访问3. Web Services技术Web Services是一个面向访问的分布式计算模型是实现Web数据和信息集成的有效机制。基于XML、SOAP、WSDL和UDDI等协议。要素说明WSDL​基于XML格式的关于Web服务的描述语言SOAP​消息传递的协议规定了Web Services之间怎样传递信息UDDI​创建注册服务的规范用于集中存放和查找WSDL描述文件起着目录服务器的作用XML格式示例了解即可?xml version1.0 encodingUTF-8? student person id001/id age10/age name张三/name /person person id002/id age20/age name李四/name /person /student4. 数据网格技术数据网格是一种用于大型数据集的分布式管理与分析的体系结构目标是对分布、异构的海量数据进行一体化存储、管理、访问、传输与服务。4种透明性透明性描述分布透明性​用户感觉不到数据分布在不同的地方异构透明性​用户感觉不到数据的异构性存储方式、数据格式、管理系统不同数据位置透明性​用户不用知道数据源的具体位置数据访问方式透明性​不同系统的数据访问方式不同但访问结果相同二、数据挖掘掌握数据挖掘是指从大量数据中提取或“挖掘”知识。1. 数据挖掘与传统数据分析的区别4点区别说明数据量​数据挖掘所需数据量更大数据量越大效果越好分析方法​传统数据分析主要运用统计学方法数据挖掘综合运用数据统计、人工智能、可视化等技术分析侧重​传统数据分析是回顾型和验证型分析已发生什么数据挖掘是预测型和发现型预测未来、解释原因成熟度​传统数据分析方法相当成熟数据挖掘部分方法仍处于发展阶段2. 数据挖掘的主要任务5种任务说明数据总结​对数据进行浓缩给出总体综合描述关联分析​找出数据库中隐藏的关联网描述一组数据项的密切度或关系生成的规则带有置信度分类和预测​使用分类函数或分类模型分类器根据数据属性将数据分派到不同组中分析属性模型预测新数据所属组聚类分析​按照某种相近程度度量方法将数据分成一系列有意义的子集合同一集合内数据性质相近不同集合间相差较大孤立点分析​从数据库中检测出偏差3. 数据挖掘流程5个阶段数据挖掘流程阶段图阶段说明确定分析对象​定义清晰的挖掘对象认清数据挖掘的目标数据准备​包括数据选择搜索与挖掘对象有关的内外部数据和数据预处理清理、集成、变换、归约数据挖掘​运用各种方法对预处理后的数据进行挖掘细分为模型构建针对算法构建模型和挖掘处理结果评估​对结果进行解释和评估结果应用​数据挖掘的结果经过决策人员许可后实际运用以指导实践三、数据服务掌握服务说明数据目录服务​用来快捷地发现和定位所需数据资源的一种检索服务是实现数据共享的重要基础功能数据查询与浏览及下载服务​用户使用数据的方式有查询数据和下载数据两种数据分发服务​数据的生产者通过各种方式将数据传送到用户的过程核心内容包括数据发布、数据发现、数据评价等四、数据可视化掌握数据可视化根据展现数据的内容和角度不同主要分为7类表现方式说明一维数据可视化​简单的线性数据如文本或数字表格、程序源代码二维数据可视化​由两种主要描述属性构成的数据如宽度和高度、平面地图。最常见的是地理信息系统GIS三维数据可视化​描述立体信息可表示实际三维物体构成计算机模型供操作及试验多维数据可视化​所描述事物的属性超过三维为了实现可视化往往需要降维时态数据可视化​二维数据的一种特例一维是时间轴以图形方式显示随时间变化的数据层次数据可视化​树形数据每个节点有一个父节点根节点除外如商业组织、计算机文件系统、家谱图网络数据可视化​节点与任意数量的其他节点有关系没有固有层次结构节点间可有多条连接路径五、数据脱敏掌握数据使用常常需要经过脱敏化处理即对数据进行去隐私化处理实现对敏感信息的保护。1. 敏感数据敏感数据可分为个人敏感数据、商业敏感数据、国家秘密数据等。通常将数据密级划分为5个等级等级说明L1公开L2保密L3机密L4绝密L5私密2. 数据脱敏方式数据脱敏方式包括可恢复与不可恢复两类可恢复类脱敏后的数据可通过一定方式恢复成原来的敏感数据主要指各类加解密算法规则不可恢复类脱敏后的数据被脱敏的部分使用任何方式都不能恢复一般分为替换算法和生成算法两类3. 数据脱敏原则6个原则说明算法不可逆原则​除特定场合外数据脱敏算法通常应当是不可逆的防止使用非敏感数据推断、重建敏感原始数据保持数据特征原则​脱敏后的数据应具有原数据的特征因为仍将用于开发或测试场合保留引用完整性原则​数据的引用完整性应予以保留如果被脱敏的字段是数据表主键相关的引用记录必须同步更改规避融合风险原则​应当预判非敏感数据集多源融合可能造成的数据安全风险对所有可能生成敏感数据的非敏感字段同样进行脱敏处理脱敏过程自动化原则​脱敏过程必须在规则的引导下自动化进行才能达到可用性要求脱敏结果可重复原则​在某些场景下对同一字段脱敏的每轮计算结果都相同或都不同以满足数据使用方可测性、模型正确性、安全性等指标 记忆口诀不保保规自可不可逆、保持特征、保留引用、规避融合、自动化、可重复六、数据分类了解数据分类有分类对象和分类依据两个要素。分类对象由若干个被分类的实体组成分类依据取决于分类对象的属性或特征。七、数据分级掌握数据分级是指按照数据遭到破坏后对国家安全、社会秩序、公共利益以及公民、法人和其他组织的合法权益受侵害客体的危害程度对数据进行定级主要为数据全生命周期管理进行安全策略制定。常用分级维度按特性分级、基于价值公开、内部、重要核心等、基于敏感程度公开、秘密、机密、绝密等、基于司法影响范围境内、跨区、跨境等。数据分级基本框架3个级别数据分级框架表本级别影响对象国家安全公共利益个人合法权益组织合法权益核心数据​一般危害、严重危害严重危害——重要数据​轻微危害一般危害、轻微危害——一般数据​无危害无危害无危害严重危害无危害严重危害数据处理者可在基本框架定级的基础上结合行业数据分类分级规则或组织生产经营需求考虑影响对象、影响程度两个要素进行分级。本章真题小测第三篇Q1关于数据集成定义的描述较为准确的是。A. 通过应用软件接口将不同系统的数据进行共享B. 将不同表单中的结构化数据融合为一个表单C. 通过网络或数据标准实现数据的共享与交换D. 将驻留在不同数据源中的数据进行整合Q2为了更加有效地管理敏感数据通常会对敏感数据的敏感程度进行划分以下属于常见程度划分的是。A. L1(公开)、L2(保密)、L3(机密)、L4(绝密)、L5(私密)B. L1(个人)、L2(组织)、L3(商业)、L4(技术)、L5(国家)C. L1(公共)、L2(保密)、L3(机密)、L3(加密)、L5(绝密)D. L1(互联网)、L2(局域网)、L3(保密网)、L4(专网)、L5(绝密网)Q3数据挖掘的主要任务中是从数据库中检测出偏差。A. 数据总结 B. 关联分析 C. 聚类分析 D. 孤立点分析 答案Q1 答案D解析数据集成把分布在不同数据源的数据进行整合、合并解决数据异构、冲突问题。A仅接口共享只是集成的一种实现方式不是完整定义。B只说结构化表单范围太局限数据集成包含非结构化等多种数据。C侧重共享交换偏向数据交换不是集成。D将驻留在不同数据源中的数据进行整合是数据集成的标准定义。Q2 答案A解析敏感数据分级常见级别L1 (公开)、L2 (保密)、L3 (机密)、L4 (绝密)、L5 (私密)。B 是按数据所属主体分类不是敏感程度C 出现重复 L3级别定义错误D 是按网络环境划分不是数据敏感等级。Q3 答案D解析D 孤立点分析专门检测数据中的异常、偏差、离群点。A 数据总结对数据做概括、汇总描述。B 关联分析挖掘数据之间的关联规则。C 聚类分析把相似数据归为一类。✅汇总答案Q1DQ2AQ3D