ETL数据处理规则(模板)
《大数据ETL》课程标准精选全文
精选全文完整版（可编辑修改）《大数据ETL》课程标准一、课程名称大数据ETL。
二、适用专业大数据技术专业。
三、课程学时与学分72学时，4学分。
四、课程性质本课程是大数据技术专业的一门专业核心课程，是从事数据采集工程师、ETL工程师、数据仓库工程师等岗位必须学习的课程，将为后续学习《大数据集群运维监控》、《大数据集群运行问题排查、调优》、《数据仓库建设》等课程奠定基础。
本课程开设在第8学期，学习该课程之前需具备一定的SQL编程、数据采集、数据处理、数据分析能力，《互联网数据采集》、《大数据组件安装部署》、《数据清洗与预处理》是该课程的前导课程。
本课程学习的知识和技能可以为第9、10学期考取大数据分析与应用X证书（初级）、华为HCIA-Big Data大数据认证证书做知识和技能准备。
五、课程目标通过本课程的学习，能完成医疗数据中台数据汇总任务、商务机构交易数据汇总任务、汽车制造行业供应链数据汇总任务、传统生产系统数字化转型数据仓库数据建设任务、能源行业数字化转型数据仓库数据建设任务，达到以下具体目标：（一）素养目标1.培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操。
（培养规格1）2.能够熟练掌握与本专业从事职业活动相关的国家法律、行业规定，掌握信息数据安全、网络安全防护、质量管理等相关知识与技能，了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神。
（培养规格2）3.具备大数据思维，具备较强的逻辑思维能力。
（培养规格5）4.关心国内外科技发展趋势，具备使用大数据技术服务于社会的意识，具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。
（培养规格4）5.具备自学能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识。
（培养规格5）（二）知识目标1.掌握不同类型的数据库接口操作方法。
etl的工作流程
etl的工作流程
3. 数据加载（Load）：将转换后的数据加载到目标系统中。这可以是关系数据库、数据 仓库、数据湖等不同的目标系统。数据加载可以根据需求选择全量加载或增量加载。
7. 监控和调度（Monitoring and Scheduling）：监控ETL过程的运行状态，包括数据提 取、转换和加载的进度和性能。同时，可以设置调度任务，自动执行ETL过程，保证数据的 及时更新。
以上是ETL的一般工作流程，具体的实现方式和工具选择可以根据实际需求和技术栈进行 调整和扩展。ETL工作流程的设计和优化是确保数据集成和处理效率和质量的关键。
4. 数据校验（Validation）：对加载后的数据进行校验，确保数据的准确性和完整性。这 可以包括数ห้องสมุดไป่ตู้验证规则的应用、数据质量检查和异常处理等。
5. 数据更新（Update）：根据需求，定期或实时更新数据。这可以是增量更新，只更新 有变化的数据，或全量更新，重新加载所有数据。
etl的工作流程
6. 数据存储和管理（Storage and Management）：管理和维护数据的存储和访问。这 包括数据备份、数据归档、数据分区等操作，以确保数据的安全性和可用性。
etl的工作流程
ETL（Extract, Transform, Load）是一种数据集成和处理的过程，用于将数据从源系统中 提取、转换和加载到目标系统中。ETL的工作流程通常包括以下几个步骤：
1. 数据提取（Extract）：从源系统中提取需要的数据。这可以包括从关系数据库、文件 、Web服务等不同的数据源中获取数据。数据提取可以根据需求选择全量提取或增量提取。
ETL技术设计规范方案(通用)
ETL技术规第1章.ETL设计规ETL设计规主要应用于ETL编码的前期工作。
由于ETL全过程是面向数据的，主要工作为数据的抽取（Extract ）、转换（Transform ）、装载（Loading），正确界定所涉及到的数据围和应当应用的转换逻辑对于后续的编码工作非常重要，这些数据关系的确定，我们称之为Mapping （数据映射）。
正确定义数据映射关系是ETL成功实施的前提，一个完善的Mapping应该包含以下几个部分：1.1源数据集属性此部分应该详细描述数据源的相关属性，包括：实体名称一一含数据来源名称（DSN、所有者等信息；字段名称--- 英文名称；字段简述--- 中文名称，如为参数信息应该有相关取值解释，如性别字段（1: 男；2:女；0:不详）类型一一字段类型，含长度和精度信息；非空属性一一字段是否可以为空；1.2目标数据集属性此部分应该详细描述目标数据集的相关属性，包括：实体名称一一含数据来源名称（DSN、所有者等信息；字段名称英文名称，建议根据字段含义来命名，而不是简单用拼音来定义字段（此部分由负责设计数据集的人员控制）；字段简述中文名称，对于保留字段应该给出默认值；类型一一字段类型，含长度和精度信息；非空属性一一字段是否可以为空；1.3 ETL规则主要描述ETL各个环节的转换规则，包括：数据源过滤规则——描述从源数据集获取数据过程中过滤掉记录的规则；关联规则——当源数据集为多个时，描述相互之间的关联关系；列转换规则一一描述源数据集到目标数据集的字段间的转换规则；此规则非常重要，要清晰描述字段间的逻辑关系，包括业务逻辑；目标数据集更新规则一一描述目标数据集的更新策略，包括更新机制和更新频度，如“每日全量更新”、“每周增量更新”等；ETL作业列表一一由于ETL所开发的作业之间包含一定的业务逻辑和编码逻辑，所以调度过程中应遵循一定的逻辑顺序，此部分主要用来明确调度的顺序，包括：作业名称实现Mapping的作业名称，包括该作业功能描述；调度顺序一一用序号或者是流程图模式描述作业的调度顺序，需要综合考虑业务逻辑、编码逻辑以及系统资源等多方面情况，在保证业务逻辑和编码逻辑的基础上，通过控制调度，最大限度地合理利用系统资源；参数列表——列举每个作业中所使用的参数，不同作业中的相同参数最好使用相同的名称，便于调度时进行控制。
etl调度细节说明
THANKS
感谢观看
性能优化
并行处理
通过并行处理技术，将一 个ETL作业拆分成多个子任 务同时执行，提高处理速 度。
数据分区
根据数据量和业务特点， 对数据进行合理分区，减 少单次处理的数据量，提 高处理效率。
索引优化
对ETL过程中的数据表建立 合适的索引，提高数据查 询速度。
错误处理和恢复
错误捕获
通过异常处理机制，捕获ETL执 行过程中出现的错误，并记录 错误信息。
总结词
数据质量要求高、稳定性要求高
详细描述
某金融行业对数据质量和稳定性要求极高，因此其ETL调度系统需要具备高度的可靠性 和稳定性。该系统采用稳定可靠的开源框架，通过自动化任务调度和监控，确保ETL任 务的稳定运行。同时，系统还具备数据质量校验功能，对数据完整性、准确性和一致性
进行严格把关，确保金融业务的数据安全。
动态时间调度
根据数据变化情况或其他动态因素进 行实时或近实时的ETL作业调度。
调度优先级和依赖关系
优先级设置
根据业务需求或数据重要程度，为 ETL作业设置不同的优先级，确保高 优先级的作业能够得到优先执行。
依赖关系管理
明确ETL作业之间的依赖关系，确保 依赖的上游作业完成后，下游作业才 能开始执行，避免数据不一致或重复 处理的情况。
调度系统的架构和组件
架构
ETL调度系统的架构通常包括三个层次，分别是数据源层、ETL层和目标层。数据源层负责从各种数据源中抽取数 据，ETL层负责数据的转换和加载，目标层负责将数据加载到目标系统中。
组件
ETL调度系统通常包含以下组件：任务管理组件、作业调度组件、监控与告警组件、日志记录组件等。这些组件 协同工作，共同完成ETL任务的自动化管理和控制。
etl中的数据清洗规则
etl中的数据清洗规则在ETL（提取、转换、加载）过程中，数据清洗是非常重要的一步，以确保从源系统提取的数据质量高、准确性强，并能够满足目标系统的需求。
数据清洗规则可以根据具体的业务需求和数据特点而异，但通常包括以下几个方面的规则：1. 缺失值处理：-删除包含缺失值的记录。
-使用默认值填充缺失值。
-插值法填充缺失值，如线性插值、多项式插值等。
2. 异常值处理：-删除或修正明显异常的数值。
-使用平均值、中位数、众数等统计量来替代异常值。
-根据业务规则定义范围，将超出范围的数值视为异常值并进行处理。
3. 重复数据处理：-删除重复的记录。
-合并重复记录的信息，保留其中一个。
4. 数据格式统一：-将日期、时间、货币等字段的格式标准化。
-统一字符串的大小写。
-清理特殊字符或空格。
5. 数据类型转换：-将不同数据类型的字段转换为目标数据类型。
-处理数值字段中可能存在的文本值。
6. 规范化和标准化：-对文本数据进行规范化，如去除停用词、词干提取、大小写转换等。
-将单位标准化，确保数据的一致性。
7. 处理业务规则：-根据业务规则进行数据的筛选、过滤或转换。
-根据业务逻辑定义新的字段。
8. 数据合并：-将多个数据源的信息进行合并，确保数据的完整性和一致性。
9. 去重：-除了处理重复记录外，还需要处理重复的字段或属性，确保数据的唯一性。
10. 历史数据处理：-对历史数据进行修正或调整，以符合当前业务规则和需求。
在实际应用中，数据清洗规则的具体内容会受到数据质量要求、业务需求和数据特点的影响，因此需要根据具体情况进行调整和定制。
清洗后的数据将更有利于后续分析、报告和决策。
etl认证标准
ETL (Extract, Transform, Load) 是一种常用的数据集成和数据转换过程，用于从一个或多个数据源中提取数据，对数据进行转换处理，然后加载到目标数据存储或数据仓库中。
ETL认证标准主要涉及ETL工具的功能和性能验证，以确保其能够有效地执行数据提取、转换和加载任务。
由于ETL工具的种类繁多，不同的厂商可能会有不同的认证标准。
以下是一些常见的ETL认证标准：
1. 数据完整性：确保ETL工具能够正确地提取源数据并将其加载到目标系统中，而不会导致数据丢失或损坏。
2. 数据转换准确性：验证ETL工具能够按照预定的规则和逻辑对数据进行转换，确保数据在加载到目标系统之前经过正确的处理。
3. 数据质量管理：确保ETL工具能够检测和纠正数据中的错误、重复项、不一致性等问题，以提高数据质量。
4. 性能和可伸缩性：评估ETL工具在处理大规模数据集时的性能和可扩展性，确保其能够满足实际业务需求。
5. 安全性：验证ETL工具在数据提取、转换和加载过程中的安全性控制措施，以保护敏感数据免受未经授权的访问和泄露。
6. 兼容性：确保ETL工具能够与各种数据源和目标系统进行集成，并支持常见的数据格式和协议。
这些认证标准可以由第三方机构或厂商自身进行验证和认证，例如，ETL工具提供商可以通过独立的认证机构对其产品进行认证，或者根据行业标准进行自我认证。
认证通常涉及对ETL工具的功能进行测试、性能评估以及对相关文档和支持材料的审查。
需要注意的是，具体的ETL认证标准可能会因不同的行业、组织和项目而有所差异。
因此，在选择ETL 工具时，建议根据实际需求和标准来评估和选择最适合的工具，并参考相关的行业标准和最佳实践。
ETL流程、数据流图及ETL过程解决方案
ETL过程-数据抽取
– 数据来源
• 文件系统，业务系统
– 抽取方式
• 根据具体业务进行全量或增量抽取
– 抽取效率
• 将数据按一定的规则拆分成几部分进行并行 处理
– 抽取策略
• 根据具体业务制定抽取的时间、频度，以及 抽取的流程
ETL过程-数据清洗
清洗规则：
– 数据补缺
• 对空数据、缺失数据进行数据补缺操作，无法处理 的作标记
ETL的问题
ETL过程-0层DFD
P0
业务数据 文件数据
字段映射 字段映射
ETL过程
未经清洗加 工的数据
P1数据抽取
数据过滤
业务清洗规则
P2数据清洗
加载
清洗后的有 效数据
转换规则 转换规则
数据仓库
批量加载
P4数据加载 文件
Reject
装载策略
与目标匹配 的数据
加载
P3数据转换
1层-数据抽取
P1 业务数据 文件数据
日志表方式
全表对比方式
抽取所有源数据，在更新目标表之 对系统表结构没有任何影响 数据比对复杂，设计比较复杂， 前先根据主键和字段进行数据比对 ，管理维护统一，可以实现 执行速度慢 ，有更新的进行update或insert 数据的增量加载
全表删除插入方式
删除目标表数据，将源数据全部插 ETL规则简单，速度快 入
同构(Synchronous )
要避免性能瓶颈问题，解决办法是缩小每次抽取的时间粒 度，例如将抽取周期定为每日抽取，这样可以保证每次抽 取的增量数据数目是很少量的。 与异构方式类似，应避免抽取时间区间和源数据系统的生 产时段相重合。如果源数据系统时刻都有新数据插入，一 种解决办法是设置一个时间区间，定义每次抽取的开始和 结束时间值：本次抽取的开始时间为上次抽取的结束时间 ，本次抽取的结束时间为机器系统时间（Sysdate）或者是 目前数据库系统中已有记录的最大时间戳值。实际上就是 定义某个时间区间内的源数据的快照(Snapshot)，这样就可 以避免重复装载的情况发生。除此之外，还应该充分考虑 源和目标两套数据库系统的Down机的时间因素。 只需要一个ETL软件包。系统管理人员也只需要监视一套系 统。 源和目标的关系是被绑定在具体的映射中的。当源或者目 标的结构发生变化，相对应的映射也要做修改。
ETL说明文档
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析的依据ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，E TL设计的好坏直接关接到BI项目的成败。
ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。
ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。
在设计ETL的时候也是从这三部分出发。
数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一些数据的清洗和转换)，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高ETL的运行效率。
ETL三个部分中，花费时间最长的是T(清洗、转换)的部分，一般情况下这部分工作量是整个ETL的2/3。
数据的加载一般在数据清洗完了之后直接写入DW中去。
ETL的实现有多种方法，常用的有三种，第一种是借助ETL工具如Oracle的OWB、SQL server 2000的DTS、SQL Server2005的SSIS服务、informatic等实现，第二种是SQL方式实现，第三种是ETL工具和SQL相结合。
前两种方法各有优缺点，借助工具可以快速的建立起ETL工程，屏蔽复杂的编码任务，提高速度，降低难度，但是欠缺灵活性。
SQL的方法优点是灵活，提高ETL运行效率，但是编码复杂，对技术要求比较高。
第三种是综合了前面二种的优点，极大的提高ETL的开发速度和效率。
数据的抽取数据的抽取需要在调研阶段做大量工作，首先要搞清楚以下几个问题：数据是从几个业务系统中来?各个业务系统的数据库服务器运行什么DBMS?是否存在手工数据，手工数据量有多大?是否存在非结构化的数据?等等类似问题，当收集完这些信息之后才可以进行数据抽取的设计。
1、与存放DW的数据库系统相同的数据源处理方法这一类数源在设计比较容易，一般情况下，DBMS(包括SQLServer，Oracle)都会提供数据库链接功能，在DW数据库服务器和原业务系统之间建立直接的链接关系就可以写Se lect 语句直接访问。
ETL工具操作手册
ETL工具操作手册浙江慧优科技有限公司版本号：V1.02016/11/30ETL工具操作手册目录第一章.ETL简介 (I)第一章.ETL简介➢ETL工具采用JA V A编写，支持关系型数据库(ORACLE，DB2,MySQL,MS Server,Sybase等数据库)的输入输出，也支持NOSQL(Mongodb,CouchDB等NoSQL系列数据库) 大数据处理，以及关系型和非关系型数据库之间的转换。
➢通过http请求，支持解析xml,json格式的数据解析➢利用JS脚本引擎、转换引擎、流程引擎、调度引擎，使各种信息孤岛的数据变得简易操作，大大提高异构系统互联的工作效率；完美实现与业务系统的“零编码”，即配即用；强大的图形化和接口设计、部署、监管的智能化，减轻数据交换和应用的工作负担，提高系统互联的工作效率第二章.数据库到数据库的数据采集1.选择文件-新建-转换，鼠标点击主对象树，切换至相应界面。
右键转换一可以为这个转换进行命名，性能监控。
如图：IETL工具操作手册II ETL工具操作手册2.双击DB连接新建数据库连接，一般会建源数据库连接以及目标数据库连接，根据实际情况来定。
这里我们建立了2个数据库连接，一个是源数据库162以及目标数据库为我本地的。
如图：IIIETL工具操作手册3．点击切换至核心对象-输入下的表输入拖至配置界面上，选择源数据库，以及源数据表，可以自动获取SQL语句查询，筛选条件可以根据实际情况来定义。
点击预览，可以预览SQL查询出来的数据，也可以进行判断SQL语句是否正确。
IVETL工具操作手册4.选择表输出，将子节点的表输出拖至配置界面，双击表输出，选择目标数据库，数据表。
如图5.点击运行即可测试当前配置是否正确。
在步骤、日志、或者执行历史中，可以查看流程是否正确，也可以查看报错的节点，错误信息。
VETL工具操作手册6. 配置定时任务，点击文件-新建-作业-通用下的start，双击配置界面中的start 界面定时任务的配置。
etl认证要求(一)
etl认证要求(一)ETL认证要求1. 什么是ETL认证？ETL（Extract, Transform, Load）认证是指对通过ETL工具进行数据提取、转换和加载的能力进行评估和验证，以确保数据的质量、准确性和完整性。
ETL认证可以帮助组织提高数据处理效率，并确保数据在整个流程中不被损坏、丢失或篡改。
2. ETL认证的相关要求数据提取要求•数据源合规性：ETL工具需要支持各种类型的数据源，如数据库、文件、API等，并能够正确提取数据。
•数据准确性：ETL工具应确保从数据源中提取的数据准确无误，无重复、遗漏或错误。
•数据完整性：ETL工具应能够提取数据的全部内容，无遗漏。
如果数据源中存在部分数据不可用或缺失，ETL工具应提供相应的告警机制或处理方案。
举例解释：一家电商公司使用ETL工具从多个数据库中提取数据，用于生成销售报表。
ETL认证要求工具能够从各个数据库中正确提取所需的数据，并确保数据准确、无误。
数据转换要求•数据清洗：ETL工具应能够清洗数据，处理数据中的噪声、重复项、缺失值等问题，确保数据的一致性和完整性。
•数据转换：ETL工具应具备强大的数据转换能力，能够对数据进行各种计算、合并、拆分等操作，以满足业务需求。
•数据整合：ETL工具应支持多个数据源的整合，能够将来自不同数据源的数据进行匹配和合并。
举例解释：一家保险公司使用ETL工具将来自不同渠道的客户数据进行整合，以便进行客户分析和推荐相关保险产品。
ETL认证要求工具能够清洗和整合各个渠道的客户数据，确保数据的准确性和一致性。
数据加载要求•数据映射：ETL工具应能够将转换后的数据映射到目标系统的数据模型中，确保数据能够正确加载到目标系统。
•数据校验：ETL工具应支持数据校验机制，能够对加载到目标系统的数据进行验证，确保数据的完整性和正确性。
•数据加载性能：ETL工具应具备高效的数据加载能力，能够快速加载大量数据，保证数据处理的效率。
举例解释：一家银行使用ETL工具将交易数据加载到数据仓库中，用于进行风险管理和分析。
etl处理规范
ETL处理流程规范
为提高数据质量，结合自己的工作情况，现在总结出如下数据处理流程规范：
1.对于初次入库的ID,JSID一定要通过uf_getsysid()函数计算获得，之后
的更新操作不能再改变ID和JSID,以免各个阶段的数据不好追踪和审
查。
2.每一次动数据库里面的数据，一般都要留下痕迹，XGRY(修改人员)和
XGSJ(修改时间)要进行更新。
3.对于每一次入库的表一定要再三确认好主键，这个很重要。
4.一般来说，对于GKBZ(公开标志)，首先选择公开入库，过不了触发器然
后再做非公开入库。
5.测试时候不能随意禁用触发器进行入库，要做到和入正式库一样，这样
的测试才会更准确。
6.对于全量数据和增量数据做事先判断，尽量增量比对入库，效率上会提
高很多。
数据仓库的ETL流程和数据质量管理
数据仓库的ETL流程和数据质量管理数据仓库（Data Warehouse）是一个用于集成、存储和管理企业各个数据源的数据库系统，为企业决策提供决策支持和数据分析的基础。
而数据仓库的ETL流程（Extraction, Transformation, and Load）和数据质量管理在数据仓库的建设过程中起着至关重要的作用。
本文将详细介绍数据仓库的ETL流程和数据质量管理，并探讨其在数据仓库建设中的重要性。
1. ETL流程ETL是数据仓库建设中最核心的环节，它包括三个步骤：数据抽取（Extraction）、数据转换（Transformation）和数据加载（Load）。
1.1 数据抽取数据抽取是将各个数据源中的数据提取到数据仓库中的过程。
数据源可以是企业内部的关系数据库、日志文件、Excel表格等，也可以是外部数据供应商、API接口等。
数据抽取可以通过批处理或实时抓取方式进行，具体选择取决于数据的实时性要求。
1.2 数据转换数据转换是将抽取的数据进行清洗、整理和加工，使其适应数据仓库的数据模型和标准。
在数据转换过程中，可以进行数据过滤、数据合并、数据计算等操作，以确保数据的准确性、一致性和完整性。
此外，数据转换还可以进行数据标准化、数据融合、数据格式转换等工作，以满足数据仓库的需求。
1.3 数据加载数据加载是将经过转换的数据存储到数据仓库中的过程。
数据加载可以采用全量加载或增量加载的方式。
全量加载是将全部数据一次性加载到数据仓库中，适用于数据量较小或数据更新频率较低的情况。
而增量加载是将新产生或变化的数据定时或实时地加载到数据仓库中，以确保数据的及时性和准确性。
2. 数据质量管理数据质量管理是保证数据仓库数据质量的过程，包括数据质量评估、数据质量监控和数据质量改进等环节。
2.1 数据质量评估数据质量评估是通过对数据进行质量检查和分析，评估数据是否满足预期的质量标准和要求。
常用的数据质量评估指标包括数据准确性、一致性、完整性、唯一性、时效性等。
etl实施方案
etl实施方案ETL实施方案ETL（Extract, Transform, Load）是数据仓库中非常重要的一环，它负责将数据从各个不同的数据源中抽取出来，经过一系列的转换操作后，加载到数据仓库中，为后续的数据分析和报表展现提供支持。
在实施ETL过程中，需要考虑到数据的准确性、完整性、一致性以及及时性，因此需要制定一个完善的ETL实施方案。
首先，我们需要明确ETL实施的目标和范围。
在制定实施方案之前，需要明确ETL的实施目标是什么，是为了解决数据仓库中的哪些问题，以及需要处理的数据范围是什么，这些都是非常重要的前提条件。
只有明确了实施的目标和范围，才能有针对性地制定实施方案。
其次，我们需要进行数据源的调研和分析。
在实施ETL过程中，需要从各个不同的数据源中抽取数据，因此需要对数据源进行调研和分析，了解数据源的类型、结构、数据量等情况，以便为后续的数据抽取和转换做好准备工作。
接下来，我们需要设计数据抽取和转换的流程。
在设计数据抽取和转换的流程时，需要考虑到数据的准确性、完整性、一致性以及及时性，需要根据实际情况制定相应的数据抽取和转换策略，确保数据能够按时、准确地加载到数据仓库中。
然后，我们需要进行ETL工具的选择和配置。
在实施ETL过程中，需要选择合适的ETL工具，根据实际情况进行配置和定制，以满足实际的业务需求。
ETL工具的选择和配置直接影响到整个ETL实施的效果和质量，因此需要慎重考虑。
最后，我们需要进行ETL实施的监控和管理。
在实施ETL过程中，需要对整个ETL过程进行监控和管理，及时发现和解决问题，确保数据能够按时、准确地加载到数据仓库中。
同时，需要建立相应的监控和管理机制，确保整个ETL实施过程的顺利进行。
综上所述，制定一个完善的ETL实施方案对于数据仓库的建设和运营非常重要。
只有制定了合理的实施方案，才能够确保数据仓库中的数据能够及时、准确地满足业务需求，为企业的决策提供有力支持。
因此，在实施ETL过程中，需要充分考虑各个环节的因素，制定合理的实施方案，确保整个ETL过程的顺利进行。
ETL测试方法范文
ETL测试方法范文ETL（Extract, Transform, Load）工具用于将数据从一个或多个源系统中提取出来，并经过一系列的转换操作后，加载到目标系统中。
ETL 过程是数据仓库和商业智能系统中非常重要的一部分，在进行ETL过程测试时，需要考虑以下几个方面。
1.验证数据提取过程：确保从源系统中提取的数据与源系统中的数据一致。
这可以通过比较源系统中的数据与ETL工具提取的数据进行校验来实现。
可以随机选择一些记录进行对比验证。
2.测试转换规则：确保ETL工具正确地应用了转换规则来转换和清洗数据。
测试转换规则可以通过编写测试用例，针对不同类型的数据和不同情况来验证ETL工具是否按照预期进行数据转换。
3.测试目标系统的加载过程：确保ETL工具能够将转换后的数据正确地加载到目标系统中。
测试目标系统的加载过程可以通过比较目标系统中的数据与转换后的数据进行校验来实现。
可以选择一些记录进行对比验证，确保数据正确地被加载到目标系统中。
4.测试错误处理机制：ETL过程中可能出现各种错误，如数据丢失、数据丢失、数据类型不一致等。
测试错误处理机制可以通过引入一些错误数据，并通过触发这些错误来验证ETL工具是否能够正确处理这些错误情况。
5.性能测试：针对ETL过程的性能进行测试，主要包括数据提取的速度、数据转换的时间和数据加载的速度。
可以通过模拟大量数据进行测试来评估ETL过程的性能。
6.完整性和准确性测试：确保ETL过程能够完整地提取和加载数据，同时保证数据的准确性。
可以使用一些验证规则或数据质量指标来进行完整性和准确性测试。
7.安全性测试：针对ETL过程中的数据安全进行测试，包括数据的加密传输、权限控制、身份验证等方面。
可以通过模拟攻击或试图绕过安全措施来进行安全性测试。
8.可恢复性测试：测试ETL过程的可恢复性，即当ETL过程中出现错误时，能否正确地进行错误处理和恢复操作。
可以模拟ETL过程中的错误情况，并观察系统是否能够正确地进行错误处理和恢复。
ETL基础及常用技术培训
oracle基础—数据库安装
Windows环境下: 网上下载安装包 点击安装 全选默认配置即可。 其它机器上已有server端，可只安client端。 PLSQL软件是一个优秀的oracle工具，建议安装
LOGO
ETL基础及 常用技术
主要内容
ETL基本概念 ETL常用逻辑架构 ETL实施过程 ETL常用技术（shell,oracle,datastage）
ETL基本概念
ET L(Extract-Transform-Load)即数据的抽取、转换与加载。ETL是从各 种原始的业务系统(异构多源)中提取数据，按照预先设计好的规则将抽取到的 数据进行转换，最后将转换完的数据按计划增量或全部导人到目标数据库，成 为联机分析处理、数据挖掘的基础。
.
shell基础—流程控制命令(if)
字符串比较: string1 = string2 如果相等则为真 string1 != string2 如果不等则为真 -n string 如果不空则为真 -z string 如果为空则为真 算术比较: expression1 -eq expression2 如果相等则为真 expression1 -ne expression2 如果不等则为真 expression1 -gt expression2 如果大于则为真 expression1 -ge expression2 大于等于则为真 expression1 -lt expression2 如果小于则为真 expression1 -le expression2 小于等于则为真
ETL常用技术
SHELL(unix基本操作) SQL PL/SQL PROC DATASTAGE
shell基础
Linux中有好多种不同的shell，如bsh，csh ，同其他语言一样，可以通过我们 使用任意一种文字编辑器，比如vi等来编写我们的shell程序。 程序必须以下面的行开始（必须放在文件的第一行）： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个程序中我们 使用/bin/sh来执行程序。 当编辑好脚本时，如果要执行该脚本，还必须使其可执行。 要使脚本可执行： chmod +x filename 然后，可以通过输入： ./filename 来执行脚本。
ETL数据整合与处理(Kettle)第三章 记录处理
升序
对指定的字段制订排序方向（升序/降序），选项有：是、否
大小写敏感
指定的排序时是否区分大小写，选项有：是、否
Sort base on current locale?
是否根据当前位置排序，选项有：是、否
Collator Strength
指定排序器强度，选项有：0、1、2、3
Presorted?
是否进行预排序，选项有：是、否
值类型
表示勾选【选择值类型】参数后，使用【值类型】表设置参数，具体如下 1. 类型：表示选中数据类型，单击下拉框选择设置 2. 值替换为：表示要替换NULL的值 3. 转换掩码（日期）：表示日期字段的掩码格式，默认值为空 4. 设置空字符串：表示是否设置空字符串，选项有：是、否，默认值为空
31
设置参数
➢ 重复的记录属于“脏数据”，会造成数据统计和分析不正确，必须清洗掉重复记录。 ➢ 由于在“期考成绩.xls”文件中，发现存在序号不同，但是学号、各科考试成绩完全相同的记录，所以需
要使用【去除重复记录】组件，去除这些重复的数据。
14
任务分析
（1） 建立【去除重复记录】转换工程。 （2） 设置【去除重复记录】组件参数。 （3） 预览结果数据。
表示需要临时文件来完成排序时，是否压缩该临时文件。默认值为空
仅仅传递非重复的记录 表示是否启用仅向输出流传递唯一的记录。默认值为空
字段
表示参加排序的字段，使用一个【字段】表来设置字段的参数。有关排序字段参数的说明 如下表所示
8
设置参数
字段参数
说明
字段名称
指定排序的字段名称，可用多个字段进行组合排序。可以直接键盘输入，也可以单 击输入框，从下拉框中选中输入流的字段，还可以点击图 3-3所示的【获取字段】 按钮，获取所有字段进行编辑，保留需要排序的关键字段，删除不参加排序的字段
ETL规范
目录第1章ETL规范概述 (3)1.1.规范定义 (3)1.2.应用范围 (3)1.3.实施价值 (3)1.4.预期读者 (3)1.5.主要章节 (3)1.6.文档约定 (4)第2章ETL简介 (5)2.1.ETL含义 (5)2.1.1.数据抽取 (5)2.1.2.数据转换 (5)2.1.3.数据装载 (5)2.2.ETL应用 (6)2.3.ETL开发模式： (7)2.3.1.标准式 (7)2.3.2.小型快速式 (7)2.3.3.复杂调优式 (7)第3章ETL设计规范 (9)3.1.源数据集属性 (9)3.2.目标数据集属性 (10)3.3.ETL规则 (11)3.4.M APPING版本管理 (13)第4章ETL开发规范 (15)4.1.命名规范 (15)4.1.1.作业命名规范 (15)4.1.2.Stage与link命名规范 (16)4.1.3.作业注释规范 (17)4.2.功能定义规范 (18)4.2.1.SequenceFile的文件定义： (18)4.2.2.Hash_File定义： (19)4.2.3.参数化作业 (22)4.3.结构规范 (23)4.3.1.作业目录组织结构 (23)4.3.2.模块化结构 (24)4.3.3.临时文件目录组织 (25)4.4.代码封装规范 (25)4.4.1.Routine与Shared Containers使用原则 (25)4.4.2.代码封装 (26)4.4.3.日志处理 (28)4.4.4.公共作业与Routines设计 (29)4.4.5.参数文件格式与Routines设计描述 (30)第5章ETL维护规范 (34)5.1.日志检查 (34)5.1.1.日志文件报告 (34)5.1.2.Director作业状态排查 (35)5.2.出错处理 (35)5.2.1.E类错误 (35)5.2.2.T类错误 (35)5.2.3.L类错误 (36)5.3.作业维护文档 (37)5.3.1.作业设计报告 (37)5.3.2.维护向导 (37)5.3.3.数据表血缘关系图（可选） (38)血缘关系图实例,有色表将用于后续ETL过程 (39)5.4.备份、恢复与版本控制 (39)第6章IBM WEBSPHERE DATASTAGE介绍 (42)6.1.IBM W EB S PHERE D ATA S TAGE (42)6.2.D ATA S TAGE工作环境及架构 (42)6.3.D ATA S TAGE特点 (44)6.3.1.多平台的支持 (44)6.3.2.多数据源及数据目标的支持 (44)6.3.3.强大的数据转换功能 (45)6.3.4.自项而下的图形化开发架构 (45)6.3.5.强大的集中式管理功能 (45)6.4.D ATA S TAGE产品优势 (46)6.4.1.SOA面向企业服务架构 (46)6.4.2.并行处理能力 (47)6.5.使用介绍 (47)第1章ETL规范概述1.1.规范定义ETL规范是为保证ETL正确设计、实施和维护所定义的一些规则和方法。
ETL设计开发规范文档
ETL设计开发规范⽂档ETL设计说明书错误！未找到引⽤源。
⽬录1.概述 (5)2.ETL开发策略 (7)3.ETL系统架构设计 (8)3.1ETL整体框架 (8)3.2ETL系统逻辑架构 (8)3.2.1ETL系统的备份和恢复 (9)4.ETL应⽤框架设计 (10)4.1ETL应⽤架构逻辑图 (10)4.2ETL模式 (11)4.3数据抽取(Extract)和数据变换(Convert) (11) 4.3.1数据抽取（Extract） (11)4.3.2数据变换（Convert） (11)4.3.3数据分割（Split） (12)4.4数据转换(Transform) (12)4.4.1字段合并与拆分 (12)4.4.2赋缺省值 (12)4.4.3数据排序（Sort） (12)4.4.4数据翻译(Lookup) (12)4.4.5数据合并(Merge) (12)4.4.6数据聚合(Aggregate) (13)4.4.7⽂件⽐较(File Compare) (13)4.4.8其他复杂计算 (13)4.5数据加载(Load) (13)4.5.1Pre-Load (13)4.5.2Load (13)4.5.3Post-Load (14)4.6ETL进程和进程调度 (14)4.7管理功能（Management Interface） (14)4.8初始数据、历史数据和⽇常数据ETL (15)5.开发规范 (16)5.1中间⽂件 (16)5.2临时⽂件 (16)5.3BAPI参数⽂件 (17)5.4ETL程序 (17)5.4.1DataStage Project命名 (17)5.4.2DataStage中Job命名 (17)5.4.3DataStage中Stage命名 (18)5.4.4DataStage中Link命名 (19)5.4.5DataStage中Routine命名 (19)5.4.6DataStage产⽣的Abap程序命名 (19) 5.4.7DataStage中Table Definition命名 (20) 5.4.8Store procedure程序命名 (21)5.5Reject⽂件 (21)5.6系统⽇志 (21)5.7ODBC (22)5.8版本控制 (22)5.8.1ABAP程序及BAPI程序 (22)5.8.2DataStage Job及Routine (22)5.8.3Store Procedure程序 (22)5.8.4⽂档 (22)5.9ETL Job开发⽅法规范 (23)5.9.1TableDefinition的使⽤原则 (23)5.9.2Extract Job的开发原则 (23)5.9.3CS Job的开发原则 (24)5.9.4Load Job的开发原则 (24)5.9.5Gc和Ge Job的开发原则 (25)5.9.6关于存储过程及BAPI (26)6.系统环境 (27)6.1开发、测试和运⾏环境规划 (27)6.2⽂件⽬录 (27)6.3DataStage Manager⽬录层级规划 (28)7.ETL应⽤设计 (30)7.1应⽤模块架构 (30)7.1.1DataStage Server (30)7.1.2DataBase Server (31)7.2ETL Job设计 (31)7.2.1Schedule Job (31)7.2.2Dependence Job (36)7.2.3Maintance Job (36)7.2.4Group Job (38)7.2.5Component Job (40)7.3ETL环境参数 (42)7.3.1JobParams.cfg⽂件格式 (42)7.3.2参数说明 (42)7.4公共Routine设计 (43)7.4.1Transform Routine (43)7.4.2Before/After SubRoutine (47)7.5初始ETL程序 (48)8.ETL开发流程及管理 (49)8.1开发环境准备 (49)8.2开发步骤 (49)8.2.1⽇常数据加载： (49)8.2.2初始数据加载： (49)8.2.3历史数据加载： (49)8.3⾓⾊及责任 (50)9.ETL质量控制及错误处理 (52)9.1ETL质量控制主要实现⼿段 (52)9.2拒绝⽂件及拒绝处理策略 (52)9.3已⼊库源数据发⽣错误的应对策略 (52)附录I.ETL Mapping⽂件⽂档模板 (54)附录II.ETL Data Flow⽂档模板 (55)附录III.ETL Job Dependency⽂档模板 (56)1. 概述ETL系统的核⼼功能就是按照本设计说明书的架构，将数据由数据源系统加载到数据仓库中。
ETL数据整合与处理 第4章 字段处理 (1) 优秀教学课件
设置参数
（2） 确定要移除的字段。在【移除的字段】参数表中，单击字段名称所在的行号数，如图所示。按计算 机键盘上【Delete】按钮，或右键单击选中的行，单击快捷菜单的【删除选中的行】选项，删除非移除 的字段，保留要移除的字段，输入流中“物理”“化学”“生物”字段将被移除。
14
设置参数
3. 【元数据】选项卡参数
18
设置参数
（2） 设置字段的参数。有关字段参数按照下表进行设置。
参数
字段名称
序号
学号
类型
Integer Integer
长度
4
9
精度
0
0
Binary to Normal?
否
否
格式
#
#
Date Format Lenient?
否
否
Lenient number conversion? 否
否
字段名称
语文
数学
Format
表示日期格式解析器是否是严格还是宽松的。选项有是、否。设置为“是”时，只接受 严格有效的日期值；设置为“否”时，解析器会尝试把错误日期纠正为正确的日期。默
认值为空
Date Locale
表示日期地区区域。为空时，以系统上默认日期区域编码设置。默认值为空
Date Time Zone 表示日期时区。为空时，以系统上默认日期日期编码设置。默认值为空
33
建立将字段值设置为常量转换工程
➢ 使用Ctrl+N快捷键，创建【将字段值设置为常量】转换工程。接着创建【Excel输入】组件，设置参 数，导入“2018年上学期期末语数英考试成绩.xls”文件，预览数据，如图所示，发现“基础课程数” 数据为“<null>”。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
纳税人识别号
第 1 页，共 12 页
信息类名称
数据项名称
数据值允许形式 可识别的英文字符或数字，长度为 15（或16）的纳税人识别号为单位 或已取得组织机构代码的个体工商 户，代码结构为：6位行政区划代码 ＋9位组织机构代码，长度16的是因 为组织机构代码校验位前含有字符 可识别的英文字符或数字，长度为 18（或20）的纳税人识别号为个体 工商户，其纳税人识别号为18位身 份证件号码(＋2位顺序码)； 可识别的英文字符或数字，外国人 以护照号码作为“纳税人识别号”
省地税局提供信息数据处理规则试行方案（征求意见稿）
信息类名称 数据项名称 数据值允许形式 9位，前8位为数字或字母，最后一 位为数字或字母X 10位，前8位为数字或字母，第9位 为“-”，最后一位为数字或字母X 数据示例 A1234567X 检查规则及步骤（校验规则代码） 1、检查前8位是否为数字或字母；（A1101） 2、检查最后一位是否为数字或字母X（A1304） 3、检查最后一位校验位是否正确（A2407） 1、检查前9位是否为数字或字母；（A1101） 2、检查最后一位是否为数字或字母X（A1304） 3、检查第9位是否为“-”(A2203) 4、检查最后一位校验位是否正确（A2407） 1、检查前9位是否为数字或字母；（A1101） 2、检查最后一位是否为数字或字母X（A1304） 3、检查第9、10位是否为中文“－”(A2204) 4、检查最后一位校验位是否正确（A2407） 1、检查是否为空（A0001） 2、检查是否包含非法字符（A0002）
第 2 页，共 12 页
信息类名称
数据项名称 核算方式代码 核算方式名称 主营 兼营
数据值允许形式 可识别的英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字
数据示例
检查规则及步骤（校验规则代码） 1、可识别的英文字符或数字 2、提供代码范围及名称对照表 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、登记日期不可为空。 2、标准格式为YYYY/MM/DD； 3、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 4、登记日期不超过数据报送日期且不能早于 2000年1月1日(红字取消)； 1、可识别的英文字符或数字 2、提供代码范围及名称对照表 1、可识别的中文、英文字符或数字 1、可识别的英文字符或数字 2、提供代码范围及名称对照表 1、可识别的中文、英文字符或数字 1、可识别的英文字符或数字 2、提供代码范围及名称对照表 1、可识别的中文、英文字符或数字 1、注销日期不可为空； 2、标准格式为YYYY/MM/DD； 3、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 4、注销日期不超过数据报送日期； 1、可识别的英文字符或数字 2、提供代码范围及名称对照表 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字
可识别的日期
注销机关代码 评定年限 评定结果 评定机关名称 纳税信用等级评定信息
可识别的英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字
第 3 页，共 12 页
信息类名称 纳税信用等级评定信息
数据项名称
数据值允许形式
数据示例
检查规则及步骤（校验规则代码） 1、标准格式为YYYY/MM/DD； 2、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 3、评定日期不超过数据报送日期； 4、评定日期不为空；
第 6 页，共 12 页
数据处理规则试行方案（征求意见稿）
数据后处理（处理规则代码） 1、删除空格（B0001）
1、删除空格（B0001） 2、转换为9位码（B2341）
1、删除空格（B0001） 2、转换为9位码（B2341） 1、删除空格（B0001） 2、去除非法字符（B0002）
1、删除空格（B0001）
1、检查是否为数字字符串（A2341） 2、检查前6位是否符合行政区划标准（A4651）
工商注册号 主体标识信息
1、检查是否为数字字符串（A2341） 2、检查前6位是否符合行政区划标准（A）
1、检查位数是否在允许范围内（A8635）
1、检查是否为英文字符或数字（A2342）
组织机构代码
A1234567-X
11位，前8位为数字或字母，第9、 10 位为中文“－”，最后一位为数 A1234567－X 字或字母X 企业名称全称(中文) 可识别的中文、英文字符或数字 13位的数字字符串，前6位为登记机 关的行政区划代码（划分到县级 局），第7位为识别号，私营企业以 外的内资企业的识别号为1，私营企 业的识别号为2，个体工商户的识别 号为3，后六位为顺序号； 15位的数字字符串，前6位为登记机 关的行政区划代码（划分到县级 局），第7到第14位数为顺序码，第 15位为校验码（根据前14位数自动 生成） 19位、20位、21位、22位汉字和数 字字符串，为2007年7月1日前登记 注册的外资企业 可识别的英文字符或数字，长度为7 、9位的纳税人识别号为持回乡证、 护照办理税务登记的纳税人，其纳 税人识别号为回乡证号码、护照号
评定日期
可识别的日期
第 4 页，共 12 页
信息类名称
数据项名称 纳税企业类别 法定代表人 法定代表人证件类别
数据值允许形式 可识别的中文、英文字符 可识别的中文、英文字符 可识别的中文、英文字符
数据示例
检查规则及步骤（校验规则代码） 1、可识别的中文、英文字符 1、可识别的中文、英文字符 1、可识别的中文、英文字符 1、中国居民身份证，15位或18位，前6位为行 政区划，15位的7~12位为出生日期、13~15位为 数字顺序码，18位的7~14位为出生日期、15~17 位为数字顺序码、18位为校验码，校验码符合 校验规则； 2、护照、军官证、警官证、港澳台居民往来内 地通行证号； 1、字段不为空； 2、可识别的英文字符或数字； 3、提供代码范围和名称对照表； 1、字段不为空； 2、可识别的中文字符； 3、提供名称范围和代码对照表； 1、可识别的中文、英文字符或数字 1、字段不为空，可识别数字； 2、金额大于零； 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、标准格式为YYYY/MM/DD； 2、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 3、评定日期不超过数据报送日期； 4、公告日期不为空；
第 9 页，共 12 页
数据后处理（处理规则代码）
第 10 页，共 12 页
数据后处理（处理规则代码）
第 11 页，共 12 页
数据后处理（处理规则代码）
； E-mail：xyjg_admin@
第 12 页，共 12 页
纳税人偷抗骗税等处罚信息 （改为性质处罚信息） 处罚完成日期 可识别的日期
处罚机关全称
可识别的中文、英文字符或数字
处罚日期
可识别的日期
备注：请在11月20日前提出修改意见并反馈到省信用中心 省信用中心 联系人：谈天，顾遵雷 ； 电话：86631365（FAX）； E-mail：xyjg_admin@
数据示例
检查规则及步骤（校验规则代码） 1、检查是否为英文字符或数字（A2342） 2、检查前6位是否符合行政区划标准（A4651） 3、检查组织机构代码部分是否与相关字段相符 （A1234）
纳税人识别号
1、检查是否为英文字符或数字（A2342） 2、检查省份证号码是否正确（A1111） 1、检查是否为英文字符或数字（A2342）
数据示例
检查规则及步骤（校验规则代码） 1、可识别的中文、英文字符或数字 2、字段不为空 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 2、字段不为空 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、可识别的中文、英文字符或数字 1、标准格式为YYYY/MM/DD； 2、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 3、处罚完成日期不超过数据报送日期； 4、处罚日期不超过处罚完成日期； 1、可识别的中文、英文字符或数字 1、标准格式为YYYY/MM/DD； 2、其他格式：YYYY年MM月DD日、YYYYMMDD、 YYYY.MM.DD、YYYY-MM-DD、MM-DD-YYYY、 MM/DD/YYYY； 3、处罚日期不超过数据报送日期； 4、处罚日期不为空；
信息类名称
数据项名称 处罚名称 处罚类别 处罚文书号 事由 处罚依据 处罚结论 处罚执行状态
数据值允许形式 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字
法定代表人证件号码
可识别的英文字符或数字
税种代码 纳税人被公告的欠税信息 税种名称 欠税所属期间 欠缴金额 公告文书号 公告机关全称
可识别的英文字符或数字
可识别的中文字符 可识别的中文、英文字符或数字 可识别数字 可识别的中文、英文字符或数字 可识别的中文、英文字符或数字
公告日期
可识别的日期
第 5 页，共 12 页
1、删除空格（B0001）
1、删除空格（B0001）