合集下载

相关主题

数据清洗中文过滤实现

目录 (2)

一、概述 (3)

二、过滤规则 (3)

三、实现代码 (3)

2.1表说明 (3)

2.2初始化 (4)

2.3包说明 (4)

四、程序源码 (5)

3.1包头代码 (5)

3.2包体代码 (6)

3.2源代码附件 (14)

一、概述

根据项目要求，需将HBASE分库式数据库中存储的HTML代码按要求过滤操作，只保留中文、标点符点及部分HTML标签。现通过PL/SQL代码对其进行实现。

二、过滤规则

1、保留

、

2、保留

、、标签，保留其中汉字及标点符号，过滤其它字符。

2、保留

、

3、最终以文档，UTF-8编码返回结果。

4、通过创建规则表，存储各种保留规则。

三、实现代码

2.1表说明

2.2初始化

2.3包说明

四、程序源码

3.1包头代码

3.2包体代码

3.2源代码附件

scripts.rar 源码文件：

目录树：

数据清洗之网页中文过滤