数据分发平台
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
计费主机 入库进程 DSP平台 清单转换 外围系统
计费文件分发
DSP在flowline上的实现
计费清单部分 清单转换执行周期: 1、神州行充值卡、IP充值卡、固定IP、IP 记帐卡这四种清单的数据转换是每天执行 一次; 2、GSM清单、GPRS清单等其他所有的清单 数据转换是每一个小时执行一次,所以每 天最多会有24个接口文件产生
输出库_1
输入库
处理器
输出库_2
输出库_n
数据分发平台框架
数据分发平台框架
数据分发平台
CRM
数据推送 数据采集 数据外围处理 数据表 文件 文件处理 写文件 文件 文件入库 直接 入库 数据分发库 直接 入库 数据内部处理 文件 文件 文件生成
BASS
数据采集 发布管理 文件 读取
后台任务流程调度进程管理
DSP在flowline上的实现
营帐部分 全量数据抽取方法:现在全量数据抽取方 式比较简单,从数据分发平台直接连到CRM 等源数据库上,读取对应的数据表(每次读 取的记录条数可以在flowline中设定),将 数据集写到内存中,最后生成对应的接口 文件。
DSP在flowline上的实现
计费清单部分
数据分发平台培训
2008年10月20日
培训大纲
数据分发平台(DSP)简介 flowline功能介绍 BI接口在flowline上的实现 组任务组件功能介绍
数据分发平台的设计目的
给BOSS框架之外的其他的外围系统提供所需数据 (举例:BASS-经营分析系统 大客户系统) 减轻BOSS各业务在线系统的压力 和1.0的比较 使数据提供方式更灵活 在和第三方厂商协商好相关规范之后,开发工作 迅速简单
组任务组件功能介绍
工作定义(td_s_work) 每项工作都有一个work_id,每项工作的ID 是区别一个工作的唯一标识;每项工作主 要包含的信息有:工作名称、工作的状态、 执行类型、下次执行时间、时间间隔、工 作执行类型标志。 现在的系统中只有两种执行类型:定时触 发执行、手工触发执行。
Td_s_work
工具下载地址
http://192.168.5.190:8080/flowline-ide/ 在点击此链接前确保你已经安装jre1.4.2以 上版本
界面与控件介绍
界面与控件介绍
流程管理器: 作用是为了建立一个流程的名称也就是整个流 程的一个名称。一般定义方法看其名知其流程图 的作用。 eg:bi_10001001,bi_11001002 st1_user_in,st2_person_month, trade_in 如果你想新建一个新的流程图,在菜单中选择 文件—> 新建流程定义—>输入流程名、选择文件 目录。
每月执行一次:add_months(next_date, 1) 每三周执行一次:next_date+3*7 每两天执行一次:next_date+2 每三个小时执行一次:next_date+3/24
每四十分钟执行一次:next_date+40/(24*60)
组任务组件功能介绍
任务定义(td_s_task) 每项任务都有自己唯一标识的ID、任务名 称、任务类型等信息。 现在的任务类型主要有两种:1、shell脚 本命令 2、存储过程;存储过程需要配置 一下信息:本地或远程标志、连接用户名、 连接口令、连接SID
如何完整的创建一个流程图
在系统框中添加一个新的主机地址为(IP) 用户名与口令是可以进入该主机的用户。
如何完整的创建一个流程图
创建全局资源库类型 在资源库中建立两个全局资源库类型 ([BI接口]test经分互动、 [BI接口]test经分互动表(增量表,全量 表)) 分别为源与目标文件服务的
节点方法介绍
节点方法介绍
复制器:功能跟文件拷贝基本相同不同点 就是他复制多个拷贝 分拣器:该节点的功能是:就是过滤符合 要求的数据例如:有一个表(table)有若 干字段(ID,name ,….)我们过滤ID小于 10,放到缓冲池dst1中其它放到缓冲池 dst2语句为:ID <= 10? 'dst1':'dst2'。
界面与控件介绍
资源库: 作用是创建全局资源类型与库,在用户创 建一个流程后一定有源文件(数据库)与 目标文件(数据库),而每个文件(数据 库)都有不同的类型(字段的个数与类 型)。 而全局资源类型的创建是为了方便建立流 程图服务的。
界面与控件介绍
系统: 包括数据库与主机。它的作用就是为了创 建、修改、删除系统的数据库与主机的。 在创建一个具体资源库时要指定主机和数 据库的具体位置。
源数据管理 订购管理
数据库复制管理
数据流监控
读取
公告发布
结算
采 数据采集 集 文 文件 件
CBS
数据推送 数据采集 数据外围处理 数据表 文件
网管
数据采集
后台任务流程调度进程管理
数据分发平台
数据分发平台和其他系统的关系
CRM库 帐务库 经分系统
DSP平台
计费库
大客户系统
其他外围系统
BOSS其他业务系统
数据映射处理器
节点方法介绍
批处理阶段、交付阶段: 批处理阶段是交付之前不能提交只能存在于缓 存中,一般使用不多。交付阶段可以包含批处理 阶段,两个节点是用来存放流程图的所有节点。 数据流:—>是流程图的中各个节点的连接符也 是数据流向。 关联: 缓冲池中的内容与一个或多个文件关联 (这些文件存在某种关系)从而生成新的文件。 (该功能还未能实现)。
数据分发平台的主要功能
DSP 根据实际的需要对源文件(表)进行数据 处理节点转变成新的文件(目标文件)存 处到另一个指定的位置。主要实现了数据 的的拷贝、复制、分流、过滤、分组等功 能。 如下图:
flowline功能介绍
flowline基本原理模型
一个处理器有1个输入库,可以有1…n个输出库, 库是连接处理器与处理器的桥梁,一个库可以作 为多个处理器输出,但只能作为一个处理器输入。
路由分类 1、串行路由 :TB->T1->T2->T3->T4->T5->TE 在上述工作路由图中,只有当任务Ti(i=1..4)执 行完成后才能执行Ti+1;当最后一个Ti+1(即T5) 执行完成后才能执行TE; 2、并行路由 :任务T1、T2、T3、T4、T5并发执 行。 当Ti(i=1..5)都执行完成后,才能执行TE。
全局资源库类型
全局资源库类型
FLOWLINE支持的类型有:数值,字符串, 日期 数值类型为最高19位、日期为8位、字符串 类型不要超过255就可以了
整个流程
运行:主机bin 目录fl test_lisj1 查看日志:select * from tl_fl_cycle_log
BI接口建设背景
CRM库 DSP平台 外围系统
帐务库
DSP在flowline上的实现
营帐部分 增量数据采集方法: CRM部分:首先以tf_bh_trade为的增量为驱动, 采集tf_f_user的增量数据,然后后续的 tf_f_customer,tf_f_cust_person等资料表的采 集都是都是依赖于tf_f_user的增量。 帐务部分:以tf_a_paylog表的增量为驱动,采 集tf_a_writeofflog等日志表以及 accountdeposit等资料表的增量。
组任务组件功能介绍
基本原理 组任务组件是运行在UNIX操作系统环境下 的常驻进程。通过定时扫描任务运行参数 表去执行满足执行条件的工作。每个工作 是由一个或多个任务组成,每个任务都是 一个独立的逻辑单元,当所有任务都执行 完毕,此工作才算完成。组件执行过程将 严格按照任务执行线路(路由)进行。每 项工作只有一个任务路由,每个任务路由 是由多条任务路径构成。
组任务组件功能介绍
路由说明(td_s_route) 每一个工作都对应着一个唯一的执行路由。 主控进程按照路由中展示的任务先后执行 顺序,执行满足条件的任务。当执行到路 由中最后一个虚拟结束任务结点时,预示 着整个工作完成,这时工作的状态从运行 状态回到准备就绪状态,等待下次执行时 间的到来。
组任务组件功能介绍
在源系统与经营分析系统之间架起一座桥 梁,屏蔽了源系统(源系 统包括:BOSS系统、客服系统、网管系 统、OA、其他数据源等,下文所说源系 统与此同)之间的差异,最大限度地减少 了经营分析系统集成商与源系统集成商 之间针对接口问题的重复讨论
接口单元的编码规则
BI接口文件命名规则
<XX>[接口单元编码][yyyymmdd][序列号].AVL 其中,“XX”为一位大写字母,表示接口数据文件的类 型: I:一次性抽取数据文件 P:日全量抽取数据文件 A:增量数据文件 M:月全量数据文件 <XX>[接口单元编码][yyyymmdd][序列号].CHK <XX>[yyyymmdd].KPI
基本原理: 1、计费将批完价后入库前的文件放到备份目录中供分发 平台ftrans -cXX 进程读取 2、统计入库程序将从计费主机上读取的文件做完入库操 作后,备份到DSP主机上的文件目录中 3、清单文件转换流程定时将统计备份目录中文件读取到 内存中,经过分拣、过滤等数据处理器转换成一定格式后 生成接口文件。
谢谢
Thank You
地址: 南京市中山南路弓箭坊40号 邮编: 210006 电话:(8625)2209888 传真:(8625)2202288 客服热线:(8625)2207799 网址: http://www.lianchuang.com
数据分拣器
flowline处理器介绍
数据分拣器
sБайду номын сангаасc
分拣
t1 t2
t3
将内存中的数据根据一定的分拣条件分发到不同 的内存块中去。
分拣表达式:src.a==4?‘t1’:src.a==5?‘t2’:‘t3’
数据分拣器
映射处理器
flowline处理器介绍 数据映射处理器
将内存块中的数据根据处理器中配置的映射规则 写到下一块内存中去,同时在映射过程中支持数 据集的合并以及简单运算。 图:
BI接口文件命名规则
KPI:客户数 新增用户数 GPRS用户数 欠费金额 通话时长 实收金额 ……
BI接口在flowline上的实现
营业帐务部分
基本原理:根据不同的数据内容和数据周期要求从CRM库、 帐务库等源系统抽取全量或者增量数据到数据分发平台上, 然后做对应的分拣和转换,最后生成对应的接口文件到指 定的主机目录中。
计费文件分发
DSP在flowline上的实现
计费清单部分 清单转换执行周期: 1、神州行充值卡、IP充值卡、固定IP、IP 记帐卡这四种清单的数据转换是每天执行 一次; 2、GSM清单、GPRS清单等其他所有的清单 数据转换是每一个小时执行一次,所以每 天最多会有24个接口文件产生
输出库_1
输入库
处理器
输出库_2
输出库_n
数据分发平台框架
数据分发平台框架
数据分发平台
CRM
数据推送 数据采集 数据外围处理 数据表 文件 文件处理 写文件 文件 文件入库 直接 入库 数据分发库 直接 入库 数据内部处理 文件 文件 文件生成
BASS
数据采集 发布管理 文件 读取
后台任务流程调度进程管理
DSP在flowline上的实现
营帐部分 全量数据抽取方法:现在全量数据抽取方 式比较简单,从数据分发平台直接连到CRM 等源数据库上,读取对应的数据表(每次读 取的记录条数可以在flowline中设定),将 数据集写到内存中,最后生成对应的接口 文件。
DSP在flowline上的实现
计费清单部分
数据分发平台培训
2008年10月20日
培训大纲
数据分发平台(DSP)简介 flowline功能介绍 BI接口在flowline上的实现 组任务组件功能介绍
数据分发平台的设计目的
给BOSS框架之外的其他的外围系统提供所需数据 (举例:BASS-经营分析系统 大客户系统) 减轻BOSS各业务在线系统的压力 和1.0的比较 使数据提供方式更灵活 在和第三方厂商协商好相关规范之后,开发工作 迅速简单
组任务组件功能介绍
工作定义(td_s_work) 每项工作都有一个work_id,每项工作的ID 是区别一个工作的唯一标识;每项工作主 要包含的信息有:工作名称、工作的状态、 执行类型、下次执行时间、时间间隔、工 作执行类型标志。 现在的系统中只有两种执行类型:定时触 发执行、手工触发执行。
Td_s_work
工具下载地址
http://192.168.5.190:8080/flowline-ide/ 在点击此链接前确保你已经安装jre1.4.2以 上版本
界面与控件介绍
界面与控件介绍
流程管理器: 作用是为了建立一个流程的名称也就是整个流 程的一个名称。一般定义方法看其名知其流程图 的作用。 eg:bi_10001001,bi_11001002 st1_user_in,st2_person_month, trade_in 如果你想新建一个新的流程图,在菜单中选择 文件—> 新建流程定义—>输入流程名、选择文件 目录。
每月执行一次:add_months(next_date, 1) 每三周执行一次:next_date+3*7 每两天执行一次:next_date+2 每三个小时执行一次:next_date+3/24
每四十分钟执行一次:next_date+40/(24*60)
组任务组件功能介绍
任务定义(td_s_task) 每项任务都有自己唯一标识的ID、任务名 称、任务类型等信息。 现在的任务类型主要有两种:1、shell脚 本命令 2、存储过程;存储过程需要配置 一下信息:本地或远程标志、连接用户名、 连接口令、连接SID
如何完整的创建一个流程图
在系统框中添加一个新的主机地址为(IP) 用户名与口令是可以进入该主机的用户。
如何完整的创建一个流程图
创建全局资源库类型 在资源库中建立两个全局资源库类型 ([BI接口]test经分互动、 [BI接口]test经分互动表(增量表,全量 表)) 分别为源与目标文件服务的
节点方法介绍
节点方法介绍
复制器:功能跟文件拷贝基本相同不同点 就是他复制多个拷贝 分拣器:该节点的功能是:就是过滤符合 要求的数据例如:有一个表(table)有若 干字段(ID,name ,….)我们过滤ID小于 10,放到缓冲池dst1中其它放到缓冲池 dst2语句为:ID <= 10? 'dst1':'dst2'。
界面与控件介绍
资源库: 作用是创建全局资源类型与库,在用户创 建一个流程后一定有源文件(数据库)与 目标文件(数据库),而每个文件(数据 库)都有不同的类型(字段的个数与类 型)。 而全局资源类型的创建是为了方便建立流 程图服务的。
界面与控件介绍
系统: 包括数据库与主机。它的作用就是为了创 建、修改、删除系统的数据库与主机的。 在创建一个具体资源库时要指定主机和数 据库的具体位置。
源数据管理 订购管理
数据库复制管理
数据流监控
读取
公告发布
结算
采 数据采集 集 文 文件 件
CBS
数据推送 数据采集 数据外围处理 数据表 文件
网管
数据采集
后台任务流程调度进程管理
数据分发平台
数据分发平台和其他系统的关系
CRM库 帐务库 经分系统
DSP平台
计费库
大客户系统
其他外围系统
BOSS其他业务系统
数据映射处理器
节点方法介绍
批处理阶段、交付阶段: 批处理阶段是交付之前不能提交只能存在于缓 存中,一般使用不多。交付阶段可以包含批处理 阶段,两个节点是用来存放流程图的所有节点。 数据流:—>是流程图的中各个节点的连接符也 是数据流向。 关联: 缓冲池中的内容与一个或多个文件关联 (这些文件存在某种关系)从而生成新的文件。 (该功能还未能实现)。
数据分发平台的主要功能
DSP 根据实际的需要对源文件(表)进行数据 处理节点转变成新的文件(目标文件)存 处到另一个指定的位置。主要实现了数据 的的拷贝、复制、分流、过滤、分组等功 能。 如下图:
flowline功能介绍
flowline基本原理模型
一个处理器有1个输入库,可以有1…n个输出库, 库是连接处理器与处理器的桥梁,一个库可以作 为多个处理器输出,但只能作为一个处理器输入。
路由分类 1、串行路由 :TB->T1->T2->T3->T4->T5->TE 在上述工作路由图中,只有当任务Ti(i=1..4)执 行完成后才能执行Ti+1;当最后一个Ti+1(即T5) 执行完成后才能执行TE; 2、并行路由 :任务T1、T2、T3、T4、T5并发执 行。 当Ti(i=1..5)都执行完成后,才能执行TE。
全局资源库类型
全局资源库类型
FLOWLINE支持的类型有:数值,字符串, 日期 数值类型为最高19位、日期为8位、字符串 类型不要超过255就可以了
整个流程
运行:主机bin 目录fl test_lisj1 查看日志:select * from tl_fl_cycle_log
BI接口建设背景
CRM库 DSP平台 外围系统
帐务库
DSP在flowline上的实现
营帐部分 增量数据采集方法: CRM部分:首先以tf_bh_trade为的增量为驱动, 采集tf_f_user的增量数据,然后后续的 tf_f_customer,tf_f_cust_person等资料表的采 集都是都是依赖于tf_f_user的增量。 帐务部分:以tf_a_paylog表的增量为驱动,采 集tf_a_writeofflog等日志表以及 accountdeposit等资料表的增量。
组任务组件功能介绍
基本原理 组任务组件是运行在UNIX操作系统环境下 的常驻进程。通过定时扫描任务运行参数 表去执行满足执行条件的工作。每个工作 是由一个或多个任务组成,每个任务都是 一个独立的逻辑单元,当所有任务都执行 完毕,此工作才算完成。组件执行过程将 严格按照任务执行线路(路由)进行。每 项工作只有一个任务路由,每个任务路由 是由多条任务路径构成。
组任务组件功能介绍
路由说明(td_s_route) 每一个工作都对应着一个唯一的执行路由。 主控进程按照路由中展示的任务先后执行 顺序,执行满足条件的任务。当执行到路 由中最后一个虚拟结束任务结点时,预示 着整个工作完成,这时工作的状态从运行 状态回到准备就绪状态,等待下次执行时 间的到来。
组任务组件功能介绍
在源系统与经营分析系统之间架起一座桥 梁,屏蔽了源系统(源系 统包括:BOSS系统、客服系统、网管系 统、OA、其他数据源等,下文所说源系 统与此同)之间的差异,最大限度地减少 了经营分析系统集成商与源系统集成商 之间针对接口问题的重复讨论
接口单元的编码规则
BI接口文件命名规则
<XX>[接口单元编码][yyyymmdd][序列号].AVL 其中,“XX”为一位大写字母,表示接口数据文件的类 型: I:一次性抽取数据文件 P:日全量抽取数据文件 A:增量数据文件 M:月全量数据文件 <XX>[接口单元编码][yyyymmdd][序列号].CHK <XX>[yyyymmdd].KPI
基本原理: 1、计费将批完价后入库前的文件放到备份目录中供分发 平台ftrans -cXX 进程读取 2、统计入库程序将从计费主机上读取的文件做完入库操 作后,备份到DSP主机上的文件目录中 3、清单文件转换流程定时将统计备份目录中文件读取到 内存中,经过分拣、过滤等数据处理器转换成一定格式后 生成接口文件。
谢谢
Thank You
地址: 南京市中山南路弓箭坊40号 邮编: 210006 电话:(8625)2209888 传真:(8625)2202288 客服热线:(8625)2207799 网址: http://www.lianchuang.com
数据分拣器
flowline处理器介绍
数据分拣器
sБайду номын сангаасc
分拣
t1 t2
t3
将内存中的数据根据一定的分拣条件分发到不同 的内存块中去。
分拣表达式:src.a==4?‘t1’:src.a==5?‘t2’:‘t3’
数据分拣器
映射处理器
flowline处理器介绍 数据映射处理器
将内存块中的数据根据处理器中配置的映射规则 写到下一块内存中去,同时在映射过程中支持数 据集的合并以及简单运算。 图:
BI接口文件命名规则
KPI:客户数 新增用户数 GPRS用户数 欠费金额 通话时长 实收金额 ……
BI接口在flowline上的实现
营业帐务部分
基本原理:根据不同的数据内容和数据周期要求从CRM库、 帐务库等源系统抽取全量或者增量数据到数据分发平台上, 然后做对应的分拣和转换,最后生成对应的接口文件到指 定的主机目录中。