量化分析思路与技巧

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
业务类型字段匹配规则 有效源字段 原始源字段 无效 定期本息划回 理财产品投资 缴结算代理费 无效 理财到期本息兑付 存放同业 交易手续费 无效 债券二级市场卖出 存放同业 次级债提前赎回 存放同业 缴纳结算费 卖出回购债券 保证金本息划回 同业拆入 缴中债数据费 买入返售债券 缴4季度结算费 无效 缴结算手续费 无效 存放理财非保本 无效 同业借款借出 同业存放 国库现金 无效 交发行登记服务费 拆放同业 存放同业理财保本 无效 缴交易手续费 无效 存放同业理财非保本 无效 央行逆回购 无效 分销 无效 受托理财借出 无效 存出投资款
量化分析思路与技巧
资金业务部 张喆 2013年2月
1
目录
一.大数据背景下的量化分析诉求 二.量化分析的思路 三.量化分析流程(以G21报表为例) 四.总结
2
一、大数据背景下的量化 分析诉求
3
1、何为“大数据”
开启大数据时代
• 进入2012年,大数据(big data)一词越来越多地被提及,人们用 它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的 技术发展与创新。 • 它已经上过《纽约时报》、《华尔街日报》的专栏封面,进入美国 白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至 被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报 告。
9
2、量化分析思路
1. 2. 3. 4. 解析分析需求,搭建数据结构框架; 整合、梳理基础数据,获取有效数据源;(标准化) 依据有效数据源,制定统计规则; 参照统计规则分类汇总,输出统计结果。
基础数据源
有效数据源
统计结果
10
三、量化分析流程
1. 解析分析需求,搭建数据结构框架; 2. 整合、梳理基础数据,获取有效数据源; 3. 依据有效数据源,制定统计规则; 4. 参照统计规则分类汇总,制作统计模板。
对于字段维表中的信息是否完全;
• • • • 业务品种是否完全: 币种是否完全; 是否定期活期都包含; 是否包含全部填报机构;
确定检验记录完整性的规则:
• 对总数的检验而非单一记录的检验; • 与代码表科目建立汇总规则;
17
1.3.4、最终确定表样
业务类型 币种 定活标志 归属机构 到期日 交易金额
到期日
交易金额
18
2、数据源整合流程
1. 搜集原始数据; 2. 获取原始数据表样结构; 3. 匹配原始数据与有效数据源;
19
2.1、搜集原始数据源:
原始数据源 数据来源 包含业务品种
存放同业 本币同业台账 手工台账 买入返售债券 同业存放 卖出回购债券 拆放同业 理财产品投资 同业拆入 本币 定期
包含币种
期限
OPICS持债
外币同业台账 电票系统
OPICS系统
OPICS系统 电票系统
债券投资
存放同业
发行债券
拆放同业
本币
外币 本币
定期
定期 定期
同业存放
买入返售票据
同业拆入
卖出回购票据
理财台账
手工台账
买入返售理财
发行保本理财
本币
定期
20
2.2.1、获取原始数据源表结构
需要获取的信息:
• 原始数据源的全部字段; • 原始数据源各字段维表信息的全部分类。
交易日 编号
业务种类 债券一级市场买入 定期本息划回 理财产品投资 缴结算代理费 公开市场 理财到期本息兑付 存放同业定期 交易手续费 债券二级市场买入 债券二级市场卖出 存放同业理财 次级债提前赎回 存放同业保证金 缴纳结算费 正回购 保证金本息划回 信用拆借拆入 缴中债数据费 逆回购 缴4季度结算费 电子国债缴款 缴结算手续费 现券买卖卖出 存放理财非保本 现券买卖买入 同业借款借出 同业存放定期 国库现金 理财到期划回 交发行登记服务费 信用拆借拆出 存放同业理财保本 国债缴款 缴交易手续费 活期资金划回 存放同业理财非保本 缴结算费 央行逆回购 缴交易费 分销 次级债手续费 受托理财借出 理财本息划回 存出投资款
币种 定活标志
文本 文本
人民币
瑞士法郎 定期 总行
美元
加拿大元 活期 北京
港币
澳大利亚元
日元
新加坡元
欧元
英镑
常州
杭州
淮安
连云港
南京
归属机构
文本
南通
徐州 yyyy/mm/dd 原始币种
上海
盐城 单位:元
深圳
扬州
苏州
镇江
泰州
无锡
宿迁
到期日 交易金额
日期 数值
16
1.3.3、确定记录范围(检验数据完整性)
12
1.2、表样结构如何确定
字段(列)的确定(关注细节):
1. 2. 3. 4. 确定字段名称:罗列统计需求的所需信息种类并命名: 确定字段的属性:字段值的数据类型(文本、数值); 确定字段的维表:明确字段内的分类信息(明确填写规则); 审视是否有隐藏字段、补充字段:对统计报表进一步解读确定是 否需要增设字段。
• 结构标准:决定了统计效率 • 字段(列)全面:决定统计准确性 • 记录(行)完整:决定统计准确性
8
1.2、统计结果(统计的终点):
统计结果是什么:
• 形式上:统计报表、统计报告、统计图、统计指标; • 根本上:对数据源数据的分类汇总;
统计结果的作用:
• • • • 帮助更好的梳理数据源; 帮助制定更有针对性的统计指标; 更直观的反应经营现象; 帮助更有效的决策;
国内背景
• 2012年12月9日,在京召开了主题为“大数据时代的金融品牌创新” 的中国金融品牌论坛。 • 工、农、中、建等银行都成立有自己的数据中心和研究所。 • 中国银行董事长肖钢近期在其署名文章《大力推进银行业数据驱动 型发展方式》中提到,推进银行转型发展,必须重视和加强数据分 析挖掘工作。
记录(行)的确定(关注总体):
1. 确定记录的完整性的检验标准:确定记录是否完整的核对标准。
13
1.3、统计需求:G21报表(例)
G21流动性期限缺口统计表(总行资金业务),单位:万元
A B 2日至7日 0.00 0.00 D 剩余期限 31日至90日 8日至30日 0.00 0.00 C E 91日至1年 0.00 F 1年以上 0.00 I 总计 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
业务类型 存放同业 拆放同业 买入返售债券 买入返售票据 买入返售理财 债券投资 理财产品投资 同业存放 同业拆入 卖出回购债券 卖出回购票据 发行债券 发行保本理财
币种 人民币 美元 港币 日元 欧元 英镑 瑞士法郎 加拿大元 澳大利亚元 新加坡元
维表信息 定活标志 定期 活期
归属机构 总行 北京 常州 杭州 淮安 连云港 南京 南通 上海 深圳 苏州 泰州 无锡 宿迁 徐州 盐城 扬州 镇江
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
14
1.3.1、解读G21报表信息:
有效源字段 无效 无效 无效 无效 无效 无效 无效 无效 无效 无效 无效 无效 拆放同业 无效 无效 存放同业 无效 无效 卖出回购债券 无效 拆放同业 无效
“大数据”有多大
• 计量单位:TB — PB — EB — ZB • 互联网的一天(互联网一天的数据量):刻录1.68亿张DVD,发送的 E-mail有2940亿封 • 数据库向数据仓库的转变,向云数据的转变。
4
2、金融业大数据发展趋势
国际背景
• 美国的对冲基金采用高频交易,捕捉0.1秒内的价格波动寻求套利。 • 零售银行通过分析客户的每笔信用卡消费记录,从而进行有针对性 的营销;
对手方 起息日 到期日 利率 金额(万元) 金额(元) 原始期限
21
2.2.2、快速获取表结构方法(删除重复项):
作用:删除某一列中重复的数据
操作: 1. 选中字段列 2. 数据—删除重复项 3. 选择相应选项 4. 确定
22
2.3.1、匹配原始数据与有效数据源
数据源匹配步骤;
1. 选择有效字段:在原始数据源中保留有效数据源所包含 的字段;
15
1.3.2、确定有效数据源表样结构:
不同类型的字段设置要点:
• 文本型:规范维表信息,维表分类要全面,细致,无交叉; • 数值型:明确统计单位,和其他可能产生歧义的信息; • 日期型:规定日期的格式;
字段名称 业务类型 字段属性 文本
存放同业 同业存放
维表分类/填写规则
拆放同业 买入返售债券 买入返售票据 买入返售理财 同业拆入 卖出回购债券 卖出回购票据 发行债券 债券投资 发行保本理财 理财产品投资
交易日 编号 业务种类 对手方类型 对手方 起息日 到期日 利率 金额(万元) 金额(元) 原始期限 维表信息 对手方类型 6、政策性银行 11、证券公司 3、股份制商业银行 4、城市商业银行 13、保险公司 2、国有商业银行 1、人行 8、农村信用社 9、村镇银行 5、农村商业银行 7、农村合作银行 16、金融资产管理公司 21、其他国内相关机构 12、信托公司 18、境外商业银行 15、金融租赁公司 21、其他国内相关部门 10、基金公司 17、境内其他金融机构 14、财务公司
6
二、量化分析思路
1. 明确统计基础与统计需求
2. 量化分析思路
7
1.1、数据源(统计的起点):
数据源是什么:
• 是统计分析的对象,也是统计分析的源头和出发点; • 形式上:手工台账、系统导出的基础数据…; • 根本上:包含了所有要统计信息的表(一张或多张);
有效的数据源:
• 包含了所有信息的一张表:通过这张表能够满足我们的所有的统计 需求; • 有效数据源的特点:
汇总对象:余额(单位:万元) 解读行信息(黄色):剩余期限;
• 运算规则:剩余期限 = 到期日-报表日 • 信息拆分:到期日,报表日
解读列信息(绿色):
• 提炼主要字段:业务类型 • 隐藏字段:币种、定期活期、资产负债
解读隐藏信息(红色):
• 业务归属机构
可检验信息(蓝色):
• 可与代码表对应的业务科目检验; • 对现有字段进一步汇总,无需引入代码表;
2. 建立字段维表匹配规则:将原始数据源字段中的维表 信息与有效数据源对应字段的维表信息对应; 3. 匹配数据源
23
2.3.2、维表字段匹配规则
制作字段匹配对照表;
原始源字段 债券一级市场买入 理财产品投资 公开市场 存放同业定期 债券二级市场买入 存放同业理财 存放同业保证金 正回购 信用拆借拆入 逆回购 电子国债缴款 现券买卖卖出 现券买卖买入 同业存放定期 理财到期划回 信用拆借拆出 国债缴款 活期资金划回 缴结算费 缴交易费 次级债手续费 理财本息划回
5
3、银行业未来的量化分析诉求
外部的压力:数据量快速增长的压力
• 监管要求的不断提高 • 《巴塞尔协议3》的逐步实施 • 银行上市对于数据统计的需求
内在的动力:帮助管理水平的提升
• • • • 由“拍脑袋”的经验主义向数字化的科学的管理手段转变; 量化的指标体系能更直观的反应经营的问题; 能及时的检测比较运营的过程; 提高决策的效率;
11
1.1、解析分析需求,搭建数据结构框架
目的:确定有效数据源表样的结构
表样结构是什么:
• 是列(字段)与行(记录)间的关系: • 字段:Байду номын сангаас定了所需统计的信息的类别; • 记录:确定了统计信息的范围;
分析需求、确定结构的优势:
• • • • 分析更有针对性 提高分析效率 提升统计准确性 便于试错
总行本部
次日 存放同业合计 存放同业(人民币) 存放同业(外币折人民币) 拆放同业合计 拆放同业(人民币) 拆放同业(外币折人民币) 买入返售合计(不含非金融机构) 买入返售债券 买入返售票据 买入返售理财产品 债券投资和债权投资合计 债券投资(含总行凭证式国债) 其他投资-持有理财产品 同业存放合计 同业存放(人民币) 同业存放(外币折人民币) 同业拆入合计 同业拆入(人民币) 同业拆入(外币折人民币) 卖出回购合计(不含非金融机构) 卖出回购债券 卖出回购票据 发行债券 其他有确定到期日的负债(客户理财资金到期日 期手工填报科目221)(理财团队理财产品研发与 销售动态情况表保本型理财产品)
相关文档
最新文档