kov模型简介以及如何采用Treeage Pro软件进行基于Markov模型的卫生经济学评价
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注：在Treeage，概率可以用“＃”号。意思是剩余的概率，也即(1-同一机会结 下其他分支概率之和)。
21
创建跳转
右键recover 所在的机会结，Change Type > Terminal，自动打开编辑 编辑跳转状态对话框 转状态对话框（Edit Jump State dialog）。 在对话框中，选择Well 作 为recover的 的跳转状态 转状态 点击 OK 保存跳转设置 重复以上步骤，为 重复以上步骤 为stay sick 和die分别创建跳转 至Disease和Dead
优点：能估计结果的变异程度
10
为什么使用Treeage pro?
Treeage pro的主要特点
可视化的构建和分析模型 分析模型类型
决策数分析， 决策数分析 Markov模型，或同时 模型 或同时
分析特点
Markov M k 队列分析法 Monte Carlo模拟法 敏感性分析
22
_ g 内置计数器和终止条件（ _stage termination condition ）‐1
循环经历的周期数会被记录在软件内置的计数器 _stage上 _stage =0 : 第一周期之前 _stage stage每增加1表示经历 表示经历一个周期 个周期
终止条件用于确定一个队列是否结束 终止条件用于确定 个队列是否结束
项目窗口（包 括各种案例） 以及表窗口 （工作台选择 Markov k 时显 示）
模型参数输入、编辑、查看窗口 (Model input、editor and view window)
13
不同节点的基本特点‐1
决策结（decision node）
每一个分支代表一种策略 每 个分支代表 种策略 每种策略的值是计算出来的 模型最终会选择最佳策略或路径
8
构建Markov模型的基本步骤‐4
4、通过运算估计疾病发展过程及其相应的 费用和效用 S t
t
n
S 1
s
Q ALY C ost
n
(t
S 1 s
n
s
us)
(t
S 1
cs )
在卫生经济学研究中, 随着时间的推移, 成本和 效益也会有“打折” 效益也会有 打折 , 故应将未来的钱换算到现 在的价值, 其换算的比率称之为贴现率（具体计 算见后）。
p (pt )
1 t
7
构建Markov模型的基本步骤‐3
3、确定各状态的效用值及其在每个周期中 的资源消耗
健康效用值是计算质量调整生命年( quality adjusted life year, year QALY) 时所用的生命质量调整 权重，通常将完全健康状态的效用值定义为1, 死亡为0。 每个周期的资源消耗通常指在每个周期内用于 治疗或干预的成本, 它通常包括直接成本、间接 成本、无形成本和其它成本。
增加初始概率
17
健康效用值(rewards)
假设我们的目标是要估计平均期望寿命，模型的循环周期 长度为一年。如果期望寿命以年为单位，则每经历一次存 活状态，其健康效用值即为1。据此定义以下的健康效用值 。 初始效用值（Init i Rwd d）为初始阶段（_stage=0) )分配一 分配 个健康效用值。 增量效用值（Incr Rwd R d）为随后每一个循环周期分配一 ）为随后每 个循环周期分配 个健康效用值。 最终效用值（Final Rwd）为最后一个周期分配一个健 康效用值。
：健康 健康, 0：死亡 死亡)
Transition probabilities：转换概率 Rewards/tolls：健康效用值或成本 Termination condition：终止条件
5
构建Markov模型的基本步骤‐1
1、根据研究目的和疾病的自然病程设立 Markov状态, 确定各状态间可能存在的相互 转换。
机会结（chance node）
每一个分支代表一种可能的结局 每个周期中每个人只能有 种结局 每个周期中每个人只能有一种结局 每一种结局都须有相应的概率 同 机会结下的所有分支的概率之和须为1 同一机会结下的所有分支的概率之和须为
14
不同节点的基本特点‐2
终止结（terminal node)
19
定义吸收态
处于该状态的个体不能 退出，也没有下级树或 分支时, 该状态称为吸收 态（absorbing g state）， 通常是循环的终点。
增加吸收态
右击Dead状态所在的机会结 Change Type > Terminal
20
增加下级树（subtrees）
增加下级树
双击Disease 状态，自动 增加两个分支 (即下级树) 在下级树的输入框内输入 下级树的名称 survive 和 die 分别为die和survive输入 相应的转 概率0.1 和“#” 相应的转化概率 重复以上步骤为状态Well 和 Dead增 增加下级树，并 下级树，并 定义相应的转化概率。并 为die和survive增加下级 树 形成右图的结构 树，形成右图的结构。
增量成本 效果比
增量成本 效用比
增量成本 效益比
2
基于Markov模型进行卫生经济学 评价的基本原理
Markov 模型，也称为疾病转归模型
将所研究的疾病按其对健康的影响程度划分为 多个不同的健康状态，并根据各状态在一定时 间内相互间的转换概率模拟疾病的发展过程, 结 合每个状态上的资源消耗和健康结果, 通过多次 循环运算 环 算, 估计 估计出疾病发展的结局及其医疗费用 疾病 展 局 其 疗费用( 或节省的资源消耗)。
……
11
Treeage pro 2011的欢迎的界面
新建树
提交 （Roll back）
工作台
树属性设定
模型预览窗口 (Model overview window)
模型编辑窗口 (Model editor window)
控制板 (Palette) 及可供 选择的 树节点 类型
将整个研究期间分成若干相等时间周期, 每个时 间周期称为循环周期(Markov circle) 。
慢性病：3 个月或1 年；传染病：1 个月。
每一个周期内每个状态可以向其它状态转换（ 每 个周期内每个状态可以向其它状态转换（ 其概率即为转换概率），也可以保持原态。
转换概率的时间单位与所用的循环周期不同时 转 概率 时间单 与所用 周期不同时, 如恶性 性 肿瘤治疗中得到的5 年生存率, 这时不能简单将其除以5 来估计每年的平均生存率, 而应该采用以下公式：
所有其他状态结束于此 没有下级分支
逻辑结（logic l i node d ）
同一逻辑结下的所有分支如何选择取决于逻辑表达式的返回值
Markov结
Markov模型必须以此为起始结或根结（root node） Markov结下的所有分支概率总和为1
15
构建一个新的Markov模型
18
增加状态的健康效用值
双击Disease 状态下方的 Markov信息框 在Init rwd 输入框内输入 变量名uDisease. 在根结（root node）中 定义uDisease 的值为1. 在Incr rwd 同样输入 uDisease ，并在根结定 义其值为1，在 在 Final rwd 输入框中输入 0 重复以上步骤定义Well 状态的健康效用值[ uWell (1), uWell (1) 和 0] 和Dead状态的健康效用 值 (0, 0 and 0)
9
Markov模型的常用基本算法
队列模型法
根据模型中各状态间的转换概率和各状态上的 分布概率, 计算各循环周期后及整个分析期末队 列成员在各状态上的人数。
Monte Carlo C l 模型法
根据Markov 状态间的转换概率随机决定每一个 个体的每一步 每 ( 或一个循环) 的去向, 通过对模拟 对 大量的个体得到的样本进行分析。
32
创建新表‐2
定义表名称 "tMort“
选择不同时间点 的死亡概率缺失 值采用线性内插 法(linear interpolation )来估 计（ 体 后） 计（具体见后）
33
Markov M k 模型简介以及如何采用Treeage T Pro软件进行基于Markov模型的卫生经 济学评价
缘梦缘
邮箱: moonlight2006h@ 邮 g @
卫生经济学评价的基本概念
目标人群 干预组 总投入(成本) 效果 成本效果 比 效用 成本效用 比 效益 成本效益 比 效果 成本效果 比 对照组 总投入(成本) 效用 成本效用 比 效益 成本效益 比
病程不能从某 病程不能从某一状态向其它状态转换的状态称 状态向其它状态转换的状态称 为吸收态( absorbing states) , 它是循环的终点， 经过一定的循环之后所有的队列成员都应转换 到该终点状态上。
# 健康
疾病 0.10 #
死亡
#
6
构建Markov模型的基本步骤‐2
2、确定循环周期和每个周期中各状态间的 转换概率
29
Markov 队列分析图形输出
30
采用表创建时间依赖的死亡概率
利用表将非时间依赖的死亡概率改为时间依 赖的死亡概率 在die下方的输入框内将0.1改为变量名
startAge t tA
31
创建新表‐1
定义公式: startAge = tMort[startAge+_stage] 在根 在根结中定义新变量 中定 新变量startAge g 的初 的初始值为 值为30
3
Markov模型的简单示意图
#
椭圆形 : 状态 箭头 : 转换方向 箭头上方的数 字: 转换概率
健康
疾病
0.10
死亡
# #
4
Markov 模型的基本构成
States：状态 (如：疾病, 健康 和死亡) Cycle length ：循环周期(如： 如 1 年 ) Initial probabilities：初始概率 (如：1：疾病, 0
从控制板 (Palette)选择 Markov 结 将其拖入模型编 辑窗口 辑窗 在出现的 Marko 结横线 Markov 上方输入模型名 称 Three‐State Markov
16
定义Markov 状态及初始概率
增加Markov 状态
双击Markov 结, 自动出现 两个分支(即两种状态) 选中Markov 结，右键> Add Branch, 增加另外一个 分支 (即另外一种状态) 分别命名三种状态为 Disease, Well 和 Dead 点击 Disease 状态下方的 省略号，输入1（即定义 Disease状态的初始概率为 1） 重复以上步骤为Well 和 Dead 状态均输入初始概率 为0
11treeagepro2011的欢迎界面12treeagepro2011的界面提交rollback新建树工作台控制板palette树属性设定模型预览窗口及可供选择的树节点树属性设定模型编辑窗口modeleditorwindow模型预览窗口modeloverviewwindow树节点类型项目窗口包window模型参数输入编辑查看窗口modelinputeditorand括各种案例以及表窗口工作台选择k时显13viewwindowmarkov时显示不同节点的基本特点1?决策结decisionnode?一一一一每个分支代表种策略?每种策略的值是计算出来的?模型最终会选择最佳策略或路径ce?机会结chancenode?每一个分支代表一种可能的结局?每个周期中每个人只能有一种结局?每一种结局都须有相应的概率1?同一机会结下的所有分支的概率之和须为114不同节点的基本特点2?终止结terminalnode?所有其他状态结束于此?没有下级分支ld?逻辑结logicnode?同一逻辑结下的所有分支如何选择取决于逻辑表达式的返回值?markov结rt?markov模型必须以此为起始结或根结rootnode?markov结下的所有分支概率总和为115构建一个新的markov模型?从控制板palette选择markov结?将其拖入模型编辑窗口?在出现的markov结横线上方输入模型名e称称threestatemarkov16定义markov状态及初始概率?增加markov状态?双击markov结自动出现两个分支自动出现两个分支即两种状态?选中markov结右键addbranch增加另外一个分支增加另外一个分支即另外一种状态?分别命名三种状态为diseasewell和dead?增加初始概率?点击disease状态下方的省略号输入1即定义disease状态的初始概率为1?重复以上步骤为well和dead状态均输入初始概率为状态均输入初始概率为017健康效用值rewards假设我们的目标是要估计平均期望寿命模型的循环周期长度为一年
26
基于非时间依赖死亡概率的期望值 (也即 平均期望寿命)
15.891 years
27
Markov 队列快速分析结果输出
解释：一个有病的个体，经历50年后， 累积保持在原状态的概率为：2.4% 累积转化为健康状态的概率为：3.8% 累积死亡的概率为：93.8%
28
基于非时间依赖死亡概率的状 态概率图
24
改变数据格式以匹配Markov 模型的输出
25
队列分析结果查看
提交（Roll back）本次分析
‐ 选择Analysis > Roll Back from the menu. menu
创建队列快速分析结果： 建
‐ 选择Markov结. ‐ 选择Analysis > Markov Cohort > Markov Cohort ( (Quick). )
通过循环经历的次数来结束队列： _stage =50 通过条件表达式来结束队列：如某一状态的最 终概率<0.00001
23
_ g 内置计数器和终止条件（ _stage termination condition ）‐1
设定终止条件:
选择 Markov Info 双击“term” 输入终止条件: _stage stage = 50. 保存树
21
创建跳转
右键recover 所在的机会结，Change Type > Terminal，自动打开编辑 编辑跳转状态对话框 转状态对话框（Edit Jump State dialog）。 在对话框中，选择Well 作 为recover的 的跳转状态 转状态 点击 OK 保存跳转设置 重复以上步骤，为 重复以上步骤 为stay sick 和die分别创建跳转 至Disease和Dead
优点：能估计结果的变异程度
10
为什么使用Treeage pro?
Treeage pro的主要特点
可视化的构建和分析模型 分析模型类型
决策数分析， 决策数分析 Markov模型，或同时 模型 或同时
分析特点
Markov M k 队列分析法 Monte Carlo模拟法 敏感性分析
22
_ g 内置计数器和终止条件（ _stage termination condition ）‐1
循环经历的周期数会被记录在软件内置的计数器 _stage上 _stage =0 : 第一周期之前 _stage stage每增加1表示经历 表示经历一个周期 个周期
终止条件用于确定一个队列是否结束 终止条件用于确定 个队列是否结束
项目窗口（包 括各种案例） 以及表窗口 （工作台选择 Markov k 时显 示）
模型参数输入、编辑、查看窗口 (Model input、editor and view window)
13
不同节点的基本特点‐1
决策结（decision node）
每一个分支代表一种策略 每 个分支代表 种策略 每种策略的值是计算出来的 模型最终会选择最佳策略或路径
8
构建Markov模型的基本步骤‐4
4、通过运算估计疾病发展过程及其相应的 费用和效用 S t
t
n
S 1
s
Q ALY C ost
n
(t
S 1 s
n
s
us)
(t
S 1
cs )
在卫生经济学研究中, 随着时间的推移, 成本和 效益也会有“打折” 效益也会有 打折 , 故应将未来的钱换算到现 在的价值, 其换算的比率称之为贴现率（具体计 算见后）。
p (pt )
1 t
7
构建Markov模型的基本步骤‐3
3、确定各状态的效用值及其在每个周期中 的资源消耗
健康效用值是计算质量调整生命年( quality adjusted life year, year QALY) 时所用的生命质量调整 权重，通常将完全健康状态的效用值定义为1, 死亡为0。 每个周期的资源消耗通常指在每个周期内用于 治疗或干预的成本, 它通常包括直接成本、间接 成本、无形成本和其它成本。
增加初始概率
17
健康效用值(rewards)
假设我们的目标是要估计平均期望寿命，模型的循环周期 长度为一年。如果期望寿命以年为单位，则每经历一次存 活状态，其健康效用值即为1。据此定义以下的健康效用值 。 初始效用值（Init i Rwd d）为初始阶段（_stage=0) )分配一 分配 个健康效用值。 增量效用值（Incr Rwd R d）为随后每一个循环周期分配一 ）为随后每 个循环周期分配 个健康效用值。 最终效用值（Final Rwd）为最后一个周期分配一个健 康效用值。
：健康 健康, 0：死亡 死亡)
Transition probabilities：转换概率 Rewards/tolls：健康效用值或成本 Termination condition：终止条件
5
构建Markov模型的基本步骤‐1
1、根据研究目的和疾病的自然病程设立 Markov状态, 确定各状态间可能存在的相互 转换。
机会结（chance node）
每一个分支代表一种可能的结局 每个周期中每个人只能有 种结局 每个周期中每个人只能有一种结局 每一种结局都须有相应的概率 同 机会结下的所有分支的概率之和须为1 同一机会结下的所有分支的概率之和须为
14
不同节点的基本特点‐2
终止结（terminal node)
19
定义吸收态
处于该状态的个体不能 退出，也没有下级树或 分支时, 该状态称为吸收 态（absorbing g state）， 通常是循环的终点。
增加吸收态
右击Dead状态所在的机会结 Change Type > Terminal
20
增加下级树（subtrees）
增加下级树
双击Disease 状态，自动 增加两个分支 (即下级树) 在下级树的输入框内输入 下级树的名称 survive 和 die 分别为die和survive输入 相应的转 概率0.1 和“#” 相应的转化概率 重复以上步骤为状态Well 和 Dead增 增加下级树，并 下级树，并 定义相应的转化概率。并 为die和survive增加下级 树 形成右图的结构 树，形成右图的结构。
增量成本 效果比
增量成本 效用比
增量成本 效益比
2
基于Markov模型进行卫生经济学 评价的基本原理
Markov 模型，也称为疾病转归模型
将所研究的疾病按其对健康的影响程度划分为 多个不同的健康状态，并根据各状态在一定时 间内相互间的转换概率模拟疾病的发展过程, 结 合每个状态上的资源消耗和健康结果, 通过多次 循环运算 环 算, 估计 估计出疾病发展的结局及其医疗费用 疾病 展 局 其 疗费用( 或节省的资源消耗)。
……
11
Treeage pro 2011的欢迎的界面
新建树
提交 （Roll back）
工作台
树属性设定
模型预览窗口 (Model overview window)
模型编辑窗口 (Model editor window)
控制板 (Palette) 及可供 选择的 树节点 类型
将整个研究期间分成若干相等时间周期, 每个时 间周期称为循环周期(Markov circle) 。
慢性病：3 个月或1 年；传染病：1 个月。
每一个周期内每个状态可以向其它状态转换（ 每 个周期内每个状态可以向其它状态转换（ 其概率即为转换概率），也可以保持原态。
转换概率的时间单位与所用的循环周期不同时 转 概率 时间单 与所用 周期不同时, 如恶性 性 肿瘤治疗中得到的5 年生存率, 这时不能简单将其除以5 来估计每年的平均生存率, 而应该采用以下公式：
所有其他状态结束于此 没有下级分支
逻辑结（logic l i node d ）
同一逻辑结下的所有分支如何选择取决于逻辑表达式的返回值
Markov结
Markov模型必须以此为起始结或根结（root node） Markov结下的所有分支概率总和为1
15
构建一个新的Markov模型
18
增加状态的健康效用值
双击Disease 状态下方的 Markov信息框 在Init rwd 输入框内输入 变量名uDisease. 在根结（root node）中 定义uDisease 的值为1. 在Incr rwd 同样输入 uDisease ，并在根结定 义其值为1，在 在 Final rwd 输入框中输入 0 重复以上步骤定义Well 状态的健康效用值[ uWell (1), uWell (1) 和 0] 和Dead状态的健康效用 值 (0, 0 and 0)
9
Markov模型的常用基本算法
队列模型法
根据模型中各状态间的转换概率和各状态上的 分布概率, 计算各循环周期后及整个分析期末队 列成员在各状态上的人数。
Monte Carlo C l 模型法
根据Markov 状态间的转换概率随机决定每一个 个体的每一步 每 ( 或一个循环) 的去向, 通过对模拟 对 大量的个体得到的样本进行分析。
32
创建新表‐2
定义表名称 "tMort“
选择不同时间点 的死亡概率缺失 值采用线性内插 法(linear interpolation )来估 计（ 体 后） 计（具体见后）
33
Markov M k 模型简介以及如何采用Treeage T Pro软件进行基于Markov模型的卫生经 济学评价
缘梦缘
邮箱: moonlight2006h@ 邮 g @
卫生经济学评价的基本概念
目标人群 干预组 总投入(成本) 效果 成本效果 比 效用 成本效用 比 效益 成本效益 比 效果 成本效果 比 对照组 总投入(成本) 效用 成本效用 比 效益 成本效益 比
病程不能从某 病程不能从某一状态向其它状态转换的状态称 状态向其它状态转换的状态称 为吸收态( absorbing states) , 它是循环的终点， 经过一定的循环之后所有的队列成员都应转换 到该终点状态上。
# 健康
疾病 0.10 #
死亡
#
6
构建Markov模型的基本步骤‐2
2、确定循环周期和每个周期中各状态间的 转换概率
29
Markov 队列分析图形输出
30
采用表创建时间依赖的死亡概率
利用表将非时间依赖的死亡概率改为时间依 赖的死亡概率 在die下方的输入框内将0.1改为变量名
startAge t tA
31
创建新表‐1
定义公式: startAge = tMort[startAge+_stage] 在根 在根结中定义新变量 中定 新变量startAge g 的初 的初始值为 值为30
3
Markov模型的简单示意图
#
椭圆形 : 状态 箭头 : 转换方向 箭头上方的数 字: 转换概率
健康
疾病
0.10
死亡
# #
4
Markov 模型的基本构成
States：状态 (如：疾病, 健康 和死亡) Cycle length ：循环周期(如： 如 1 年 ) Initial probabilities：初始概率 (如：1：疾病, 0
从控制板 (Palette)选择 Markov 结 将其拖入模型编 辑窗口 辑窗 在出现的 Marko 结横线 Markov 上方输入模型名 称 Three‐State Markov
16
定义Markov 状态及初始概率
增加Markov 状态
双击Markov 结, 自动出现 两个分支(即两种状态) 选中Markov 结，右键> Add Branch, 增加另外一个 分支 (即另外一种状态) 分别命名三种状态为 Disease, Well 和 Dead 点击 Disease 状态下方的 省略号，输入1（即定义 Disease状态的初始概率为 1） 重复以上步骤为Well 和 Dead 状态均输入初始概率 为0
11treeagepro2011的欢迎界面12treeagepro2011的界面提交rollback新建树工作台控制板palette树属性设定模型预览窗口及可供选择的树节点树属性设定模型编辑窗口modeleditorwindow模型预览窗口modeloverviewwindow树节点类型项目窗口包window模型参数输入编辑查看窗口modelinputeditorand括各种案例以及表窗口工作台选择k时显13viewwindowmarkov时显示不同节点的基本特点1?决策结decisionnode?一一一一每个分支代表种策略?每种策略的值是计算出来的?模型最终会选择最佳策略或路径ce?机会结chancenode?每一个分支代表一种可能的结局?每个周期中每个人只能有一种结局?每一种结局都须有相应的概率1?同一机会结下的所有分支的概率之和须为114不同节点的基本特点2?终止结terminalnode?所有其他状态结束于此?没有下级分支ld?逻辑结logicnode?同一逻辑结下的所有分支如何选择取决于逻辑表达式的返回值?markov结rt?markov模型必须以此为起始结或根结rootnode?markov结下的所有分支概率总和为115构建一个新的markov模型?从控制板palette选择markov结?将其拖入模型编辑窗口?在出现的markov结横线上方输入模型名e称称threestatemarkov16定义markov状态及初始概率?增加markov状态?双击markov结自动出现两个分支自动出现两个分支即两种状态?选中markov结右键addbranch增加另外一个分支增加另外一个分支即另外一种状态?分别命名三种状态为diseasewell和dead?增加初始概率?点击disease状态下方的省略号输入1即定义disease状态的初始概率为1?重复以上步骤为well和dead状态均输入初始概率为状态均输入初始概率为017健康效用值rewards假设我们的目标是要估计平均期望寿命模型的循环周期长度为一年
26
基于非时间依赖死亡概率的期望值 (也即 平均期望寿命)
15.891 years
27
Markov 队列快速分析结果输出
解释：一个有病的个体，经历50年后， 累积保持在原状态的概率为：2.4% 累积转化为健康状态的概率为：3.8% 累积死亡的概率为：93.8%
28
基于非时间依赖死亡概率的状 态概率图
24
改变数据格式以匹配Markov 模型的输出
25
队列分析结果查看
提交（Roll back）本次分析
‐ 选择Analysis > Roll Back from the menu. menu
创建队列快速分析结果： 建
‐ 选择Markov结. ‐ 选择Analysis > Markov Cohort > Markov Cohort ( (Quick). )
通过循环经历的次数来结束队列： _stage =50 通过条件表达式来结束队列：如某一状态的最 终概率<0.00001
23
_ g 内置计数器和终止条件（ _stage termination condition ）‐1
设定终止条件:
选择 Markov Info 双击“term” 输入终止条件: _stage stage = 50. 保存树