芯片数据预处理方法-

基因芯片的实验流程（双通道）
单通道/双通道基因芯片实例
基因芯片数据分析：对从基因芯片高密度杂交点阵图中提取 的杂交点荧光信号进行定量分析，通过有效数据筛选和相关基因 表达谱聚类，发现基因的表达谱和功能之间的联系。
杂交完成后，要对基因芯片进行“读片”，即应用激光共聚焦荧光扫 描显微镜，对基因芯片表面的每个位点进行检测。
另一种常用基因芯片——寡核苷酸表达谱芯片的数据预处理：由于探针长度 较短（20-25bp），采用匹配/失配探针对方法，即设计一个特异的寡核苷酸（ PM 匹配）、同时设计一个非特异性的寡核苷酸探针（ MM失配），该探针仅仅在中 间位置有一个碱基替换。用PM与MM之间的差值作为信号强度，来解决寡核苷酸 之间非特异性杂交的噪声影响。一般设计11-20对探针来检测一个转录本。 寡核苷酸芯片与cDNA芯片的数据预处理差别主要集中在转录表达值的获取， 即如何将11-20对探针值转化为单个转录的表达值呢，常用三种预处理方法，即 MAS、RAM法、MBEI法。MAS方法将芯片分为k（默认值为16）个网格区域，用 每个区域使用信号强度最低的2%探针去计算背景值和噪声。R M A , 该方法使用回 旋( convolution) 模型计算出芯片的非特异杂交背景均值, 然后以 P M 值减去该均值 获得校正的 P M 值, 再以对数相加模型计算转录的表达值。 使用软件提取表达值：R的affy包ReadAffy()函数可以读取Affy公司出的CEL格式
数据预处理分析流程：算法 （以cDNA芯片为例）
探针水平数据获得（计算机扫描图像）
数据预处理：背景处理、数据清洗、提取表达值、标准化、汇总
获取基因表达数据：判断差异基因表达
聚类和分析
1 探针水平数据（probe-level data）的获得
提取生物样品的mRNA并反转录成cDNA，同时用荧光素或同位素标记。在液 相中与基因芯片上的探针杂交，经洗膜后用图像扫描仪捕获芯片上的荧光或同位 素信号，由此获得的图像就是基因芯片的原始数据（raw data），也叫探针水平 数据。 获取探针水平的数据是芯片数据处理的第一步，然后需要对其进行预处理（ pre-processing），以获得基因表达数据（gene expression data）。基因表达数据 是芯片数据处理的基础。
的标准化计算。
常用的方法是平均数、中位数标准化(mean or median normalization)：源自文库将各组实验的数据的log ratio 中位数或平均数调整在同一水平。中位数标 准化：将每个芯片上的数值减去各自芯片上log Ratio值的中位数，使得 所有芯片的log Ratio值中位数就变成了0，从而不同芯片间logRaito具有可
先定义个阈值M。若行（列）向量中的缺失数据量达到阈值M，则删去该向量。若未
达到M，有两种方法处理，一是以0或者用基因表达谱中的平均值或中值代替，另一 个是分析基因表达谱的模式，从中得到相邻数据点之间的关系，据此利用相邻数据点 估算得到缺失值（类似于插值）。填补缺失值（ k临近法）：利用与待补缺基因距离
基因芯片数据预处理
基因芯片（gene chip），又称DNA微阵列（microarray），是 由大量DNA或寡核苷酸探针密集排列所形成的探针阵列，其工作的基 本原理是通过碱基互补配对检测生物信息。
4个技 术环节
基因芯片制备 样品制备mRNA提取等 杂交反应 信号检测与分析
分类
实验要求：单通道—— 一张芯片检验一种状态 ； 双通道——差异表达基 因的筛选 储存的生物信息：寡核 苷酸芯片（常为单通 道）、cDNA芯片（常为 双通道）
常用的利用R的limma包使用t检验筛选差异表达基因， 利用R的siggenes包使用SAM方法筛选差异表达基因。
False Discovery Rate (FDR)
在基因芯片的实验中，每一个基因/探针，都是一个独立的实验。基因芯 片：高通量，>1,000个基因/探针。 因此，无论怎么比较，总会有一些基因 会是统计显著性差异表的 —— 可能是随机产生的。 如何评估表达差异基因预测的有效性？ FDR = p-value * No. of Genes 例：1,000个探针的双通道芯片，以p-value < 0.01为域值，发现7个上调基 因，5个下调基因，分析结果是否具有统计学意义？计算： FDR= 0.01* 1,000=10 (随机) 。7个上调基因，5个下调基因 < 10，因此上例计算的结果无 统计学意义。 FDR必须远小于发现的差异表达基因数目。
2.2 数据清洗（data cleaning）
经过背景校正后的芯片数据中可能会产生负值，还有一些单个异常大（或小）的 峰（谷）信号（随机噪声）。对于负值和噪声信号，通常的处理方法就是将其去除， 常见数据经验型舍弃方法有：标准值或奇异值舍弃法；变异系数法；前景值＜200； 前景值-平均数/前景值-中位数＜80%等等。然而，数据的缺失对后续的统计分析（尤 其是层式聚类和主成分分析）有致命的影响。Affy公司的芯片分析系统会直接将负值 修正为一个固定值。 对数据的删除，通常是删去所在的列向量或行向量。一个比较常用的做法是，事
最近的k个临近基因的表达值来预测待填补基因的表达值。根据邻居基因在样本中的
加权平均估计缺失值。
2.3 提取表达值
由于芯片数据的小样本和大变量的特点，导致数据分布呈偏态、标准差大。 对数转换能使上调、下调的基因连续分布在0的周围，更加符合正态分布，同时 对数转换使荧光信号强度的标准差减少，利于进一步的数据分析。 cDNA芯片：对双通道数据使用Cy5（红）和Cys3（绿）两种荧光标记分别标记 case和control样本的cDNA序列。扫描仪采用两种波长对基因芯片的图像进行扫 描，根据每个点的光密度值计算相对应的绝对表达量(intensity)；然后图像分 析软件通过芯片的背景噪音以及杂交点的光密度分析，对每个点的intensity校 准，利用Cy5/Cy3的值获取case与control组不同基因的表达值ratio（（R/G
基因芯片探针水平数据处理的R软件包有affy, affyPLM, affycomp, gcrma等。
2 预处理 2.1 背景（background）处理
背景处理即过滤芯片杂交信号中属于非特异性的背景噪音部分。一 般以图像处理软件对芯片划格后，每个杂交点周围区域各像素吸光度的
平均值作为背景，但此法存在芯片不同区域背景扣减不均匀的缺点。也
比性。
3 差异基因表达分析
经过预处理，探针水平数据转变为基因表达数据。为了便于应用一些统计和 数学术语，基因表达数据仍采用矩阵形式。 倍数分析方法：倍数变换fold change，单纯的case与control组表达值相比较， 对没有重复实验样本的芯片数据，或者双通道数据采用这种方法（该方法是对基 因芯片的ratio值从大到小排序，即cy5/cy3比值，一般0.5-2.0之间内的基因不存在 差异表达，范围之外存在差异表达。缺点是倍数选取具有任意性，可能不恰当） 参数法分析（t检验）：当t超过根据可信度选择的标准时, 比较的两样本被认 为存在着差异。但小样本基因芯片实验会导致不可信的变异估计，此时采用调节 性T检验 。 非参数分析：由于微阵列数据存在“噪声”干扰而且不满足正态分布假设， 用t检验有风险。非参数检验并不要求数据满足特殊分布的假设，所以可使用非 参数方法对变量进行筛选。如经验贝叶斯法、芯片显著性分析SAM法。
可利用芯片最低信号强度的点（代表非特异性的样本与探针结合值）或 综合整个芯片非杂交点背景所得的平均吸光值做为背景。
背景处理之后，我们可以将芯片数据放入一个矩阵中：
m11 M = m21 mG1
m12 m22 mG 2
m1N m2 N mGN
其中，各字母的意义如下： N：条件数； G：基因数目（一般情况下，G>>N）； 行向量mi=(mi1,mi2,…,miN)表示基因i在N个条件下的表达水平（这里 指绝对表达水平，亦即荧光强度值）； 列向量mj=(m1j,m2j,…,mGj)表示在第j个条件下各基因的表达水平 （即一张芯片的数据）； 元素mij表示第基因i在第j个条件下（绝对）基因表达数据。m可以 是R（红色，Cy5，代表样品组）。也可以是G（绿色，Cy3,代表对照 组）。
寡聚核苷酸芯片原始数据，并使用exprs函数()查看表达值。
了解芯片预处理的原理和步骤后，完全可以用一个R函数完成数据 处理得到表达值，如Affy包提供的处理函数expresso( )。
ratio）；一般选择以2为底的对数转化数据，比如R/G=1，则 log2R/G=0，即认
为表达量没有发生变化，当R/G=2 或者，R/G=0.5，则log值为1 或–1，这是可 以认为表达量都发生两倍的变化。 以下的数据处理都是对log2R/G的形式进行分析。
2.4 归一化
经过背景处理和数据清洗处理后的修正值反映了基因表达的水平。然而在芯片试验中， 各个芯片的绝对光密度值是不一样的，在比较各个试验结果之前必需将其归一化 （normalization，也称作标准化）。 数据的归一化目的是调整由于基因芯片技术引起的误差，不是调整生物RNA 样本的差异。 在同一块芯片上杂交的、由不同荧光分子标记的两个样品间的数据，也需归一化。常用的 标准化方法有“看家基因法”、基于总光密度的方法、回归方法、比率统计法等。
探针 荧光值
基因 表达值
计算机“读片”机理
将样品中的DNA/RNA标上荧光标记，则可 以定量检验基因的表达水平。
cDNA芯片、载有较长片段的寡核苷酸芯片采用双色荧光系统：目前常用 Cy3一dUTP（绿色）标记对照组mRNA，Cy5一dUTP（红色）标记样品组 mRNA
用不同波长的荧光扫描芯片，将扫描所得每一点荧光信号值自动输入计 算机并进行信息处理，给出每个点在不同波长下的荧光强度值及其比值，同 时计算机还给出直观的显色图。 在样品中呈高表达的基因其杂交点呈红色，相反，在对照组中高表达的 基因其杂交点呈绿色，在两组中表达水平相当的显黄色， 这些信号就代表了样品中基因的转录表达情况。
比率统计法
此方法用于标准化同一块芯片上杂交的两种样品，并且建立于以下的假设之上：在近
似的两个样品中，虽然基因有上调和下调，但一些基本的基因（如管家基因）的表达量是 近似相同的。由此得出一个近似概率密度公式：比率T =R /G（R 和G分别是芯片上第K个点 的红光和绿光的强度），经过迭代算法处理得到一个平均表达比率及其可信限，用于数据