传感器原理与应用数据分析第讲章 数据分析与处理

第八章 数据分析与处理
《数据采集与处理》
二、典型的数据类型
1、正态性检验 根据被测信号的概率密度分布图判别 正态性检验通常把一组数据序列点在一种专用的正态概 率纸上，若各点近似地落在一条直线上，则说明样本符合 正态分布。 通过累积概率分布图的规律也可进行数据正态性的检验。 2、平稳性检验 如果信号的均值近似是常数，信号的自相关和起始时间无 关，仅和时间差有关。 目测的话，平稳信号曲线各部分的变化小、波峰波谷分 布均匀、变化频率较为一致。 平稳信号对应的被测系统的基本特性不随时间改变。 分段统计特性分析法（轮次法）
第八章 数据分析与处理 随机序列平稳性检测的轮次法
《数据采集与处理》
设有—随机序列X、长度为M,现将其分成N个子区间、求出各 子区间的均方值、然后再求这N个均方值的中值、即大小处于中 间位置的值。所谓轮次检验是将这N个均方值逐个与中值比较、 其大于中值者记为“+’，小于中值者记为“—”、这种从“+’”到 “一”和从“一’到“+’的变化次数称为轮次数，用r表示。一个 序列的轮次数反映序列的独立性，平稳随机过程的轮次数将满 2N1N2(2N1N2-N) N1N2 足—定的统计规律 σ= μ= +1 2 N (N-1) N
第八章 数据分析与处理 2）平均斜率法消除趋势项
《数据采集与处理》
平均斜率法消除趋势项前后曲线变化，如图所示。
（a）消除趋势项前的原始数据
（b）消除趋势项后的原始数据
平均斜率法消除趋势项
第八章 数据分析与处理 3）有高阶趋势项的零均值化 设有序列 xn x ={x ,x ,x ......x } n 1 2 3 N
1 N μ= xi N i=0
ai=xi-μ
σ=
1 ( (xi) 2 -( xi 2 )/n) (n-1)
当 |ai| 3σ ，该点即为奇异点，应剔除。
(a) 剔除异点前的波形 (b) 剔除异点后的波形 剔除疑点前后波形的形状
第八章 数据分析与处理
《数据采集与处理》
8.1 数据预处理
五．噪声与周期性干扰信号的消除 1）有效频率以外的噪声与干扰信号的消除 低通滤波器（去高频） 高通滤波器（去低频） 带通滤波器（去高低频） 2）有效频率以内的噪声与干扰信号的消除 带阻滤波器 频域消除法
第八章 数据分析与处理
《数据采集与处理》
8.1 数据分析意义
一、数据分析概述 数据分析： 数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的 信息集中、萃取和提炼出来，以找出研究对象的内在规律。 数据分析内容： 1）收集信息； 2）选定模型； 3）推断处理：识别真假信号、修正系统误差；分析信号的 基本特性和类型，便于选择合理信号处理方法；提高信号处理 的可靠性。 数据分析的方法通常有： 1) 频域分析：傅里叶变换； 2）时域分析：微积分运算；平滑和滤波；统计分析；
《数据采集与处理》
设高阶趋势项表达式为：x'n =a1 x1 +a 2 x2 +L+ak xk 根据最小二乘法原理求出 a1 ,a 2 ,a 3 ,...a k 则零均值化后
x(t)
x ''n
' ，x''n xn ห้องสมุดไป่ตู้n
如图所示。
预处理前
预处理后
t
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
三．测试数据的五点三次平滑 平滑，即在满足残差平方和最小的前提，对测试数据进行 处理，减少因一些偶然因素所造成的数据误差的影响，起到剔 除异点的作用。 平滑处理是进行分段拟合。五点三次平滑是用三次多项式 拟合相邻五个点的数据。 y(t ) a a t a t 2 a t 3
自相关分析法：如果自相关函 数曲线呈现周期性变化，则认为 被测信号呈现周期性。如图所示。
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
数据采集所得的原始信号，在分析处理前需要进行预处 理。预处理工作主要包括去干扰、消除趋势项、剔除异常数据、 平滑、拟合等。 一、趋势项 1、趋势项就是在信号中存在线性项或缓慢变化的、周期大 于记录长度的非线性成分。 原因： (1)抽样时未对原始信号加以适当的处理，如在A／D 转换前未进行必要的高通滤波，使抽样信号中含有不需要的低 频成分。 (2)由于外界原因，包括传感器或仪器的零点漂移；传感器 安装不当、测试对象的基础运动等原因引起的信号波形漂移； 积分放大器后产生的趋势项。
式中：N为区间总数；N1均值大于中值的子区间数； N2均值大 于中值的子区间数；a为置信度区间；
r


2
r r


2
第八章 数据分析与处理
《数据采集与处理》
3、周期性检验 根据被测系统的物理力学特性判别 如果系统的基本物理力学特性随时间周期性变化，则 认为被测信号呈现周期性。 目测检验 观测被测信号的记录曲线，如果信号曲线成周期性变 化，则认为被测信号呈现周期性。
0 1 2 3
其中，系数a0~a3通过对分段5点按最小均方标准进行拟合得到。
(a) 平滑前的波形
(b)平滑后的波形 数字信号平滑前后的波形
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
四．奇异点剔除 剔除异常数据是根据统计学原理。统计学认为，大量采样 数据值不超过超过标准差的3倍。若以零均值信号的3倍标准差 为置信区间，其置信度可达到99.74％，因此大于3倍标准差的 信号几乎不存在，可以视为异常点。 P(|x-μ|>3σ) 0.0026
第八章 数据分析与处理
《数据采集与处理》
2.趋势项的处理方法 1）零均值化处理 设有序列 xn ，即 x n ={x1 ,x 2 ,x 3 ......x N } 其均值为 N
μx = 1 xi N i=1
x(t)
预处理前
零均值化后 x 'n 即 x'n =x n -μ x
如图所示。
预处理后
t
零均值化处理
第八章 数据分析与处理 2）平均斜率法消除趋势项 即：一阶趋势项的零均值化
《数据采集与处理》
u(t)=μ+a(t-T0/2)+x(t)
0 t T0
式中 u(t) ——调试所得的原始信号； μ —— 均值； a ——平均斜率； T0 ——抽样总时间； x(t) ——清除趋势项后的信号；