机器视觉在表面瑕疵检测的应用

(b1) 原始影像
(b2) 傅立叶转换影像
各个流程方法之处理结果
21000 18000 15000 ¨ ¤ × 12000 « Ö ² ¥ 9000 [ È ­ 6000
A 3000
0
(a) 原始影像（） 39

0
10
20
30
40
50
60
70
80
90 100 110 120 130 140 150 160 170
18000 15000 ¨ 12000 ¤ × « Ö 9000 ² ¥ [ È 6000 ­
A 3000
0 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 Nó à « § ¤ × À¤ ´ ¤ ¨ «

原始影像
傅立叶影像

(b4) 检测结果影像
布纹纹路之实验结果（续）
(c1) 瑕疵为毛球之布纹 原始影像（ =11）
(c2) 图(c1)之傅立叶频 谱
(c3) w =15之反傅立叶 影像（ =4）
(c4) 检测结果影像
(d1) 瑕疵为脱线之布纹 原始影像（ =11）
(d2) 图(d1)之傅立叶频 谱
(d3) w =15之反傅立叶 影像（ =4）
v
L
L
L
A
O
B

u
w
影像还原
反傅立叶转换 使得原始影像上具规律性纹路呈现为 一致性的影像
ˆ x, y 1 F (u, v) 1 f N NF u, v exp j 2 ux vy N N u v
2 2 N 2 N 2
(a)同构型（homogeneity）
(b)异质性（Heterogeneity）
影像转换
将原始影像由空间域转为频率域的 傅立叶频谱
N 2 N 2
F u, v
1 N
f x, y exp j 2 ux vy N
x N N y 2 2
最佳半径的选取(1)
K (r )
r (r ) (r s) s s
r 0, 1, 2, 3, ...,
最大曲率的最佳半径： r arg max K (r )
r


N 2
四种可能去除随机性纹路的策略
1. 去除中心点 2. 去除最佳半径以内之频率元素 3. 去除最佳半径以外的频率元素（不含去 除中心点） 4. 去除中心点与最佳半径以外的频率元素
规律性随 机纹路特 征已趋近 于一致性
(a1) 无瑕疵纹路影像
(a2) (a1)去除中心点与最佳 半径以外的频率元素
(a3) (a2)的影像还原
强化瑕疵 与背景之 对比，且 凸显出异 常区域的 瑕疵
(b1) 有瑕疵纹路影像
(b2) (b1)去除中心点与最佳 半径以外的频率元素
(b3) (b2)的影像还原
计算每个环形半径的平均能量值
v
每个环形半径对应在傅立叶频谱上的位置
(0,N/2)
影像大小： N N
傅立叶频谱上的坐标 ( u, v )
(-N/2,0) (0,0) (N/2,0)
u
中心点的坐标 ( 0, 0 ) 频率元素的功率强度（能量）：
P (u , v) F (u , v)
2
(0,-N/2)
应用机器视觉于方向性纹路 之表面瑕疵检测
纹路的种类
•有方向性的纹路（directional texture）
–灰阶变化具有规则性且依特定方向重复的现 象，且呈现某些固定方向的结构特征 –如纺织品之经纬或切削加工件之刀纹等
•无方向性之随机纹路（random texture）
–不具固定方向性，且随机分布于物体表面 –例如金属铸件
(d4) 检测结果影像
木纹纹路之实验结果
(a1) 无瑕疵之木纹原始 影像（ =10）
(a2) 图(a1)之傅立叶频谱
(a3) w =15之反傅立叶 影像（ =5）
(a4) 检测结果影像
(b1) 瑕疵为压痕之木纹 原始影像（ =11）
(b2) 图(b1)之傅立叶频 谱
(b3) w =15之反傅立叶 影像（ =6）
(b4) 检测结果影像
刨削刀纹纹路之实验结果
(a1) 无瑕疵之刨削原 始影像（ =21）
(a2) 图(a1)之傅立叶频 谱
(a3) w =15之反傅立 叶影像（ =10）

(a4) 检测结果影像
(b1) 瑕疵为刮痕之 刨削原始影像 （ =19）
(b2) 图(b1)之傅立叶频 谱
(b3) w =15之反傅立 叶影像（ =12）
A 3000
0
傅立叶影像
0
10 20 30
40 50
60 70 80
90 100 110 120 130 140 150 160 170
Nó à « § ¤ × À¤ ´ ¤ ¨ «

高周期分量之方向角度
• (1) 非监督式之自动判定法：针对方向性明显且明确的纹路，如刀纹 • (2) 监督式之事先指定参数法：针对方向性不明显且不明确的纹路，如布纹
(b) 图(a)之傅立叶转换影 像（ 129 ）
Nó à « § ¤ × À¤ ´ ¤ ¨ «

(c) 傅立叶转换之霍氏累加值直方图
(d) 高频谱频带（频带宽 w 度 ）
(e) 反傅立叶转换影像
(f) 凸显瑕疵
影像转换
将原始影像由空间域转为频率域的 傅立叶频谱
N 2 N 2
F u, v
(b4) 检测结果影像
布纹纹路之实验结果
(a1) 无瑕疵之布纹原始 影像（ =10）

(a2) 图(a1)之傅立叶频 谱
(a3) w =15之反傅立 叶影像（ =3）

(a4) 检测结果影像
(b1) 瑕疵为油污之布纹 原始影像（ =10）

(b2) 图(b1)之傅立叶频 谱
(b3) w=15之反傅立叶 影像（ =7）
最大曲率
影像大小 N N 间距： s（注：本研究将 s 设为2） 半径 r 在 E (r )平均能量图中的斜率角度：
ˆ ˆ E (r ) E (r s) (r ) tan s
1
r 0, 1, 2, 3, ...,
N 2
半径在平均能量图中的曲率：
纹路特征 已变模糊
(a1) 无瑕疵纹路影像
(a2) (a1)去除最佳半径以外 的频率元素（不包含中心点）
(a3) (a2)的影像还原
但仍残留 少部份之 纹路图样
(b1) 有瑕疵纹路影像
(b2) (b1)去除最佳半径以外 的频率元素（不包含中心点）
(b3) (b2)的影像还原
4.去除中心点与最佳半径以外 的频率元素（本研究采用策略4）
1.去除中心点
随机性纹 路特征仍 存在于影 像之中
(a1) 无瑕疵纹路影像
(a2) (a1)去除中心点 的频率元素
(a3) (a2)的影像还原
仅去除中 心点之频 率元素是 无法有效 去除规律 性纹路
(b1) 有瑕疵纹路影像 (b2) (b1)去除中心点 的频率元素 (b3) (b2)的影像还原
2.去除最佳半径以内 之频率元素
defect-free texture defective texture
300000
200000
100000
范瑕 围疵 贡 献 能 量 较 多 的
转折点 (最大曲率发生的位置)
(b1) 有瑕疵纹路影像
(b2) (b1)之影像转换
0 0 20 40 60 80 100 120 140
r
无瑕疵与有瑕疵纹路之 E (r ) 平均能量图
1 N
f x, y exp j 2 ux vy N
x N N y 2 2
研究方法-傅立叶转换
(a1) 原始影像
(a2)傅立叶转换影像
研究方法-霍氏转换
v
(u , v)
(u0 ,v0)

u
原始影像
18000 15000 ¨ 12000 ¤ × « Ö 9000 ² ¥ [ È 6000 ­
18000 15000 ¨ 12000 ¤ × « Ö 9000 ² ¥ [ È 6000 ­
A
3000 0 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 Nó à « § ¤ × À¤ ´ ¤ ¨ «

去除傅立叶频谱上宽度为Δω之高功率频谱频带 （本研究中Δω设为15）
铣削刀纹纹路之实验结果
(a1) 无瑕疵之铣削原 始影像（ =28）
(a2) 图(a1)之傅立叶频谱
(a3) w =15之反傅立叶 影像（ =8）
(a4) 检测结果影像
(b1) 瑕疵为刮痕之铣削 (b2) 图(b1)之傅立叶频谱 原始影像（ =32）
(b3) w =15之反傅立 叶影像（ =9）
举例
布紋
切削加工件
金屬鑄件
本研究的方法
• 事先并不需要建立纹路的特征指针，而是藉由 傅立叶转换可以凸显方向性纹路之周期性特征 的特性，以及反傅立叶转换之影像还原技术， 来进行方向性纹路之表面瑕疵检测。
纹路之图例
• 方向性纹路-切削加工件
(a1) 原始影像
(a2) 傅立叶转换影像
纹路之图例
• 随机纹路-金属铸件
影像还原
反傅立叶转换 使得原始影像上具规律性纹路呈现为 一致性的影像
ˆ x, y 1 F (u, v) 1 f N NF u, v exp j 2 ux vy N N u v
(b4) 检测结果影像
木纹纹路之实验结果（续）
(c1) 瑕疵为头发之木纹 原始影像（不同方 向）（ =10）
(c2) 图(c1)之傅立叶频 谱
(c3) w =15之反傅立叶 影像（ =6）

(c4) 检测结果影像
(d1) 瑕疵为头发之木纹 原始影像（同方向 ）（ =10）
(d2) 图(d1)之傅立叶频 谱
(d3) w =15之反傅立叶 影像（ =6）

(d4) 检测结果影像
元智大学工业工程与管理研究所
应用机器视觉于随机性纹路表面 之瑕疵检测
研究生：黄哲韵 指导教授：蔡笃铭 博士
Fra Baidu bibliotek
随机性纹路在傅立叶频谱上的特性
傅立叶频谱上的每个频率元素（Frequency components） 的能量（功率）以灰阶表示，能量愈高则灰阶愈白。 频率元素（Frequency components）之功率会呈环状的无 方向性分布。 高功率强度的频率元素会集中分布于中心点附近。 功率强度会随着环状半径的增大而递减。
0
20
40
60
80
100
120
140
r
E (r ) 平均能量图
最佳半径的选取(2)
选择曲率最大时的半径来决定最佳的半径发生的地方
v
(0,N/2)
(-N/2,0)
( 0, 0)
u
(N/2,0)
(0,-N/2)
(a1) 无瑕疵纹路影像 (a1) 无瑕疵纹路影像
(a2) (a1)之影像转换
E (r )
400000
260 240 220 200 180 160 140 120 100 80 60 0 50 100 150 200 250 300
(a)随机性纹路影像
(b)影像经正傅立叶转换之频谱
(c)图(b)之水平能量剖面图
傅立叶频谱的3D能量图
(a1) 无瑕疵纹路影像
(a2) (a1)之影像转换
(a3) (a2)之3D 能量图
(b1) 有瑕疵纹路影像
(b2) (b1)之影像转换
(b3) (b2)之3D 能量图
研究目的
本研究提供一个应用于随机性纹路表面的瑕疵检测 方法，利用影像转换及影像还原的技术来去除具规 律性之随机纹路的特征，而不需透过撷取纹路指标 的方式来进行瑕疵检测。
研究范畴
瑕疵检测的纹路只限于具同构型（Homogeneity）的随 机性纹路。 同构型是指纹路必须能代表规则纹路之自我相似性 （self-similarity）和重复性（repetitiveness）等特征； 反之则为异质性（Heterogeneity）。
R 2 (u , v) I 2 (u , v)
E (r )
130 120
待测影像的每个环形的能量平均值：
1 E (r ) Nr
u v r
2 2
110 100 90
P(u, v)
2
N r 0, 1, 2, 3, ..., 2
80 70 60 50 40 30
半径为 r 之环形上的总点数： N r
已明显减 少规律性 之纹路
(a1) 无瑕疵纹路影像
(a2) (a1)去除最佳半 径以内的频率元素
(a3) (a2)的影像还原
同时将瑕 疵删除而 无法有效 凸显异常 区域
(b1) 有瑕疵纹路影像 (b2) (b1)去除最佳半 径以内的频率元素 (b3) (b2)的影像还原
3.去除最佳半径以外的频率元 素（不含去除中心点）