交互式虚拟产品展示技术的研究

6
网上虚拟商城研究现状（4/4）
Virtual Reality Prototypes for Human Interaction, Training and e-commerce
CITR Virtual e-Commerce
State Key Lab of CAD & CG, Zhejiang Univ. 2004
12
EasyMall运行实例（1/4）
通向不同销售部 的标识牌
Avatar带领客户步入 EasyMall
State Key Lab of CAD & CG, Zhejiang Univ. 2004
13
EasyMall运行实例（2/4）
客户订购选中的服装
EasyMall中家具部
State Key Lab of CAD & CG, Zhejiang Univ. 2004
• Zhigeng Pan, Tian Chen, Minmin Zhang, Bin Xu. Virtual Presentation and Customization for Products Based on Internet, accepted to appear in International Journal of CAD/CAM (IJCC), South Korea.
–虚拟产品及其相关的计算机技术
• 输入装置 & 视觉输出 • 虚拟现实建模语言VRML
–虚拟展示环境
• 桌面系统 • 基于沉浸式头盔显示设备的系统 • 基于投影器的系统
State Key Lab of CAD & CG, Zhejiang Univ. 2004
2
报告主要内容 (2/2)
• 第一部分：概述 • 第二部分：用于商品展示的网上虚拟商城的构建 • 第三部分：基于产品评估的虚拟产品定制展示平台 • 第四部分：虚拟Agent技术在产品展示中的应用 • 第五部分：总结
State Key Lab of CAD & CG, Zhejiang Univ. 2004
20
显示 真实环境
评估系统的物理构成
展示环境
虚拟环境
评估系统的物理构成
State Key Lab of CAD & CG, Zhejiang Univ. 2004
Earphone
Fastrak tracker for headtracking
• Tian Chen, Guofu Yin, Zhigeng Pan, Interactive Design and Presentation of Ceramic Sanitary Products, SPIE Proceeding of the Third International Conference on Virtual Reality and Its Application in Industry, Vol.4756, pp. 259-264, April 2002, Hangzhou, P. R. China. (Indexed by EI)
• 探讨了应用Agent技术实现商品展示
State Key Lab of CAD & CG, Zhejiang Univ. 2004
34
博士后期间完成的学术论文
• Sangyoon Lee, Tian Chen, Jongseo Kim, Gerard J. Kim, Sungho Han, Zhigeng Pan. Using Virtual Reality for Evaluating Affective Properties of Product Design, accepted to appear in IEEE VR 2004 Conference, USA.
16
手机定制系统
手机定制系统的界面
State Key Lab of CAD & CG, Zhejiang Univ. 2004
17
用户
组件结构树
手机定制流程
组件存在?
错误信息提示
上盖 主体
C
下机体 主体
C
其它 组件
上盖/下机体的其 它组件存在否？
N
C
Y
手机控制模块 的工作流程
手机的总体定制流程
State Key Lab of CAD & CG, Zhejiang Univ. 2004
State Key Lab of CAD & CG, Zhejiang Univ. 2004
3
网上虚拟商城研究现状（1/4）
Marcus Kaar’s VSM, German (Vienna University of Technology)
State Key Lab of CAD & CG, Zhejiang Univ. 2004
• 顾客分类：
– 产品档次型 – 价格敏感型
– 产品品牌型 –产品售后服务型
State Key Lab of CAD & CG, Zhejiang Univ. 2004
11
• 关联法则
营销决策机制
• 营销决策模型的自学习过程 • 虚拟智能Agent技术的应用
State Key Lab of CAD & CG, Zhejiang Univ. 2004
虚拟产品的评价方案
25
实验过程
State Key Lab of CAD & CG, Zhejiang Univ. 2004
实验过程及结果分析
100.0 90.0 80.0 70.0 60.0 50.0
1 2 3 4 Env.
Product 1 Product 2 Product 3
三种产品在四种环境中材质感的评价结果图
控制模块？ 形状
尺寸
N
形状存在?
Y
位置
N
形状存在?
Y
颜色
N
形状存在?
Y
控制模块
选择形状
错误信息 错误信息 错误信息
重新设置尺寸 重新设置位置 重新设置颜色
18
三种典型模型的定制实例
(a)
(b)
State Key Lab of CAD & CG, Zhejiang Univ. 2004
(c)
19
产品展示的通常开发流程
0.074338x2 0.0305279 y2 69.884297
24
• Env I为真实评估 环境
• Env II 为基于桌 面的评估环境
• Env III 为基于 3D Model 的虚拟 手操作的虚拟展 示环境
• Env IV则为基于 图象的由用户手 操作的虚拟展示 环境
State Key Lab of CAD & CG, Zhejiang Univ. 2004
State Key Lab of CAD & CG, Zhejiang Univ. 2004
27
虚拟Agent的构建
基于骨架的虚拟人模型
State Key Lab of CAD & CG, Zhejiang Univ. 2004
虚拟人结构层次关系图
28
产品展示中人体动画设计
第一类虚拟人模型 浏览手机动作
• Region-based methods • Pyramid-linking Algorithm • ICP: Iterative Closest Point Algorithm
State Key Lab of CAD & CG, Zhejiang Univ. 2004
31
两种展示方式比较
基于虚拟手展示
Shelf for fixing the pick-up head & the
receiver of 3D mouse
头盔显示设备 (HMD) 的结构
Integrated circuit board for pick-up
camera Earphone
Pick-up head of camera
21
– 图像表达失去些三维信息
32
虚拟Agent展示手机实例
以自我身份进行展示
State Key Lab of CAD & CG, Zhejiang Univ. 2004
以第三者身份进行展示
33
总结
• 基于VRML的虚拟电子商城的构建EasyMall,分析 了如何力求实现个性推荐服务&适宜的营销决 策机制；
14
EasyMall运行实例（3/4）
客户订购选中的服装
系统的菜单交互方式
State Key Lab of CAD & CG, Zhejiang Univ. 2004
15
EasyMall运行实例（4/4）
EasyMall中商务中心
EasyMall中家具部
State Key Lab of CAD & CG, Zhejiang Univ. 2004
两种虚拟展示环境的建立
两种虚拟展示环境的建立
State Key Lab of CAD & CG, Zhejiang Univ. 2004
无线按键设备
22
运动捕捉设备
数据捕捉系统 UltraTrak Pro 与FasTrak示意图
State Key Lab of CAD & CG, Zhejiang Univ. 2004
State Key Lab of CAD & CG, Zhejiang Univ. 2004
报告人：陈 田 合作导师：潘志庚
Feb.15, 2004
1
报告主要内容 (1/2)
• 第一部分：概述
–课题的来源及研究意义
• 国家教委优秀青年教师教学科研奖励计划“基于 因特网的虚拟现实和电子商务集成技术”
虚拟人接听手机 动画设计的动作序列图
State Key Lab of CAD & CG, Zhejiang Univ. 2004
29
虚拟手臂的运动求解
简化人体上肢的动力学链
State Key Lab of CAD & CG, Zhejiang Univ. 2004
30
基于图象的虚拟Agent展示环境
100.0 Scores
90.0
80.0
70.0
60.0
50.0
Env.
1
2
3
4
P roduct1 P roduct2 P roduct3
ຫໍສະໝຸດ Baidu
三种产品在四种环境中精巧感的评价结果图
26
CAVE环境下虚拟手机展示
带有跟踪传感器的立体眼镜
Ascension Tech公司的Flock of Bird 运动跟踪系统
由Fastrak获取的平面 数据变形图
23
Fastrak数据修正
一次线性传递函数回归结果
去除次要影响因子后的二次函数回归结果
二次多项式传递函数回归结果
State Key Lab of CAD & CG, Zhejiang Univ. 2004
对捕捉数据z坐标的修正函数: Z ' 0.3273427x 1.0852512 y 1.500182z 0.058494 yz
• 手机的定制系统的开发，分析了各功能模块的 组成及其系统提供的定制流程；通过实验分析 在四种评估环境下应用VR技术评估虚拟产 品——手机的感性属性的可行性；
• 提出了虚拟产品的展示流程；重点分析了基于 模型3D Model 的虚拟手操作的虚拟展示环境与 基于图象的由用户手操作的两种不同的虚拟展 示环境的构成、关键技术
4
网上虚拟商城研究现状（2/4）
CDSN Lab’s VSM, Korea
State Key Lab of CAD & CG, Zhejiang Univ. 2004
5
网上虚拟商城研究现状（3/4）
(b) VR-Shop
(a) Marcus Kaar’s VSM, German
State Key Lab of CAD & CG, Zhejiang Univ. 2004
7
• 特征：
–交互性 –智能性 –可接近性
• C/S 模式
– Server: Java编写 – Client: Java applet
• EAI:
– An interface between VRML-Browser and Java Applets
State Key Lab of CAD & CG, Zhejiang Univ. 2004
EasyMall的总体框架
8
EasyMall数据库主表间的联系图
State Key Lab of CAD & CG, Zhejiang Univ. 2004
9
虚拟导购过程分析流程图
State Key Lab of CAD & CG, Zhejiang Univ. 2004
10
产品域和客户域
• 产品域: 一个有着许多共同属性的产品的集合 • 客户域: 来源于客户个人资料和一些推断属性。
基于手臂图像展示
• 基于图象的劣势：
• 基于图象的优势：
– 图片区域的轮廓问题
– 获取准确位置
– 忽略运动前后复杂的坐标变换
– 忽略运动前后复杂的坐标变换
– 摄像机有限的投射视角会限制
– 手臂的显示更加逼真、自然
手臂的动作区域
– 标记圆的限制
State Key Lab of CAD & CG, Zhejiang Univ. 2004