大数据环境下数据存储与管理的研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
重点项目中期汇报
大数据环境下存储技术发展对 数据管理研究的影响
1
重点项目中期汇报
提 纲
引言 新型存储及存储层级的演化
面向不同存储层级的数据管理架构
架构变化对技术发展的影响
总结
2
重点项目中期汇报 存储介质的发展推动数据管理技术
NVM /SCM
新型非易失 电容存储
性存储介质
磁存储介质
穿孔卡 纸带
• 数据处理是推动计算机技术发展的核心技术之一 • 作为数据处理的底层支撑，存储介质的更新和相关存储技 术的发展是推动数据管理技术变革和发展的主要驱动力
• 新型存储器件包括：闪存、相变存储器、磁阻式存储、电阻 式存储器、忆阻器等等。具备一个共同特点：非易失性
– 优点：高存储密度、低静态功耗、对粒子及射线撞击产生的软错误 具有抵抗能力等 – 缺点：读写性能不对称、读写次数有限、可靠性不高等
Graph from “基于新型非易失存储的存储结构”, CCF学会通讯 2014
– STT-RAM (Spin-torque transfer Random Access Memory)
Phase change memory
Spin-torque MRAM
• RRAM (Resistive RAM)：电阻 式，实验室原型 • Memristor/Solid Electrolyte ：忆阻器，智能，具有学习能力
1 J/GB 6 J/GB ∼1 mW/GB 2 − 4×
1.5 J/GB [28] 17.5 J/GB [28] 1–10 mW/GB 4×
• Compared to DRAM, PCM has better density and scalability;
PCM has similar read latency but longer write latency
Sources: [Doller’09] [Lee et al. ’09] [Qureshi et al.’09]
10
重点项目中期汇报 新型存储器件 -读写延迟 &性价比
Read energy Write energy Idle power
Density
1 J/GB 6 J/GB ∼1 mW/GB 2 − 4×
1.5 J/GB [28] 17.5 J/GB [28] 1–10 mW/GB 4×
• Compared to NAND Flash, PCM is byte-addressable, has orders
PCM
64B ∼ 50ns ∼ 1 µs 50-100 MB/s per die N/A 10 − 10
6 8
NAND Flash
4KB ∼ 25 µs ∼ 500 µs 5-40 MB/s per die ∼ 2 ms 10 − 10
4 5
∞
0.8 J/GB 1.2 J/GB ∼100 mW/GB 1×
6
新型存储器件-闪存
重点项目中期汇报
• 闪存的工业化程度最高
– SSD（solid state drive） – 闪存芯片+控制器+FTL（WL, LBA-PBA, GC）
• （NAND）闪存的特点
– 读写不对称：写操作需通过加压方式对cell进行电子填充 – 写前擦除：异位更新、块擦除操作 – 寿命有限：块擦除次数有限
of magnitude lower latency and higher endurance.
Sources: [Doller’09] [Lee et al. ’09] [Qureshi et al.’09]
9
重点项目中期汇报 部分性能指标对比 -II
Comparison of Technologies
RAM-1970s
软盘-1971
光盘-1978
Flash-1984
5
重点项目中期汇报 新型存储器件的发展
• 计算机系统性能依赖于
– 处理器的数据计算能力 – 存储层次向处理器传输数据的能力
• 随着多\众核、多线程技术的发展，传统存储器件构成的存 储层次面临的存储墙问题愈发严重
– 处理单元（核）数的增长与存储数据供应能力（容量）不匹配 – SRAM\DRAM的静态功耗过高 – 纠错电路限制了存储容量的增加并引发更多的功耗
FeRAM
Memristor
8
重点项目中期汇报 部分性能指标对比 -I
Comparison of Technologies
DRAM
Page size Page read latency Page write latency Write bandwidth Erase latency Endurance 64B 20-50ns 20-50ns ∼GB/s per die N/A
PCM
64B ∼ 50ns ∼ 1 µs 50-100 MB/s per die N/A 10 − 10
6 8
NAND Flash
4KB ∼ 25 µs ∼ 500 µs 5-40 MB/s per die ∼ 2 ms 10 − 10
4 5
∞
0.8 J/GB 1.2 J/GB ∼100 mW/GB 1×
• SLC （约10万次擦写） • MLC（小于1万次） • TLC（小于1000次）
7
新型存储器件-其他
重点项目中期汇报
• PCM (Phase-change memory) ：相变，工业化，最具潜力 • FeRAM (Ferroelectric RAM)： 铁电式，工业化，可扩展性差 • MRAM (Magnetic RAM)：磁 阻式，工业化，可扩展性差
DRAM
Page size Page read latency Page write latency Write bandwidth Erase latency Endurance Read energy Write energy Idle power Density 64B 20-50ns 20-50ns ∼GB/s per die N/A
3
重点项目中期汇报
提 纲
引言 新型存储及存储层级的演化
面向不同存储层级的数据管理架构
架构变化对技术发展的影响Fra Baidu bibliotek
总结
4
重点项目中期汇报 传统存储器件的演化
• 传统存储设备的演化（go away or on the stage）
纸带-1857
穿孔卡-1884
HDD-1956/1973
ROM-1970s
大数据环境下存储技术发展对 数据管理研究的影响
1
重点项目中期汇报
提 纲
引言 新型存储及存储层级的演化
面向不同存储层级的数据管理架构
架构变化对技术发展的影响
总结
2
重点项目中期汇报 存储介质的发展推动数据管理技术
NVM /SCM
新型非易失 电容存储
性存储介质
磁存储介质
穿孔卡 纸带
• 数据处理是推动计算机技术发展的核心技术之一 • 作为数据处理的底层支撑，存储介质的更新和相关存储技 术的发展是推动数据管理技术变革和发展的主要驱动力
• 新型存储器件包括：闪存、相变存储器、磁阻式存储、电阻 式存储器、忆阻器等等。具备一个共同特点：非易失性
– 优点：高存储密度、低静态功耗、对粒子及射线撞击产生的软错误 具有抵抗能力等 – 缺点：读写性能不对称、读写次数有限、可靠性不高等
Graph from “基于新型非易失存储的存储结构”, CCF学会通讯 2014
– STT-RAM (Spin-torque transfer Random Access Memory)
Phase change memory
Spin-torque MRAM
• RRAM (Resistive RAM)：电阻 式，实验室原型 • Memristor/Solid Electrolyte ：忆阻器，智能，具有学习能力
1 J/GB 6 J/GB ∼1 mW/GB 2 − 4×
1.5 J/GB [28] 17.5 J/GB [28] 1–10 mW/GB 4×
• Compared to DRAM, PCM has better density and scalability;
PCM has similar read latency but longer write latency
Sources: [Doller’09] [Lee et al. ’09] [Qureshi et al.’09]
10
重点项目中期汇报 新型存储器件 -读写延迟 &性价比
Read energy Write energy Idle power
Density
1 J/GB 6 J/GB ∼1 mW/GB 2 − 4×
1.5 J/GB [28] 17.5 J/GB [28] 1–10 mW/GB 4×
• Compared to NAND Flash, PCM is byte-addressable, has orders
PCM
64B ∼ 50ns ∼ 1 µs 50-100 MB/s per die N/A 10 − 10
6 8
NAND Flash
4KB ∼ 25 µs ∼ 500 µs 5-40 MB/s per die ∼ 2 ms 10 − 10
4 5
∞
0.8 J/GB 1.2 J/GB ∼100 mW/GB 1×
6
新型存储器件-闪存
重点项目中期汇报
• 闪存的工业化程度最高
– SSD（solid state drive） – 闪存芯片+控制器+FTL（WL, LBA-PBA, GC）
• （NAND）闪存的特点
– 读写不对称：写操作需通过加压方式对cell进行电子填充 – 写前擦除：异位更新、块擦除操作 – 寿命有限：块擦除次数有限
of magnitude lower latency and higher endurance.
Sources: [Doller’09] [Lee et al. ’09] [Qureshi et al.’09]
9
重点项目中期汇报 部分性能指标对比 -II
Comparison of Technologies
RAM-1970s
软盘-1971
光盘-1978
Flash-1984
5
重点项目中期汇报 新型存储器件的发展
• 计算机系统性能依赖于
– 处理器的数据计算能力 – 存储层次向处理器传输数据的能力
• 随着多\众核、多线程技术的发展，传统存储器件构成的存 储层次面临的存储墙问题愈发严重
– 处理单元（核）数的增长与存储数据供应能力（容量）不匹配 – SRAM\DRAM的静态功耗过高 – 纠错电路限制了存储容量的增加并引发更多的功耗
FeRAM
Memristor
8
重点项目中期汇报 部分性能指标对比 -I
Comparison of Technologies
DRAM
Page size Page read latency Page write latency Write bandwidth Erase latency Endurance 64B 20-50ns 20-50ns ∼GB/s per die N/A
PCM
64B ∼ 50ns ∼ 1 µs 50-100 MB/s per die N/A 10 − 10
6 8
NAND Flash
4KB ∼ 25 µs ∼ 500 µs 5-40 MB/s per die ∼ 2 ms 10 − 10
4 5
∞
0.8 J/GB 1.2 J/GB ∼100 mW/GB 1×
• SLC （约10万次擦写） • MLC（小于1万次） • TLC（小于1000次）
7
新型存储器件-其他
重点项目中期汇报
• PCM (Phase-change memory) ：相变，工业化，最具潜力 • FeRAM (Ferroelectric RAM)： 铁电式，工业化，可扩展性差 • MRAM (Magnetic RAM)：磁 阻式，工业化，可扩展性差
DRAM
Page size Page read latency Page write latency Write bandwidth Erase latency Endurance Read energy Write energy Idle power Density 64B 20-50ns 20-50ns ∼GB/s per die N/A
3
重点项目中期汇报
提 纲
引言 新型存储及存储层级的演化
面向不同存储层级的数据管理架构
架构变化对技术发展的影响Fra Baidu bibliotek
总结
4
重点项目中期汇报 传统存储器件的演化
• 传统存储设备的演化（go away or on the stage）
纸带-1857
穿孔卡-1884
HDD-1956/1973
ROM-1970s