etl开发与大数据开发区别

etl开发与大数据开发区别
"大数据开发”“etl开发”“数据仓库开发"本质上是没有区别的，三者本质上都属于大数据开发，只是侧重点不同。

数仓开发工程师主要是以数据仓库为主，负责涉及多种数据源的开发工作，包括数据过滤、清洗和分析等，参与一些大型分布式应用系统数据流和数据仓库的设计与实现。

ETL工程师本质上与大数据开发工程师没啥区别，在大部分公司里面这两个岗位是差不多的类型。

有的公司ETL则主要是负责清洗原始数据，清洗完之后将数据加载至数据仓库。

大数据开发，是指从事大数据采集、清洗、分析、治理、挖掘等技术研究，并对研究结果加以利用、管理、维护和服务的人员。

大数据工程师处理的数据量较大，负责上千万乃至亿级的数据量开发。