高级大数据工程师sparkhadoop工程师简历模板范文

高级大数据工程师sparkhadoop工程师简历模板范文
基本资料
姓名：XX 学历：全日制本科
工作年限：4年工作状态：目前正在找工作
工作意向: 大数据研发工程师、spark工程师，Hadoop工程师
薪水：面议
个人技能
1 深刻理解hdfs分布式文件系统存储结构和高可用原理
2 熟练掌握hadoop mapreduce计算框架编程，对yarn的资源调度，作业监控有一定认识
3 掌握storm streaming编程，对定时批量任务处理，分布式rpc 有一定认识
4 深刻了解Spark底层运行机制，
4 熟练掌握scala编程，能运用scala进行spark RDD，spark streaming编程
5 熟悉flume，kafka等日志收集，分发框架的使用，能够将他们和storm，spark进行整合进行数据的实时处理
6 能够熟练运用hive数据仓库工具，对日志数据进行查询，统计等数据操作，并且有一定的数据优化经验
7 能将hive和spark sql进行整合，进行数据查询等相关操作
8 熟悉hbase数据库的使用，及其编程
9 熟悉redis内存数据库，能搭建redis高可用集群及其编程
10 熟悉ELK技术栈，了解ElasticSearch，Logstash的整合使用
11 掌握Sqoop数据迁移工具的使用，能熟练的将数据从不同的存储介质进行迁移
12 了解linux系统，熟悉常用的linux的shell命令，能在linux 系统下搭建开发环境13熟练掌握JavaSE，深刻理解面向对象设计思想，熟练使用IO流操作和集合框架，网络编程等JavaSE主流技术。

14 能使用反射、注解、动态代理等Java高级技术，对代码的封装
抽取及其性能优化有点一定的经验。

15 熟悉Struts，Spring，Hibernate，Servlet，Jsp等WEB编程技术
16 能熟练使用Oracle，MySql主流数据库技术，擅长SQL语句的编写
工作经验
1 公司名称：xx软件有限公司性质：民营
时间：2018年8月-至今职位：大数据研发工程师
参与项目：游戏运营指标分析项目
乐玩家社区用户行为分析项目
移动应用市场应用信息比对项目
2 公司名称：xx发展股份有限公司性质：国有控股
时间：2016年4月-2018年7月职位：JavaEE工程师
参与项目：钦州个人贷款系统
电子档案管理系统
3 公司名称：xx信息技术有限公司性质：民营
时间：2015年3月-2016年3月职位：javaEE工程师
参与项目：xx基层公共卫生服务系统
xx电力中心设备资源管理系统
项目经验
大数据项目部分
项目名称：游戏运营指标分析项目
开发环境：IDEA+maven+scala+jdk+git
系统架构：ElasticSearch+Logstash+Kafka+Zookeeper+Spark+Hdfs+Hbase +
Mysql+Echarts
项目描述：
游戏玩家的各种行为会产生大量的数据，这些数据可以帮助游戏运维者了解玩家的行为和需求，通过玩家反馈的信息可以不断地矫正
游戏中出现的问题，从而让游戏健康稳定的可持续运营。

该项目就是为某公司的一款游戏运营情况做多角度的指标分析，从而更好的为公司的游戏推广策略，精准营销，游戏玩家的体验优化，游戏产品的研发等多方面提供数据反馈参考。

项目中分析到的指标有新增玩家，活跃玩家，玩家留存率，玩家流失率，玩游戏平均时长，玩游戏频次，收入数据（收入金额，充值人数，收入地区分布等）
责任描述：
1 负责日志数据的采集，使用logstash框架，日志数据来源分为两部分：
1）游戏官网埋点采集用户点击日志
2）游戏服务器端收集的所有游戏玩家产生的日志
2 将采集的日志存入kafka，供各个业务模块消费使用
3 利用spark Rdd和spark streaming编程对新增玩家，活跃玩家，玩家留存率，
收入数据等指标的多维度统计分析
4 将自己分析的实时指标数据存入hbase，离线指标数据存入mysql
5 将自己分析的指标结果用Echarts图标展示出来
项目名称：乐玩家社区用户行为分析系统
开发环境： eclipse+maven+jdk+git
系统架构：hadoop+zookeeper+flume+hive+hbase+sqoop+mysql+SSM+E charts
项目描述：
乐玩家社区是联想手机社区论坛，用于用户粉丝交流互动，同时发布联想手机的各个品牌宣传信息，以及收集用户反馈，用户可以在上面发帖，提建议，发起各种交流活动，通过对乐玩家社区网站的日志进行分析，计算网站关键指标，其中关键性指标有，浏览量:页面浏览量即为PV(Page View)，每日登陆用户数UV，每周UV，。

跳出率=跳出数/PV：跳出率是非常重要的访客黏性指标，它显示了访客对网
站的兴趣程度：跳出率越低说明流量质量越好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。

板块访问量pv，和板块独立ip访问量。

多维度用户留存率
责任描述:
1 使用flume监听每天的日志目录，将每天的日志文件上传到hdfs上相应的目录下
2.通过写mapreduce任务对数据进行清洗
3.用hive进行网站的pv，uv，用户注册数，用户留存率进行多维度分析统计
开发步骤：
1. 使用flume把日志数据导入到hdfs中
2. 通过mapreduce对数据进行清洗，生成规范数据文件上传到hdfs
3. 使用hive进行数据的多维分析
4. 把hive分析结果使用sqoop导出到mysql中
5. 提供图表和表格进行数据展示
项目名称：应用市场应用比对项目
开发环境：Eclipse+Maven+jdk+git
技术框架：Httpclient+Xpath+Hbase+Redis+Elasticsearch+Springmvc+Jqu ery+ echarts+zookeeper+ganglia 项目描述：
该项目主要是抓取应用宝、应用汇、360手机助手、百度手机助手，百度安卓市场，小米应用商店，乐商店，华为应用市场等主要手机应用市场，主要获取app应用的标题、软件作者，下载量、软件大小和应用详情等信息，在前台界面为用户提供应用信息搜索查询，以及应用下载量比对等功能，主要为公司自己的手机应用市场研发，提供数据参考依据，这个项目主要分为6个模块，数据下载层、数据解析层、数据存储层、数据处理层、数据展现层、系统监控层。

技术要点：
1：数据下载层，主要负责爬取指定应用市场网站的数据，在这我
们使用httpclient 工具模拟浏览器进行页面下载。

2：数据解析层：主要是这对抓取过来的页面数据进行解析，使用htmlcleaner+xpath 对关键性数据进行解析提取。

3：数据存储层，这个模块主要负责存储应用的详细信息，由于应用详细信息数据量比较大，所以存储到hbase中。

由于需要循环抓取网站中指定分类或者是所有的数据，所以需要把分页的url和应用的url临时存储到一个队列中，这样可以实现一个循
环抓取。

这个url数据相对比较少，并且增删频繁，所以存储到redis的list队
列中。

4：数据处理层，这个模块主要是为前台的查询提供帮助，因为直接根据关键字查询hbase中某一些列的数据，效率太低，所以使用elasticsearch对hbase中的数
据建立索引，也就是es+hbase的架构。

5：数据展现层，这个模块主要提供前台搜索、查询、展示、应用下载量等功能，页面框架使用springmvc，其中价格趋势波动图是使用echarts实现的。

6：数据监控层，这个模块主要负责监控爬虫的声明周期以及服务器硬件的使用情况，监控爬虫的生命周期使用zookeeper中的临时节点来实现，监控服务器的硬件使
用情况，例如硬盘、CPU、内存的使用情况使用ganglia进行监控
责任描述：
1 应用宝，百度安卓市场，小米应用商店3个应用上所有应用信息数据的网络爬取
2 对解析出的应用信息（应用名称，所属研发公司或者团队，下载量，应用大小，评分以
及详细介绍）等信息存入hbase，并抽取查询接口，供前端展示
3 为加快查询速度，对一些关键字段（应用名称，所属研发公司或团队）使用
Elasticsearch字段建立索引，使得前端能通过关键字迅速查询到相应结果
JavaEE项目部分
项目名称：钦州个人公积金贷款系统
开发环境：MyEclipse+Svn+JavaEE5+JDK
技术架构：Spring+SpringMVC+Mybatis+Oracle+ExtJs
项目描述：
住房公积金的个人贷款系统分为网点业务和中心审批两部分。

网点业务业务指需要网点办理的个人贷款各类日常业务，中心审批指在需要中心审批日常业务；在实时系统下，网点日常贷款业务需要务及中心审批结合起来共同完成。

为实现上述功能，住房公积贷款管理系统集成了包括网点贷款受理申请、网点审批、中心审批、合同管理、信用评估、抵押管理、放款管理、项目管理、还款变更、审核设置和查询打印等几大功能模块。

责任描述：申请受审（咨询受理，资料录入，退回上报，资料扫描）
查询（申请状态查询，总账查询，个人明细查询，逾期查询，贷款还清查询）
项目名称：电子档案管理系统
开发环境：MyEclipse+Svn+JDK
技术架构：Spring+SpringMVC+Mybatis+Oracle+Jquery+PB 报表软件
项目描述
电子档案管理系统是一个采用档案电子化、影像数字化、办公无纸化以及信息网络化等先进技术，实现包括档案文件、声音、影像、文本在内的多媒体档案资源的存储和查询检索的计算机系统，为档案资料管理、利用和保护提供了有效的技术保证，可大大节约数据存储空间，无限地延长档案材料保存时间，同时也为查阅、利用档案文献带来了极大的便利。

该电子档案管理系统的功能主要有建档管理，归档管理，档案变更，档案查询，档案借阅，档案归还，档案催还，档
案预约，后台系统管理（组织机构管理，用户管理，角色管理，权限管理）
责任描述：主要负责建档管理，归档管理，档案查询，档案借阅，档案归还等业务模块
项目名称杭州市萧山区电力中心设备资源管理系统
开发工具：MyEclipse + Struts2 + Hibernate3 + Spring3 + Weblogic + Oracle 10g
系统环境：Linux
项目介绍：
本系统是用于对电力监测中心设备资源的管理和维护。

主要功能包括技术设施管理，技术资料图纸管理，站点设备运行管理，监测台建筑管理，系统管理（用户管理，权限管理，色管理，待办事宜，数据字典维护），审批流程管理（申请模板，草拟申请，待我审批，我的申请查询）。

责任描述：主要负责系统管理中的用户管理，待办事宜，数据字典等模块和审批流程管理的申请模板和草拟申请模块，站点设备运行管理
项目名称：杭州市萧山区基层公共卫生服务系统
开发工具：Eclipse + Struts2 + Hibernate3 + Spring3 + SQLyog + MySQL + Tomcat
系统环境：Windows XP
项目描述：
本系统是杭州市萧山区某基层公共卫生服务系统。

以维护居民健康档案为重点，并对居民的健康信息进行数据采集，统计分析，为决策者了解当地的公共卫生服务状况提供数据参考。

主要功能模块包括：系统管理（员工管理，权限管理，角色管理，待办任务，数据字典维护），日志管理（门诊日志查询），档案管理（档案审核入库，档案调出，调出审核、档案归还），公卫服务（健康教育，传染病填报，国家疫苗管理，公卫突发事件管理），统计报表等。

主要负责模块：系统管理中的员工管理、数据字典维护、档案管
理整个模块
自我评价
1 为人随和，具备团队合作精神
2 对待学习工作认真负责，能胜任压力较大的工作；
3 具备较强的英文阅读能力，能够阅读英文技术类文档
4 学习新事物的能力较强，能较快的掌握一门新技术。