基于前程无忧招聘信息的数据人才需求分析

基于前程无忧招聘信息的数据人才需求分析作者：朱思霖郭丽清

来源：《物联网技术》2019年第08期

摘要：随着大数据时代的到来，企业对数据人才的需求越来越大。如何成为企业青睐的数据人才，合理规划职业发展路径成为所有有志于投身数据产业的人需要思考的问题。该文爬取2019年3月前程无忧网站1万多条大数据相关的招聘信息，通过分析、挖掘得到如下结论：大数据行业中技术类岗位需求量最大，占总量的67.7%;具有3～4年行业相关经验的本科生最容易找到工作;Hadoop，SQL，Spark，Java，Hive等是从事大数据行业不可或缺的技能利器。此外，使用TF-IDF和TextRank两种算法对岗位职责进行关键词提取，排名前3的关键词均为“数据”“经验”“能力”，这验证了市场对数据分析人才的期望，除了基本技能外，同时看重是否有“数据”意识，具备相关行业经验。最后对大数据的岗位职责进行了挖掘，进而绘制出数据科学行业的职业路径图谱。

关键词：数据人才;需求分析;技能类职位;关键词提取;职业路径图谱;数据挖掘

中图分类号：TP391.3 文献标识码：A 文章编号：2095-1302（2019）08-0-05

0 引言

随着互联网的发展及物联网的普及，行业应用所产生的数据呈现爆发式增长。据国际数据公司IDC发布的报道[1]：2018年中国的数据量大约为7.6 ZB，而到2025年，这一数字将增至48.6 ZB，中国的“数据圈”将以年均增长30%的速度领跑全球。海量的数据蕴含着难以估量的价值，有效合理的数据挖掘将成为推动经济发展的一大动力。伴随着海量数据，扑面而来的是数据相关岗位需求量的持续增长。关注市场需求，抓住时代机遇，培养数据人才，探索学科发展，众多国内外专家、学者在学生培养、课程设置、人才需求等方面进行了积极的探索与尝试。

在国内，文献[2-10]分别从各学科方面的人才培养、课程设计、需求分析等角度出发，通过对网络招聘信息进行调查、分析、挖掘，各自给出了大数据环境下的学生培养、课程设置、人才需求方面的建议。具体来说，周晓燕等通过对数据管理人才的招聘信息进行解析，得出了數据分析能力和计算机能力是社会对大数据管理人才的最真实需求的结

论[6]。在高等教育研究方面，何海地综合研究了美国大数据硕士研究生教育的背景及现状情况，并得出了“技术硬指标”和“人文软实力”是数据科学家的必备知识技能的结

论[7]。王曰芬等通过对Web of Science数据库中数据科学有关文献进行检索并分析挖掘，得出了国外的数据科学研究方向及趋势主要集中在数据的存储、归档、管理层面，系统设计、数据深度处理层面，高效的数据价值挖掘层面三个方面的结

论[8]。在招聘信息挖掘方面，张俊峰等通过对国内招聘类网站的数据类岗位进行特征挖掘，得出数据分析师、数据挖掘工程师和信息管理人员在能力、学历、专业知识、工具和计算机技能及工作经验方面的招聘信息有一定的相似性，也存在一定的差异的结论[9]。黄山等利用关联规则分析了大数据领域的招聘信息，并得出一线城市需求量大且大数据的人才需求趋势处于增长态势的结论[10]。

在国外，Baumer认为数据科学是一个跨学科的领域，对于文科生修读数据科学课程应该进行架构性的课程设计，即通过具体问题来获取、管理、分析、处理、查询、可视化数据后，并以书面、图形和口头的方式展示最终成果[11]。

Hardin等则通过对七个机构的案例研究，展示了不同的数据科学方法在课程创新方面的应用，并对本科生参与数据科学课程设计及进行数据研究提供了借鉴[12]。

Gonzales收集并分析了2008—2018年期间Code4Libs Jobs网站上492名图书管理员与档案管理员的职位发布情况，并对编程技术、工作类型、公司类型进行了讨论[13]。

Hammad Rauf Khan等通过对美国高校图书馆数据员招聘广告进行内容分析，讨论了市场紧缺的数据馆员的技能需求、技能偏好，并得出学术图书馆员需要创建和支持数据密集型研究的结论[14]。

众多学者对大数据环境下多个领域的人才需求作出了指引，但是大数据方向的未来职业发展路径仍不够清晰，市场需求的知识技能尚不够明确，招聘企业的关键岗位职责也不够明了。为了解决上述问题，本文爬取前程无忧网站中

10 033条大数据相关的招聘信息，经过对数据的处理分析后，绘制了数据科学行业的职业路径规划，重点分析了大数据技术类人才的技能需求，最后利用TF-IDF[15]算法和TextRank[16]算法对大数据的岗位职责信息进行关键词提取，进而得出大数据方向从业人员的能力要求与知识特点，以期为投身于数据科学行业的相关人员指明方向。

1 数据来源

本文数据源自2019年3月前程无忧网站大数据相关行业的招聘信息。通过网络爬虫方式获取，爬取的关键词设置为“大数据”“数据”，对城市、学历等词条均不设限。经过去重、去空、筛选等数据清洗操作后，有效招聘数据条目为9 608条，该数据词条基本情况如图1所示。本文后续的分析、挖掘等操作均基于此数据，此后不再赘述。

2 数据分析

2.1 不同工作岗位的数据人才分布情况

根据工作岗位将招聘需求信息进行分类，具体为：技术、销售、产品、运营、其他方面等五大类。

在图2中展示了大数据行业各类岗位需求分布详情。其中，图2（a）为大数据各类职位需求占比情况，技术类需求最多，招聘词条数为7 056条，占比67.7%，其余依次为产品（14.5%）、销售（7.9%）、教育（3.7%）、运营（2.6%）、其他方面（3.6%）等。图2（b）展示了大数据职位的各个需求类别的详细划分与占比情况。

以技术类为例，技术类中涵盖了开发、工程、分析、架构、算法、技术、测试、可视化等八个子类，其需求占比数据是根据招聘词条的关键词进行筛选，如开发类需求数目为2 856条，技术类总条目数为7 056条，所以开发类占比为40.48%，以此类推。

2.2 技术类职位挖掘