基于大数据的线上线下电商用户数据挖掘研究

第32卷第2期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀中南民族大学学报(自然科学版)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀Vol.32No.22013年6月㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀Journal of South-Central University for Nationalities(Nat.Sci.Edition)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀Jun.2013

㊀㊀收稿日期㊀2013-04-18

㊀㊀作者简介㊀徐国虎(1977-),男,副教授,硕士生导师,管理学博士,研究方向:本体工程㊁语义知识处理,E-mail:aka0005@

㊀㊀基金项目㊀教育部人文社科基金资助项目(10YJC630308);中央高校基本科研业务费专项基金资助项目(31541010805)

基于大数据的线上线下电商用户数据挖掘研究

徐国虎1,孙㊀凌1,许㊀芳2

(1中南财经政法大学工商管理学院,武汉430073;2中南民族大学管理学院,武汉430074)

摘㊀要㊀分析了大数据环境下的O2O 电商用户数据特征,提出O2O 电商用户数据挖掘框架,并探讨数据挖掘流程和主要的数据挖掘方法,分别从O2O 电商平台㊁O2O 用户和O2O 商家三者角度探讨了O2O 电商用户数据挖掘的应用问题.研究认为:O2O 用户数据挖掘框架包括数据来源层㊁数据收集层㊁数据组织层㊁数据分析层与数据应用层等层级;数据挖掘流程主要包括数据收集㊁数据预处理㊁数据挖掘及数据应用4个过程;O2O 电商用户数据的挖掘应用包括精准营销㊁平台网站优化㊁欺诈分析与防范㊁个性化推荐㊁增值服务开发与产品创新等方面.关键词㊀数据挖掘;O2O 电商;用户数据;大数据

中图分类号㊀TP274;F724.6㊀文献标识码㊀A㊀文章编号㊀1672-4321(2013)02-0100-06

Study on Big Data-Based Mining of O 2O EC UsersᶄData

Xu Guohu 1,Sun Ling 1,Xu Fang 2

(1School of Business Administration,Zhongnan University of Economic and Law,Wuhan 430073,China;

2College of Management,South-Central University for Nationalities,Wuhan 430074,China)

Abstract ㊀In this paper,not only the characters of O2O EC user data but also their data mining framework,procedure and the main methods are analyzed.And the application issue of O2O EC user data mining is highlighted from the perspective of O2O EC platform enterprises,O2O users,and O2O merchants.By theoretical analysis,the paper gets the following conclusions.Mining framework of O2O user data consists of data sources layer,data collection layer,data organization layer,data analysis layer and data application layer.Data mining process includes data collection,data preparation,data mining and data application.The O2O user data mining can put forward precision marketing,platform website optimization,

fraud analysis and precaution,personalized recommendation,the development of value-added services and product innovation based on mining result.

Keywords ㊀data mining;O2O EC;user data;big data

㊀㊀Online-to-Offline(简称O2O)电子商务模式,是一个连接线上用户和线下商家的多边平台商业模式.O2O 商业模式将实体经济与线上资源融合在一起,使网络成为实体经济延伸到虚拟世界的渠道;线下商业可以到线上挖掘和吸引客源,而消费者可以在线上筛选商品和服务并完成支付,再到实体店完成余下消费.它最先由TrialPay 创始人AlexRampell 提出,在2006年沃尔玛公司的B2C 战略中予以应用,随后以网络团购形式为大家所熟知.目前O2O

电子商务与社交网络和移动终端紧密结合,除网络团购之外,还出现了移动优惠㊁签到㊁个性推荐等基于位置的增值服务等商业形态;从事O2O 电商的企业更是数以万计,除了Foursquare㊁大众点评网㊁拉手网等后起之秀外,还不乏FaceBook㊁Twitter㊁腾讯和百度等业界巨鳄也在迅猛跟进;O2O 电商交易额也迅速放大,2011年大众点评网营业额已破10亿元;与交易猛增随之而来的是爆发式增长的O2O 电商数据,大众点评网目前每天的活跃数据量已经超

过10TB,共有240万商家信息和5500万活跃用户在上面活动,每天发表点评超过80万条,每日点评浏览量超过4700万人次[1].

用户数据的暴增与数据的社会化在很大程度上模糊了O2O电商企业数据的边界,这些由用户创造的海量数据远远超越了目前人力所能处理的范畴.庞大的数据量使得数据过载㊁数据冗余㊁数据捕获成本快速增长㊁数据价值不易获得成为O2O电子商务面临的新问题.根据相关统计显示[2],如今世界已经进入到大数据时代,电子商务中用户数据每年增长约60%,企业平均捕获其中的25%~30%,但数据的利用一般不足其5%,用户数据作为O2O电商核心资源的商业价值远未被挖掘.基于此,本文对 大数据 环境下O2O用户数据挖掘以及应用进行了分析.

1㊀大数据环境下O2O电子商务用户数据特征分析

相比传统的电子商务数据,O2O用户数据并不仅仅局限于平台数据,即用户在O2O的交易数据,还包括了社交网络㊁用户移动终端的地理位置等数据.也就是说,O2O电子商务用户数据为在O2O电商日常经营中产生和积累的与用户相关的交易㊁互动㊁观测数据.O2O用户数据具有大数据的特征. (1)体量大.不少的O2O电商企业每日所产生的用户数据已经达到TB级.在融入了社交网络和移动互联网的O2O电子商务中,O2O用户数据已不仅仅是用户交易数据,它拥有更加广泛的数据源,其数据规模会从TB级跃升到PB甚至是EB级.未来企业会将更多的TB级数据应用于商务智能和商务分析.

(2)类型多.O2O用户数据类型复杂.它并不仅限于O2O用户基本资料㊁用户消费记录㊁电商企业内部业务信息等海量的结构化和半结构化数据,还包括用户评论等反馈数据㊁用户O2O平台行为记录㊁移动终端数据和社交媒体等非结构数据. (3)速率快.O2O模式对用户数据实时处理有着极高的要求:用户数据伴随用户行为产生,这些数据往往是高速实时数据流,例如用户在线下商家的消费情况㊁用户的地理位置和移动方向等,而且O2O业务周期短,这需要实时的分析用户数据并根据分析结果对用户进行个性化服务,通过传统的数据库查询方式得到的 当前结果 很可能已经没有价值.

(4)价值高.O2O用户数据有着巨大的商业价值.用户是O2O业务的核心,对用户进行预测分析与深度复杂分析,对O2O电商企业无疑有着重大的价值,但庞大而繁杂的不相关用户数据,这也决定了其价值密度低的特性.

2㊀大数据环境下O2O电商用户数据挖掘流程与方法

2.1㊀O2O电商用户数据挖掘框架

由于O2O电商用户数据的4V大数据特征,电商企业并不能运用传统数据分析技术对其进行很好的利用.传统数据分析与大数据挖掘都是从数据中提取有用信息㊁发现知识,是对数据进行深入分析和增值开发利用的过程,但是它们之间有着本质区别,主要体现在[3]:1)两者分析的数据规模不同,传统数据分析处理的通常是存储在数据库或者文件中的数据,数据规模一般是GB级以下,而大数据挖掘中的数据规模一般是PB级甚至更大量级;2)两者分析的数据类型不同,传统数据分析主要针对静态的㊁结构化的数据,而大数据挖掘的对象不仅仅是结构化数据,还包括半结构化㊁非结构化数据,很多时候是以实时数据为主;3)两者的分析手段与方法也有差别,传统数据分析的主要算法以统计学为基础,分类和预测是两种常见的数据分析形式,主要包括探索性数据分析(EDA)和验证性数据分析(CDA),而大数据挖掘不仅仅需要统计学方法,还大大使用了机器学习㊁人工智能的算法.

应用于传统数据分析的统计学方法主要有[4]:数学运算㊁快速傅里叶变换㊁平滑和滤波㊁基线和峰值分析.然而这些方法在大数据环境下是很难有效使用的,一方面传统数据分析需要假设检验,即需要在明确的假设前提下分析数据,因而严重依赖于数据分析师及分析过程,若数据分析员不熟悉业务情景或无法准确理解分析目标,传统数据分析工具就难以承担O2O电商客户数据挖掘重任;另一方面传统数据分析只适合结构化数据,难以集成和分析地理数据㊁视频数据㊁文本数据等非结构化数据.另外,传统数据分析实时性差,很难以合理的成本获得可接受的响应时间,直接导致在传统分析过程中投入较高的成本,却不能及时获得管理人员所需要的分

101

第2期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀徐国虎,等:基于大数据的线上线下电商用户数据挖掘研究