【CN110136328A】一种基于动态视觉识别的AI智能售货柜【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910347329.8

(22)申请日 2019.04.25

(71)申请人 武汉市哈哈便利科技有限公司

地址 430000 湖北省武汉市东湖新技术开

发区珞瑜路243号科技大厦1201-11号

(72)发明人 黄凯　邱常伟　田维国　叶玉彪　

李永宗　

(74)专利代理机构 南京纵横知识产权代理有限

公司 32224

代理人 徐瑛

(51)Int.Cl.

G07F 11/00(2006.01)

G07F 11/72(2006.01)

G06K 9/00(2006.01)

H04N 7/18(2006.01)

H04N 5/76(2006.01)H04N 5/235(2006.01)H04L 29/08(2006.01)

(54)发明名称一种基于动态视觉识别的AI智能售货柜(57)摘要本发明公开一种基于动态视觉识别的AI智能售货柜，售货柜与云服务器通信连接，售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头，与摄像头连接的控制模块和无线传输模块；云服务器包括动态视觉识别算法处理模块和存储空间；摄像头将物品离开柜体的整个过程拍摄成视频，通过无线传输模块上传到云服务器中，由动态视觉识别算法进行视频处理计算识别，识别后的结果通过网络发送给用户支付终端进行扣费。本发明能够减少售货柜硬件部件数量简化硬件的装配，售货柜内实现多商品的叠加摆放，降低整机成本，提升售货柜的空间利用率，实现无人零售，极大的降低零售人工成本和场租成

本。权利要求书2页 说明书7页 附图5页CN 110136328 A 2019.08.16

C N 110136328

A

权　利　要　求　书1/2页CN 110136328 A

1.一种基于动态视觉识别的AI智能售货柜，其特征在于，所述售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头和智能锁连接的控制模块和无线传输模块；所述云服务器包括动态视觉识别算法处理模块和存储空间；所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中。

2.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体上设置有面向用户的二维码和刷卡机，用于通过手机支付终端扫描二维码来开锁开门，或者通过NFC、IC支付卡刷卡的方式来感应开锁开门。

3.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体上方设有灯箱罩，所述摄像头设置在灯箱罩上。

4.根据权利要求3所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头设置在灯箱罩前表面的左下角位置，所述第二摄像头设置在灯箱罩前表面靠近柜体一侧的中心位置。

5.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体内设有至少两个灯条，用于为所述柜体内的物品提供照明。

6.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述搁架放置在搁架支撑条上，所述搁架支撑条设置在柜体两侧的侧壁上。

7.根据权利要求1所述的基于动态视觉识别的AI智能售货柜，其特征在于，所述柜体正面设有玻璃门，所述玻璃门通过铰接件安装在柜体上。

8.一种基于动态视觉识别的AI智能售货柜的应用方法，采用如权利要求1至7中任一项所述的AI智能售货柜实现，其特征在于，包括：

S1，控制模块接收开门指令，控制AI智能售货柜的门打开，同时播放购物欢迎语；

S2，控制模块判断门是否拉开，如果门拉开，则控制摄像头开始录制视频；

S3，控制模块接收到门已关闭的指令，控制摄像头停止录制视频，同时播放购物结束语；

S4，控制模块通过无线传输模块上传摄像头录制的视频至云服务器，同时将摄像头录制的视频保存在本地；

S5，云服务器中的动态视觉识别算法处理模块识别摄像头录制的视频，通过网络将识别结果返回至手机支付终端，动态视觉识别算法采用FasterRCNN目标检测算法来对视频中的每一帧进行目标检测，若某一帧中出现商品，该算法可以用检测框对其进行定位检测，然后提取出检测框中的商品特征，从而识别出该商品的种类，由于每一帧中商品的呈现形式不同，所以识别的商品类别会出现不一致，因此基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；

S6，判断识别结果是否异常，若动态视觉识别算法处理模块无法在视频中检测出照片，即超过1/3面积为黑影，判定为摄像头被遮挡，则本次识别结果为异常，需要调用本地存储的视频进行确认，如果确认异常，即按照异常扣款；

2