5G开源平台技术实现方案 V1.0-20190311

一、需求背景搭建5G标准开源代码知识产权状态评估平台，能够满足高可靠性和实时性分析要求，能够对包括Apache、GPL、BSD在内的开源协议代码对比分析，支持同时处理超过十万条开源代码的对比分析，能够对有关的专利、商标数据信息进行对比分析。

二、功能架构三、技术解决方案3.1存在问题源码的对比存在很大的难度，主要存在以下几个问题：（1）改变程序注释、变量名、函数位置;（2）将子程序展开，嵌入至调用子程序的函数中;（3）添加无效语句和变量;（4）等效语句的替换;（5）等价表达式的替换;（6）改变循环语句或选择语句;（7）用过程体代替过程调用语句；（8）引入非结构化的语句；（9）组合原来的和复制后的程序段；（10）改变程序中独立语句的顺序。

3.2解决思路解决源码对比，首先要确定两段代码相同的依据。

1、文件名相同、文件内容完全相同，则认为相同。

2、若二者比对项的相应内容不完全相同，但比对项的必要部分、或主要部分没有本质区别，属于实质性相似，则二者的比对项仍具有同一性。

比如一段源码的注释中签名信息：作者、邮箱、公司、编写日期完全和另外一段代码相同，应认定相同。

3、如果一段开源代码和另外一段开源代码存在一定行数的代码完全相同，则认为相同。

针对以上的判定依据，我们提出以下解决方案：1、针对问题1，可采用MD5算法排重，因为相同的文件的MD5算法相同，且MD5长度固定，易于存储和检索。

可在几秒钟内完成上亿数据的对比。

百度网盘采用这种方式判断文件是否相同。

2、针对问题2，如果一段源码注释、签名存在大量的一致。

我们可将代码注释和签名等信息提取出来，建立索引库，对比前先进行搜索，如发现有相同的，则标记文件为可疑文件。

3、针对问题3，主要是对源码本身进行对比，这里我们首先就需要对源码进行处理，因为源码中一般有大量的空行，剔除空行后我们再进行对比，这里我们先运用SimHash算法，对源码每个文件进行SimHash算法，它通过将原始的文本映射为64位的二进制数字串，然后通过比较二进制数字串的差异进而来表示原始文本内容的差异，文本都转换为simhash签名，并转换为long类型存储，存储空间大大减少，通过计算两个simhash的海明距离来判断相识度，进行初步的筛选，将相识度高的文件标记为可疑文件。

注：SimHash算法来进行文档和代码的查重，SimHash是Google在2007年发表的论文《Detecting Near-Duplicates forWeb Crawling 》中提到的一种指纹生成算法或者叫指纹提取算法，被Google广泛应用在亿级的网页去重的Job中。

通过SimHash算法进行初步的筛选后，将相近的文件标记为可疑文件。

4、通过第2步、第3步可将范围大大缩小，正对标记的可疑文件，我们进行最后的按行对比。

这里我们采用diff进行比较，diff是linux的命令，diff命令用于比较两个文件的差异。

5、经过以上四步基本上就可以找出相同的源码。

并提供可视化的比较界面。

导出比较报告。

图源码对比分析步骤图3.3 开发语言本系统基于B/S结构，采用java语言开发并结合流行的Hadoop大数据分析平台。

支持多用户、多角色，采用高可用、高吞吐的分布式集群部署、多数据源，多级用户通过浏览器访问系统。

3.4技术架构本项目是面向服务的SOA架构体系，大数据分析可视化服务设计采用J2EE （Java 2 Platform Enterprise Edition）三层架构来构建，用Java 实现界面显示和用户交互功能，采用成熟框架品支撑业务处理组件的运行环境，保证系统架构的稳定性、高可靠性和扩展性；Hadoop大数据分析计算服务，采用流行的Hadoop 生态框架完成，使用流行的Spark框架完成从数据仓库读取数据到并行实时计算的功能，数据处理后将数据写回数据仓库并提交给可视化服务用作结果展示；基础数据服务使用ETL工具和Flume、Kafka等工具，从各个数据源包括但不限于数据库、文档服务器、网络爬虫数据获取数据，并经过ETL工具清洗、过滤、正规化处理，存储到Hadoop数据仓库中。

图技术架构图开发框架应用展示系统使用SMF（Spring+myBatis+freemarker）框架，Spring负责控制层，myBatis负责数据层，freemarker负责展现层，前端展现构建结构清晰、可复用性好、维护方便的服务器架构。

SimHash算法的内容是：1.分词。

把需要判断文本分词形成这个文章的特征单词。

然后形成去掉噪音词的单词序列并为每个词加上权重，权重越大，代表这个单词在句子中越重要。

2.Hash。

通过Hash算法把每个词变成Hash值，这样一连串的字符串就变成了一串串数字。

3.加权。

通过对第二个步骤的生成结果，需要按照单词的权重形成加权数字串。

4.合并。

把上面各个单词算出来的序列值累加，变成一个序列串。

5.降维。

把上一步的序列串变为“0、1”的二进制串，形成最终的simHash 签名。

如果每一位大于0记为1，小于0记为0。

6.比对。

经过上诉一系列步骤的计算处理后，要比对的字符串也要经过上面的计算步骤处理，分别和已有的降维后的二进制串进行比对，即可得出校验结果。

3.5系统部署前端采用nginx实现负载均衡、并通过Nginx实现反向代理服务器集群，同时作为静态页面和图片的缓存，后端通过tomcat应用集群，配置redis缓存服务器，数据库端采用mySql数据库读写分离，同时针对整体环境增加zabbix监控系统，保证系统稳定运行，大数据集群采用Cloudera Manager搭建部署CDH版本的Hadoop集群。

3.6分布式文件系统针对平台需求所提出的高可靠性和实时性，同时支持超过10万条代码的对比，可见平台对文件处理速度、性能要求非常高，由此推荐选择开源的FastDFS分布式文件系统来进行存储开源代码、专利、商标基础数据。

FastDFS 是一个开源的高性能分布式文件系统（DFS）。

它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。

主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的storage server和group，每个storage 在启动后会连接Tracker，告知自己所属group 等信息，并保持周期性心跳。

Storage Server：存储服务器，主要提供容量和备份服务；以group 为单位，每个group 内可以有多台storage server，数据互为备份。

Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。

存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。

一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。

只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

3.7前后端分离前端：一般指Web应用中用户可以看得见碰得着的东西，包括Web页面的结构、Web 的外观视觉表现以及Web层面的交互实现。

前端技术：vue 、element-ui、echarts、html5、css3、javascript、jquery等。

后端：一般指与数据库进行交互以处理相应的业务逻辑，需要考虑的是如何实现功能、数据的存取、平台的稳定性与性能等。

后端技术：spring boot、spring mvc、spring data jpa等开源第三方组件。

3.8功能实现1）开源代码、专利、商标数据：数据存储采用FastDFS分布式文件系统存储即可以满足大数据、高可靠性、实时性、高可用的要求，FastDFS支持存储GB、TB、PB级的分布式数据，当硬件磁盘不够时，通过水平增加服务器即可解决容量不足问题，另外FastDFS对小文件处理非常高效，要比HDFS更加合适。

2）开源代码知识产权状态评估引擎：该引擎主要实现一个高性能处理代码对比分析的工具，可以引入相关开源对比工具或采用java核心技术多线程进行设计开发，处理能力可以结合微服务+多线程任务进行并发处理。

3）数据库加工模块：该模块需要实现可视化加工，即采用前端UI技术以及后端API接口实现操作分布式文件系统，已达到灵活管理开源代码、专利、商标基础数据目的。

4）对比分析模块：该模块主要由后端分析引擎发布接口，由前端UI调用来达到查看、编辑、分析、对比的目的。

5）信息编辑模块：系统提供对各种基础数据的编辑接口。

6）信息查询模块：系统提供对各种基础数据的查询接口。

7）知识产权状态评估模块：系统提供数据分派、待办、审批、办理过程等接口。

8）知识产权状态统计模块：系统采用echarts图表组件来提供丰富的数据展示统计。

10）知识产权状态发布模块：系统提供短信通知、邮件通知等功能。