设计报告

程序源代码的相似性

一、课题内容和要求

对于两个C++语言的源程序代码，用哈希表的方法分别统计两个程序中使用C++语言关键字的情况，并最终按定量的计算结果，得出两份程序的相似性。

基本要求：建立C++语言关键字的哈希表，统计在每个源程序中C++关键字出现的频度, 得到两个向量X1和X2，通过计算向量X1和X2的相对距离来判断两个源程序的相似性。

例如:

关键字V oid Int For Char if else while do break class

程序1关键字频度43 0 4 3 0 7 0 0 2

程序2关键字频度4 2 0 5 4 0 5 2 0 1

X1=[4,3,0,4,3,0,7,0,0,2]

X2=[4,2,0,5,4,0,5,2,0,1]

设s是向量X1和X2的相对距离，s=sqrt( ∑(x i1-x i2) 2 )，当X1=X2时，s=0,反映出可能是同一个程序；s值越大，则两个程序的差别可能也越大。

测试数据: 选择若干组编译和运行都无误的C++程序，程序之间有相近的和差别大的，用上述方法求s,对比两个程序的相似性。

二、课题需求分析

1.需求分析

本程序用来通过建立哈希表求源程序关键字的出现的频度和源程序之间的相似度以及向量的几何距离。用户可以将源程序的.txt文件放入fgh文件夹中，运行程序就可以输出每个源程序关键字的出现的频度和源程序之间的相似度以及向量的几何距离。

2.概要设计

为了实现上述功能，可以用结构体表示哈希表，因此需要哈希表的抽象数据类型。哈希表抽象数据类型的定义：

ADT hashtable{

数据对象：D={ai |a i∈ElemType, 且各不相同，i=1,2...,n,n ≥ 0

数据关系： R=φ基本操作：

Hashfunc(char str[]);

Hashfind(char *words);

creathash(void);

resethash(int n);

isletter(char ch);

readc(char * filename);

getkey(char *str,intlen);

copycount(int x[],int n);

check(int *x1, int *x2);

}end ADT

本程序实现模块主程序模块:

哈希表程序模块：实现哈希表的抽象数据类型

调用关系(如图一)：

图一

3.详细设计

（1）各个子函数的设计：

创建哈希表函数、重置哈希表函数、获取单词key 的函数、判断是否为字母的函数、将频度拷贝到数组里的函数、检查两个源程序是否相似的函数、取模函数、点积函数、求相似度S 的函数、求距离D的函数、

（2）主函数伪码：

int main()

{

char filename1[]={"test1.txt"};

char filename2[]={"test12.txt"};

char filename3[]={"test13.txt"};

int x1[hashlen],x2[hashlen],x3[hashlen]; // 存储频度的数组，用于相似度S 的计算resethash(0); // 完全重置哈希表，即哈希指针置为NULL，频度置为0

creathash(); // 通过文件ckey.txt创建哈希表

readc(filename1); // 读取第一个测试源程序文件

copycount(x1,hashlen); // 讲统计好的频度复制给x 数组

resethash(1); // 仅仅将频度

count 置为0

readc(filename2); // 同上

copycount(x2,hashlen);

resethash(1);

readc(filename3);

copycount(x3,hashlen);

cout<<"\t"<<" 哈希序号"<<" \t"<<" 关键字"<<" \t"<<" 频度1"<<" \t"<<" 频度2"<<" \t"<<" 频度3"<

for (int i = 0; i< 41; i++)

{

if(hasht[i].hash1!=NULL)

{

cout<<"\t"<

\t"<

}

}

cout<

check(x1,x2); // 检查相似度

cout<

cout<

return 0;

}

3.调用关系图，如图二

图二

三、课题相关数据结构及算法设计

1.创建哈希表函数

函数原型：void creathash(void);

输入：读取存储了32 个关键字的文件 ckey.txt

思路：通过对 ckey.txt 文件逐行赋值给str字符数组，并将该数组调Hashfunc函数。

2.将关键字根据哈希函数放入哈希表中的指定位置的函数函数原型：void Hashfunc(char str[]);

思路：对调进来的str数组通过调用getkey函数得到该关键词的key值后放入哈希表中的特定位置，并用线性探索来解决冲突。

3.在哈希表中找是否该 words 为关键字，并统计频度的函数

函数原型：int Hashfind(char *words);

思路：将调进来的word字符数组先调用getkey函数获取key值，然后在哈希表里查找是

否存在该字符串，如果存在则该关键字对应的频度加 1.

4.重置哈希表函数

函数原型：void resethash(int n);

功能：当n为 0 时，将指向哈希表中关键字的指针置成Null，同时将频度全部置为0.而当 n 为 1 时，仅仅将频度置为0.

5.获取单词key 的函数

函数原型：int getkey(char *str,intlen);

思路：用key1 存储关键字的首字母，key2 存储关键字的末字母，然后通过哈希函数得到 key 的值并返回。

6.判断是否为字母的函数

函数原型：int isletter(char ch);

思路：如果调进来的ch字符的 ASCII 值在 a~z 或 A~Z 范围内的话则返回1，否则返回0.

7.读取源程序文件中的单词的函数函数原型：int readc(char * filename);

思路：为了读取源程序文件中的单词，所以一个字符一个字符的，如果读的超过最大关键字长度将会跳过当前识别区域，读取下一个单词，将得到的该单词调入Hashfind函数，来判断是否为关键字，并统计频度。

8.将频度拷贝到数组里的函数

函数原型：void copycount(int x[],int n);

功能：将哈希表中关键字的频度复制到 x 数组中，以便进行后面相似度等的计算。

9.检查两个源程序是否相似的函数

函数原型：void check(int *x1, int *x2);

思路：对调进来的x1 和 x2 数组进行相似度计算，若相似度大于设定好的阈值，则再进行几何距离计算，最后给出两个文件是否相似的判断。

10.取模函数

函数原型：float Mol(int *x);

思路：通过求向量模值的数学知识求x 数组的模

11.点积函数

函数原型：int Dot(int *x1, int *x2);

思路：通过点积的数学知识对两个向量求点积

12.求相似度S 的函数

函数原型：float S(int *x1,int *x2);

思路：根据题目给的求相似度的公式求 x1 和 x2 数组的相似度

13.求距离D的函数

函数原型：float D(int *x1, int *x2);

思路：用题目给的球几何距离的公式求 x1 和 x2 数组的几何距离

四、源程序代码

#include"iostream"

#include"stdlib.h"

#include"string"

#include"math.h"

#define N 32 //关键字的长度

#define size 256

#define maxlen 9 //关键字数组长度

#define hashlen 41 //哈希表的长度

struct hashtable //结构体数组哈希表

{

char *hash1; //指向关键字的指针

int count; //记录频度

}hasht[hashlen];

using namespace std;

void Hashfunc(char str[]); //将关键字根据哈希函数放入哈希表中的指定位置int Hashfind(char *words); //在哈希表中找是否该word为关键字

void creathash(void); //创建哈希表

int isletter(char ch); // 判断是否为字母

int readc(char *filename); //读取源文件中的单词

int getkey(char *str,intlen); //获取该单词的key

void resethash(int n ); //重置哈希表

void copycount(int x[],int n); //将频道拷贝到数组里

void check(int *x1,int *x2); //检查两个源程序是否相似

void creathash(void) //对文件ckey.txt中的32个关键字创建哈希表

{

FILE *fp;

int length;

char str[size]; //暂时存储关键字字符的数组

char *s=NULL;

for (int i=0;i

{

str[i]='\0';

}

if((fp=fopen("ckey.txt","r"))==NULL)

{

cout<<"can't creatfile!\n";

exit(0);

}

while(fgets(str,size,fp)!=NULL) //读取一行写入一行

{

if (str==NULL)

{

break;

}

length=strlen(str);

str[length-1]='\0';

Hashfunc(str);

}

fclose(fp);

}

void Hashfunc(char str[]) //将关键字根据哈希函数放入哈希表中的指定位置{

int key,len;

len=strlen(str);

key=getkey(str,len);

while(hasht[key%41].hash1!=NULL)

{

key++;

}

hasht[key%41].hash1=(char*)malloc(sizeof(char)*(len+1));

strcpy(hasht[key%41].hash1,str);

}

int Hashfind(char *words) //在哈希表中找到是否该word为关键字，并统计频度{

int key,len,find;

len=strlen(words);

key=getkey(words,len);

while(hasht[key].hash1==NULL)key++;

key=key%41;

if(strcmp(hasht[key].hash1,words)==0)

{

hasht[key].count++;

return 1;

}

for(find=key+1;find

{

if(hasht[find].hash1!=NULL)

{

if(strcmp(hasht[find].hash1,words)==0)

{

hasht[find].count++;

return 1;

}

}

for(find=0;find

{

if(hasht[find].hash1!=NULL)

{

if(strcmp(hasht[find].hash1,words)==0)

{

hasht[find].count++;

return 1;

}

}

}

return 0;

}

int isletter(char ch) //判断是否为字母

{

if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))return 1; else

return 0;

}

int readc(char *filename) //读取原程序文件中的单词{

FILE *fp1=NULL;

char words[maxlen],ch;

int i;

if((fp1=fopen (filename,"r"))==NULL)

{

cout<<"can notcreatfile!\n";

}

while(!feof(fp1)) //结束返回1

{

i=0;

ch=fgetc(fp1); //一个字符一个字符的读

while(isletter(ch)==0&&feof(fp1)==0)

{

ch=fgetc(fp1);

}

while(isletter(ch)==1&&feof(fp1)==0)

{

if(i==maxlen)

{

while(isletter(ch)==1&&feof(fp1)==0)

{

ch=fgetc(fp1);

}

i=0;

break;

} //超过最大关键字长度将会跳过当前识别区域，读取下个单词

else

{

words[i++]=ch;

ch=fgetc(fp1);

}

}

words[i]='\0';

Hashfind(words); //将得到的该单词调入Hashfind函数，来判断是

否为关键字，并统计频度

}

fclose(fp1);

return 0;

}

void resethash(int n) //重置哈希表

{

if(n=0) //完全重置哈希表{

for(int i=0;i<41;i++)

{

hasht[i].hash1=NULL;

hasht[i].count=0;

}

}

else if(n=1) //仅仅重置频度

{

for(int i=0;i<41;i++)

{

hasht[i].count=0;

}

}

}

void copycount(int x[],int n) //拷贝频度

{

for(int i=0;i

{

x[i]=hasht[i].count;

}

}

int getkey(char *str,intlen) //根据哈希函数获取该函数的key {

char key1,key2;

int key;

key1=str[0];

key2=str[len-1];

key=(int)(key1*100+key2)%41;

return key;

}

float D(int *x1,int*x2)

{

int x[N],i=0,sum=0;

for(i=0;i

{

x[i]=x1[i]-x2[i];

sum+=(x[i]*x[i]);

}

return sum;

}

void chack(int *x1,int *x2)

{

int a;

double s;

a=D(x1,x2);

s=sqrt(a);

cout<<"相似度s="<

if (s==0)

cout<<"这两个文件是同一文件"<

else

cout<<"s越大，差别也越大"<

}

int main()

{

char filename1[]={"test1.txt"};

char filename2[]={"test2.txt"};

int x1[hashlen], x2[hashlen];

cout<<" "<<"姓名：****"<<" "<<"学号：****"<

cout<<"--------------------------------------------------------"<

cout<<"*******************程序源代码相似性检测*****************"<

resethash(0);

creathash();

readc(filename1);

copycount(x1,hashlen);

resethash(1);

readc(filename2);

copycount(x2,hashlen);

resethash(1);

cout<<"\t"<<"哈希序号"<<" \t"<<"关键字"<<" \t"<<"频度1"<<"\t"<<"频度2"<

for (int i=0;i<41;i++)

{

if(hasht[i].hash1!=NULL)

{

cout<<"*\t"<

}

}

cout<<"*******************程序源代码相似性检测*****************"<

cout<<"--------------------------------------------------------"<

cout<

chack(x1,x2);

return 0;

}

五、测试数据及其结果分析

1．结果分析

点击程序，直接运行，用户就能够看到运行结果，如图三

图三

考虑到用户肯定不止一两个源程序，要进行多组数据测试，那么的话，在图四

图四

所示的文件夹下修改原文件名称为test1、test2后，重新运行程序即可。

六、课题完成过程中遇到的问题及解决方法

（1）对于c++程序，我的的编写和调试工具一直是code blocks，但是这个软件好像不允许用fopen、fgetc等函数，在code blocks中运行，如图五

图五

就一直在报错，如图六

图六

由于这些函数不能用，我就直接下载了一个vc6.0,就可以运行了。

（2）文件的处理：

以前学文件的时候就没学明白，但是这个程序一定要用到文件，有将近一天的时间我都在学文件，当然有C的，也有C++的，后来还是觉得c++的比较简单，于是就开始确定了用c++文件，又在别人的帮助下，逐渐明白一些。对文件有了大致的了解，已经会读写了，虽然读写对有些人来说轻而易举，但是当我学会了后，还是很兴奋的，我喜欢每次解决问题后那种兴奋的感觉，这样就算基本攻克文件的问题了（虽然含有很多文件操作函数不知

道）以后做程序的时候可以直接用文件了。

（3）ASCII问题

做这个程序难免用到了很多字符的ASCII编码，每当碰到的时候，我都会去查阅教材的后几页，或者上网查，网上有ASCII码即是翻译，我觉得那个比较好，那个即是查询软件做起来应该必会太难，有时间的时候我也要做一个类似那样的软件。这次第一次知道了Tab 键、长空格竟然也有ASCII。

（4）由函数返回一个数组的问题，这个问题也是困扰了我很长的时间。

七、总结

1. 对文件的掌握：

通过做课程设计我学会了对文件的操作，大一时做课程设计学生管理系统时也想过用文件，但是由于当时学的不是很好，所以就没用，况且那个程序不用文件也能做，所以我就没用文件，但是，现在“判断程序源代码相似度”的程序是必须用文件的，于是就开始认真系统的学习了一下文件，发现，不知什么原因，感觉就是文件那部分知识比语法或者算法都难，后来经过很长时间，终于在别人的帮助下学会了，知晓了如果直接的逐行读取文件的话，换行号也会被读进去。但也不是全会，有很多文件操作函数至今还不会，但是这一段时间高效率的学习为以后更深入的学习奠定了基础。

2. 对字符串查找知识的了解

这次实验，程序的主要代码就是在文件了里查找给定的字符串，主要的精力也投入在了这里，虽然验收后听说有库函数是专门实现这方面功能的，有点后悔，但是之后又感到了高兴，因为自己能做出和库函数实现同样功能的代码。这样以后就可以重用自己的代码了。

3.加深了对数组的了解

通过向函数传递数组，来达到处理数组的目的，这时我又想到了一个问题，但还没有解决，就是如何能够让函数的返回值是一个数组，这个发现有了一个小的以后学习的方向。

4.心得体会：

(1)通过做实验，我再次体会到了互相帮助的重要性，只有互相帮助才能获得更大的成功这也许就是常说的1 + 1 > 2吧，互相学习，互相促进，互相督促，互相提高。

(2)通过做像这样比较大的实验，我再一次认识到了代码重用的重要性，我的这个程序里就有很多重复的代码，当然有优点也有缺点，优点就是基本直接复制粘贴就行了，缺点是程序显得特别乱，而且导致了代码的浪费(注：这两种优缺点都只是针对本程序而言，如果几部分实现同样的功能，那么调用函数是一个很好的选择，即函数的重用)。

(3)做像这样比较大程序，需要有一个整体的思维，它也锻炼了我整体思维逻辑分析的能力，以后有时间一定要多做一些这样的程序，来不断的提高自己。

通过做这次的课程设计，为我以后的学习奠定了一定的基础，起到了指导性的作用