如何把600万数据导入到SQL Server中？CSDN NET编程基础

亲自下载CSDN社区600万用户数据设计两条编程题目考验你的.NET编程基础园子里这两天讨论的比较多的是CSDN-中文IT社区600万用户数据在互联网上的传播，作为一名技术人员，暂且放下各自的想法的意见，仅仅从技术的角度来讲，分析和考验一下我们的编程基础。

把下载到的压缩文件释放到硬盘中，得到文件.sql。

作为技术人员，对这个文件产生好奇心和编程的冲动。

于是提出了下面的两条编程题目：1 如何把600万数据导入到SQL Server中？2 如何选择合适的密码加密方法？这个SQL文件有273MB，用SQL Server Management Studio打开它，会产生OutOfMemory异常，用记事本打开也很慢，推荐用Ultra Edit源代码编辑软件打开。

估计大家的硬盘里面都有这个文件了，我也就不必给密码和邮件加上阴影了。

用自己曾经注册到的邮件找一下，果然找到了自己的帐号和密码，确实是明文的。

分析一下SQL文件，它是由换行符号分开的，以#分隔用户帐号，密码，电子邮件的格式。

这和逗号分隔文件格式很相似，于是动手把它导入到SQL Server中。

请参考下面的两行代码CREATE TABLE CsdnUser ([USER] NVARCHAR(MAX) )BULK INSERT CsdnUser FROM N'F:\.sql'然后就是漫长的等待了，在4G内存，4核的Windows 7 x64的机器上，也跑了近5分钟才把数据从文本文件导入到SQL Server的CsdnUser表中。

平时喜欢研究性能，性能改善研究，心中一阵窃喜。

执行完成后，看到Messages中显示(6428632 row(s) affected)，果然有600多万行数据，放数据库文件的磁盘一下子耗费了近6G的空间。

跑一下SQL语句SELECT [User] FROM CsdnUser，用户数据就已经存放到了SQL Server数据库文件中了。

这样完成了文本文件到SQL Server的导入过程。

如果我还想进一步的分解每一行的数据，像下面的结果显示这样SELECT dbo.GetSplitOfIndex(User,'',1) AS [UserId]dbo.GetSplitOfIndex(User,'',2) AS [Password]dbo.GetSplitOfIndex(User,'',3) AS [Email]FROM CsdnUser则还需要写一个split函数，以分解开用#分开的用户数据。

GetSplitOfIndex函数来源于互联网，地址是/plus/view-168590-1.html，作者秩名，感谢他的智慧。

函数的源代码如下所示CREATE FUNCTION [dbo].[GetSplitOfIndex](@String NVARCHAR(MAX) , --要分割的字符串@split NVARCHAR(10) , --分隔符号@index INT --取第几个元素)RETURNS NVARCHAR(1024)ASBEGINDECLARE @location INTDECLARE @start INTDECLARE @next INTDECLARE @seed INTSET @String = LTRIM(RTRIM(@String))SET @start = 1SET @next = 1SET @seed = LEN(@split)SET @location = CHARINDEX(@split, @String)WHILE @location <> 0AND @index > @nextBEGINSET @start = @location + @seedSET@location = CHARINDEX(@split, @String, @start)SET @next = @next + 1ENDIF @location = 0SELECT @location = LEN(@String) + 1RETURN SUBSTRING(@String,@start,@location-@start)END自SQL Server 2005起就开始集成CLR，允许.NET托管代码运行于SQL Server中，用我们熟悉的.NET API可以轻易的完成任务。

打开Visual Stdio 2010，创建一个SQL Server CLR项目，SQL Server CLP函数的源代码清单如下[Microsoft.SqlServer.Server.SqlFunction]public static SqlString Split(string UserLine,int Index){if (!string.IsNullOrEmpty(UserLine)){string[] lines = Regex.Split(UserLine, " # ");if (lines.Length == 3)return new SqlString(lines[Index]);elsethrow new ApplicationException("invalid input line");}return new SqlString("");}它的调用方法和TSQL函数的方式一样，如下图所示SELECT dbo.Split(User,0) AS [User Id]dbo.Split(User,1) AS [Password]dbo.Split(User,2) AS [Email]FROM CsdnUser顺利完成第一题，如果你有更好的方法，欢迎留言。

对于密码是否用明文，是否要加密，各种情况下所采取的方法都有道理。

不给密码加密，明文传送是不值得推荐，不过冒似很多系统都是用明文保存在数据库中的。

如果你担心明文不好，容易被人家获取到，可以采用可逆的加密。

请参考我的文章《数据加密小工具》，它对需要保护的数据进行简单的加密，也很容易的逆反到当初的明文在我的知识管理系统Data Solution的用户反馈功能中，用户输入反馈的内容，发送到指定的邮箱中，因为使用的是smtp的方式，所以要把用户名和密码写到程序中去，但为了防止别人很轻易的从IL代码中读到到我的邮件的帐号和密码，我就使用了上面的可逆加密的方法，把邮件帐号和密码进行加密后，再放到程序代码中，这样可以增加被破解的难度。

也没有把很重要的资料放到这个用于接受用户反馈的邮件帐号中，毕竟还是可能被人家破解的。

再进一步的，可以采用.NET提供的算法，进行Hash运算或是加密。

MD5是公认的不可逆的加密算法，它的调用方法如下byte[] Original = Encoding.Default.GetBytes(txt_Source.Text); MD5 s1 = MD5.Create(); //使用MD5byte[] Change = puteHash(Original); 加密txt_Result.Text = Convert.ToBase64String(Change);请参考文章《使用MD5將字串加密C# VS2005 Sample Code》学习MD5的调用方法。

如果你需要MD5的调用例子代码，下面的代码应该可以帮助到你,代码来原于园子里的朋友，地址是/konooo/archive/2009/01/22/1379920.html/// MD5 16位加密加密后密码为大写/// </summary>/// <param name="ConvertString"></param>/// <returns></returns>public static string GetMd5Str(string ConvertString){MD5CryptoServiceProvider md5 = new MD5CryptoServiceProvider();string t2 = BitConverter.ToString(puteHash(UTF8Encoding.Default.G etBytes(ConvertString)), 4, 8);t2 = t2.Replace("-", "");return t2;}/// <summary>/// MD5 16位加密加密后密码为小写/// </summary>/// <param name="ConvertString"></param>/// <returns></returns>public static string GetMd5Str(string ConvertString){MD5CryptoServiceProvider md5 = new MD5CryptoServiceProvider();string t2 = BitConverter.ToString(puteHash(UTF8Encoding.Default.G etBytes(ConvertString)), 4, 8);t2 = t2.Replace("-", "");t2 = t2.ToLower();return t2;}/// <summary>/// MD532位加密/// </summary>/// <param name="str"></param>/// <returns></returns>static string UserMd5(string str){string cl = str;string pwd = "";MD5 md5 = MD5.Create();//实例化一个md5对像// 加密后是一个字节类型的数组，这里要注意编码UTF8/Unicode 等的选择byte[] s = puteHash(Encoding.UTF8.GetBytes(cl));// 通过使用循环，将字节类型的数组转换为字符串，此字符串是常规字符格式化所得for (int i = 0; i < s.Length; i++){// 将得到的字符串使用十六进制类型格式。