DataSet与DataTable的区别
DataTable,DataView和DataGrid中一些讲解
DataTable,DataView和DataGrid中一些容易混淆的概念一、DataTableDataTable表示内存中数据的一个表，它完全是在内存中的一个独立存在，包含了这张表的全部信息。
DataTable可以是从通过连接从数据库中读取出来形成的一个表，一旦将内容读到DataTable中，此DataTable就可以跟数据源断开而独立存在；也可以是完全由程序自己通过代码来建立的一个表。
◆ DataColumn一个表是由行和列组成的一个两维的结构。
表的结构是由DataColumn 对象的集合组成，DataColumn 对象集合可由DataTable.Columns 属性中能获取到，通过定义每一列的数据类型来确定表的架构，类似数据库中定义表。
定义完表的结构就可以根据结构来生成DataRow，用DataTable.NewRow（）方法来生成此DataTable结构的新行。
一个DataTable是由DataRow的集合组成的， DataRow的集合这个可以由DataTable.Rows 属性来访问。
DataTable还可以通过现有的列用Expression 属性的表达式创建一些列。
1、创建计算出的列比如：已经有了一个表结构，表中有一个DataColumn的集合，其中有一个叫UnitPrice的列，你可以新建一个DataColumn，设置好ColumnName，再设置此列的表达式，DataColumn.Expression = "UnitPrice * 0.086"，这个列的值就是名字为UnitPrice的列计算出来的，在创建表达式时，使用 ColumnName 属性来引用列。
2、第二个用途是创建聚合列聚合列聚合通常沿着关系执行（有关关系的描述见下面DataRelation部分），如果order表有名为 detail 的子表，两个表之间通过order.orderid和detail.orderid两个列建立一个关系 DataRelation 对象名为“order2detail”，在主表order中就可以建立一个聚合列，将计算每个order在detail表中含有的所有item的价格的和：DataColumn.Expression = “sum(child(order2detail).price)",child(order2detail)表示通过关系order2detail联系到的子表，child(order2detail).price就表示子表的price列。
使用DataSet和DataAdapter对象查询数据
6.2.4 使用DataSet和DataAdapter对象查询数据基于集的访问有两类方式，一个是DataSet，该类相当于内存中的数据库，在命名空间System.Data中定义；另外一个类是DataAdapter，该类相当于DataSet和物理数据源之间的桥梁。
从本质上讲，DataAdapter类是两个类的结合，因为其有SqlDataAdapter和OleDbDataAdapter 两个版本。
DataSet对象简介DataSet对象是支持的断开式或分布式数据方案的核心对象，是创建在内存中的集合对象。
它可以包含任意数量的数据表，以及所有表的约束、索引和关系，相当于在内存中的一个小型关系数据库。
一个DataSet对象包括一组DataTable对象和DataRelation对象，其中每个DataTable对象由DataColumn、DataRow和DataRelation对象组成。
因此可以直接使用这些对象访问数据集中的数据。
例如，用户在访问数据集中某数据表的某行某列的数据时，可使用如下格式。
DataSet.Tables["数据表名"].Rows[n][ "列名"] （注：n表示行号，从0开始）DataSet由大量相关的数据结构组成。
DataSet是一个完整的数据集。
在DataSet内部，主要可以存储5种对象，如表1所示。
对象功能DataTable 使用行、列形式来组织的一个矩型数据集DataColumn 一个规则的集合，描述决定将什么数据存储到一个DataRow中DataRow 由单行数据库数据构成的一个数据集合，该对象是实际的数据存储Constraint 决定能进入DataTable的数据DataRelation 描述了不同的DataTable之间如何关联表6.7 DataSet对象介绍及功能注意：在DataSet内部是一个或多个DataTable的集合。
在每个DataRow、DataColumn和Constraint的集合以及DataRelation的两个集合。
vbnet dataset 方法
一、简介是微软公司推出的一个面向对象的编程语言，可运行于.NET Framework之上。
DataSet 是System.Data命名空间中用来表示数据的一种类，它是 DataSet 类的实例。
DataSet 既可以表示一个与数据源无关的数据集，又可以表示一个数据源。
在 中使用DataSet 可以进行数据的插入、更新、删除和查询等操作。
本文将介绍在 中如何使用 DataSet 类进行数据操作的方法。
二、创建 DataSet1. 在 中可以通过声明 DataSet 类的实例来创建一个 DataSet 对象，例如：Dim ds As New DataSet()2. 也可以使用 Visual Studio 的数据工具栏，在界面上直接拖拽一个DataSet 控件来创建一个 DataSet 对象。
三、添加 DataTable1. DataSet 是由多个 DataTable 组成的，DataTable 是表示数据表的一种类。
可以通过以下方法为 DataSet 添加 DataTable：ds.Tables.Add("TableName")2. 也可以在 Visual Studio 的数据工具栏中直接添加一个 DataTable 控件。
四、添加数据1. 可以通过以下方法向 DataTable 中添加数据行：Dim dr As DataRowdr = ds.Tables("TableName").NewRow()dr("ColumnName") = "Value"ds.Tables("TableName").Rows.Add(dr)2. 也可以通过 DataAdapter 的 Fill 方法向 DataTable 中添加数据：Dim da As New SqlDataAdapter("SELECT * FROM TableName", "ConnectionString")da.Fill(ds, "TableName")五、更新数据1. 可以直接修改 DataTable 中的数据，然后通过 DataAdapter 的Update 方法将修改同步到数据库中。
DataSet、DataTable、DataView三者关系及DataView常见用法
DataSet、DataTable、DataView三者关系及DataView常见用法DATASET 可以理解为是个数据库。
DATATABLE 可以理解为是个数据表。
DATAVIEW 可以理解为是表的视图。
dataset 数据集合可以包含多个datatable，而datatable可以声明多个dataview。
dataview是个虚拟的视图，用于数据展示层，可以通过对它的RowFilter、Sort属性的设置，控制输出想要的数据集合。
DataView过滤和排序1 //假设有个DataT able2 DataTable dt=new DataTable();3 //转成一个DataView4 DataView dv=dt.DefaultView;5 //加上过滤条件6 dv.FilterSort=" 员工='张三'";7 //重新转化为新DataTable8 DataTable newTable=dv.ToTable();//员工ID大于5且生日小于？dv.RowFilter = "EmployeeID >5 AND Birthdate < #1/31/82#";//描述类似于product关键字dv.RowFilter = "Description LIKE '*product*'";//员工ID等于 2 or 4 or 5dv.RowFilter = "employeeID IN (2,4,5)";//如果在LIKE子句中已经有了*或%字符，你必须用方括号将其括起，以免歧义。
如果很不幸，字符串中方括号本身也存在了，那么它也必须用将本身括起dv.RowFilter = "Description LIKE '[[]*[]]product[[]*[]]";//员工ID小于6且名字字数偶数，员工ID大于6且名字字数奇数dv.RowFilter="IIF(employeeID<6, Len(lastname) %2 =0, Len(lastname) %2 >0)";//排序//正序dv.Sort = "ID asc";//倒序dv.Sort = "ID desc";//多个排序view.Sort = "ID DESC,Name ASC";。
第五讲 数据集DataSet
按照如下学习目标进行学习:1、DataSet和DataTable概述2、DataSet 的属性以及方法3、数据表DataTable的创建4、排序和筛选数据第一部分讲解DataSet和DataTable概述在这一部分重点讲解DataSet和DataTable的概念以及DataSet对象模型。
通过下图，先讲解DataSet和DataTable之间的关系。
数据集是包含数据表的对象，这里的数据集只的就是DataSet，而数据表指的就是DataTable，这些数据表可以临时存储数据，以便供应用程序使用。
一个数据集里面可以存储多个数据表，而数据集在本地内存中为应用程序提供了待用数据库的缓存，因此可以跟踪数据更新，并在应用程序重新连接时，将更新发回数据库。
DataSet的结构类似于关系数据库的结构，它公开表、行、列、约束和关系的分层对象模型。
数据集位于System.Data命名空间中。
我们现在先来看看DataSet，而后将会详细的讲解DataTable。
在讲解DataSet的时候，重点根据DataSet对象模型进行讲解：●DataTableCollection：表示DataSet的表集合。
●DataRelationCollection：表示此DataSet的DataRelation对象的集合。
●ExtendedProperties：获取用户定义的约束属性的集合。
接着重点讲解一下DataSet层次结构中的类：第二部分讲解DataSet 的属性以及方法以及使用Tables属性▪获取DataSet结果集中的数据表。
Relations属性▪获取用于多个数据表联系起来的数据联系集合。
同学们已经了解了DataSet中的一些重要的成员属性以及方法，下面在课堂实例中让同学们做一个查看上一条记录、下一条记录的例子，下面是重点代码提示：第三部分讲解DataTable的创建以及数据的填充在这一部分给学生明确学习目的，主要学习如何用代码创建一个DataTable，以及如何向DataTable内添加数据。
数据集DataSet
筛选DataTable中的数据
DataTable dataTable = new DataTable("学生表临时"); dataTable = dt.Clone(); string expression = "学生编号 = " + Convert.ToInt32(txtID.Text.ToString()); //按照条件筛选数据 DataRow[] foundRows = dt.Select(expression);
第二部分：数据表DataTable的创建
如何创建 DataTable
如何向 DataTable里面 添加数据
如何创建DataTable
//创建一个DataTable的一个实例。 DataTable dt = new DataTable("学生表"); //声明列对象和行对象。 DataColumn column; column = new DataColumn(); //设置列的数据类型 column.DataType = System.Type.GetType("System.Int32"); column.ColumnName = "学生编号"; column.ReadOnly = true; column.Unique = true; //向DataTable添加该列 dt.Columns.Add(column);
如何向DataTable里面添加数据
DataTable 对象还具有允许行在数据集中 被访问的 Rows 集合。 下表描述了通过使用 DataRow 对象对行执 行的各种方法：
Add() InsertAt() Find() Select() Remove()
DataSet及DataTable用法详解
DataSet及DataTable⽤法详解DataSet是开发⼈员为⽅便数据处理开发出来的，是数据的集合，是为解决DataReader的缺陷设计的，DataReader数据处理速度快，但它是只读的， ⽽且⼀旦移到下⼀⾏，就不能查看上⼀⾏的数据，DataSet则可以⾃由移动指针。
DataSet的数据是与数据库断开的。
DataSet还可⽤于多层应⽤程序中，如果应⽤程序运⾏在中间层的业务对象中来访问数据库，则业务对象需将脱机数据结构传递给客户应⽤程序。
DataSet的功能：浏览、排序、搜索、过滤、处理分级数据、缓存更改等。
还可以与ＸＭＬ数据互换。
DataSet中可包括多个DataTable，可将多个查询结构存到⼀个DataSet中，⽅便操作，⽽DataTable中⼜包括多个DataRow、DataColumn，可通过这些DataRow、DataColumn来查看、操作其中的数据，⽽需将操作结果返回给数据库的话，则可以调⽤DataAdapter的 Update⽅法。
DataSet的操作：DataSet ds=new DataSet();DataTable dt=new DataTable("newTable");ds.Tables.Add(dt);DataSet ds=new DataSet();DataTable dt=ds.Tables.Add("newTable");上述两种⽅法都可以在DataSet中添加⼀个DataTable，看需要⽽进⾏选择。
添加DataTable后，需向其中添加⾏和列。
DataSet ds=new DataSet();DataTable dt=ds.Tables.Add("newTables");DataColumn col=dt.Columns.Add("newColumn",typeof(int));col.AllowDBNull=false;col.MaxLength=4;col.Unique=true;上述代码向DataSet中的DataTable中添加名为”newColumn”，类型为int且不为空，最⼤长度为４和唯⼀性为真的列。
简单描述DataAdapter、DataReader、DataSet、Datatable对比
一、存储的对比DataReader从数据库中检索【只读】数据流，存在客户端网络缓冲区，直到Read方法访问它们。
DataAdapter表示一组SQL命令和数据库连接，用于填充DateSet和【更新】数据源DataSet存在内存中的数据缓存，可包含多个DataTableDataTable内存中的数据表二、优缺点三、搭配使用DataReader与SqlCommand搭配使用。
可向DataTable里存入数据。
DataAdapter与DataSet搭配使用。
DataSet可再存入DataTable。
四、最简单实例// DataReader//设连接有效，数据不为空SqlCommand command = new SqlCommand("SELECT id FROM dbo.bu", connection); connection.Open();SqlDataReader reader = command.ExecuteReader();while (reader.Read()){Console.WriteLine(reader.GetInt32(0)); }reader.Close();// DataAdapterDataSet//设连接有效，数据不为空SqlDataAdapter adapter = new SqlDataAdapter("SELECT id FROM dbo.bu ", connection); DataSet customers = new DataSet();adapter.Fill(customers,"bu");。
DataSet与DataTable对象
DataSet与DataTable对象DataSet对象DataSet是中最核心的成员之一，是各种基于.NET平台程序语言（如、C＃.NET、C++.NET）的数据库应用程序开发最常接触的类，这是因为DataSet在 实现从数据库中抽取数据的作用。
数据抽取后，DataSet就是数据的存放地，它是各种数据源（SQL Server 、OLE DB等）的数据在计算机内存的缓存，所以有时说DataSet可以看成是一个数据容器（又称数据集）。
在客户端通过对DataSet的数据集读取、更新等操作，从而实现对数据源的同等操作。
DataSet的最大优点是离线（断开）和连接。
DataSet既可以以离线方式，也可以以实时连接方式来操作数据库中的数据。
这样的好处是大大减少了服务器端数据库的连接线程，从而大大地减少了服务器端的运行压力。
所以，在数据量不大的情况下，使用DataSet是最好的选择。
DataSet的基本工作过程：应用程序一般并不直接对数据库进行操作（直接在程序中调用存储过程等除外），而是先完成和数据库的连接，接着通过数据适配器（DataAdapter）把数据库中的数据填入DataSet对象，然后客户端再通过读取DataSet来获得需要的数据，同样，在更新数据库中的数据时，也是首先更新DataSet，然后再通过DataSet和数据适配器将更新的数据同步地解释入数据库中。
DataSet中的几个重要对象：TablesCollection对象：DataSet 里的表用DataTable来表示，一个DataSet里面可以包含多个DataTable，这些DataTable就构成了TablesCollection对象。
每个DataTable中都包含一个ColumnsColleciton和一个RowsCollection对象。
RelationsCollection对象：各个DataTable之间的关系通过DataRelation来表达，这些DataRelation构成的集合就是RelationsCollection对象。
dataTable,dataView和Dataset 区别
1、DataView是DataTable的表示，DataTable表里的记录是没有顺序的，但显示可以有不同顺序(DataVIew)，但还是同一张表，所以一个DataTable可以有多个DataView，默认访问DataTable，其实是访问他的DefaultView。
DataSet则是DataTable的集合，也可以有不止一个DataTable2、DataView 是一张DataTable的虚拟视图，主要用来显示数据的，其实数据的更改都是发生在DataTable中。
如果以数据库来打比方，DataSet就是一个功能简单的数据库，是多个表(DataTable)的集合，DataTable就是对应数据库中的表，而DataView则对应数据库中的视图(View)。
中有一层对象，用来创建任意数据源的抽象模型。
其中包括DataSet，DataTable，DataRow，DataView，DataRelation等等。
所有这些对象都定义在System.Data名字空间。
它们形成一个抽象模型，使得无论针对Windows Form，Web Form还是Web Service进行编程，都可以使用相同的编程接口。
在实际应用中，这些对象大多会对诸如SQL Server一类的关系型数据库中的数据进行操作。
但是，它们可以处理各种数据，而不管它的物理存储媒介。
你可以使用DataSet对象来打包和关联各表中的数据，用DataTable类来处理表格类型的数据，而DataRow对象可以处理表中某一行的数据。
这三个对象都是对数据进行打包，但有不同的逻辑聚合层次。
DataSet是DataTable和其他的组合。
而DataTable是DataRow和其他的组合。
DataRow是字段和其他的组合。
但是这些对象中都没有内建过滤和排序的功能。
提供了一些类来处理这个数据库应用程序中的重要方面。
在.Net Beta2中，这方面最重要的两个对象就是DataView和DataViewManager。
[转]VB.NetDataSet和DataTable
![[转]VB.NetDataSet和DataTable](https://img.taocdn.com/s3/m/f20a120a0166f5335a8102d276a20029bd6463a9.png)
[转]DataSet和DataTable在我们编写代码的时候从数据库里取出数据，填充到dataset里，再根据表的名字，实例化到datatable 中。
其实使用dataset 相当于所使用数据库中数据的副本，保存在服务器的内存中。
●注意如下 关系：Connection_____Command____DataAdapter____Dataset _____ Datareader●DataSet 是放在内存中的，对DataSet中数据的修改并不直接反应到数据库，要通过 DataAdapter 的 Update 方法更新回数据库●DataSet 相当你用的数据库DataTable 相当于你的表。
一个DataSet 可以包含多个DataTableDataSet 由表、关系和约束的集合组成。
在 中，DataTable 对象用于表示 DataSet 中的表。
DataTable 表示一个内存内关系数据的表；●以下代码示例演示如何构造 DataSet 的实例。
Dim cDS As DataSet = New DataSet( "CustomerOrd ers ")●以下示例构造一个DataSet，将一个新的DataTable对象添加到该DataSet中，然后将三个DataColumn对象添加到该表中。
最后，该代码将一个列设置为主键列。
Dim cDS As DataSet = New DataSet( "CustomerOrd ers ")Dim ordersTable As DataTable = cDS.Tables.Add( "Ord ers ")Dim pkCol As DataColumn = ordersTable.Columns.Ad d( "OrderID ", Type.GetType( "System.Int32 "))ordersTable.Columns.Add( "OrderQuantity ", Type.GetType( "System.Int32 "))ordersTable.Columns.Add( "CompanyName ", Type.GetType( "System.String "))ordersTable.PrimaryKey = New DataColumn() {pkCol}●区分大小写按名称引用DataSet中的表和关系是区分大小写的。
DataSet、DataTable、DataRow区别详解
DataSet、DataTable、DataRow区别详解表⽰数据在内存中的缓存。
属性Tables 获取包含在 DataSet 中的表的集合。
ds.Tables["sjxx"]表⽰内存中数据的⼀个表。
公共属性Columns 获取属于该表的列的集合。
DataSet 获取此表所属的 DataSet。
DefaultView 获取可能包括筛选视图或游标位置的表的⾃定义视图。
PrimaryKey 获取或设置充当数据表主键的列的数组。
Rows 获取属于该表的⾏的集合。
TableName 获取或设置 DataTable 的名称。
表⽰ DataTable 中的⼀⾏数据row["index"]表⽰ DataTable 中列的架构。
复制代码代码如下:DataTable与DataSet常⽤操作实例//创建DataSetDataSet ds = new DataSet();//创建DataTableDataTable dt = new DataTable();dt.Columns.Add("id",Type.GetType("System.Int32"));dt.Columns["id"].AutoIncrement = true;dt.Columns.Add("name",Type.GetType("System.String"));//插⼊⾏DataRow dw1 = dt.NewRow();dw1["name"] = "test1";dt.Rows.Add(dw1);DataRow dw2 = dt.NewRow();dw2["name"] = "test2";dt.Rows.InsertAt(dw2,0);//将DataTable添加到DataSet中ds.Tables.Add(dt);//DataTable中查询DataTable dt = new DataTable();DataRow dr[] = dt.Select("1 = 1");//DataTable更新DataTable dt = (DataTable)HttpContext.Current.Cache["MYCACHE"]; DataRow[] dr = dt.Select("1 = 1");if (dr.Length > 0){dr[0]["colName"] = "colValue";}//统计object o = pute("SUM(col_name)", "1=1");。
Dataset和DataLoader详解
Dataset和DataLoader详解Dataset 是 PyTorch 中⽤来表⽰数据集的⼀个抽象类，我们的数据集可以⽤这个类来表⽰，⾄少需要覆写下⾯两个⽅法：1）__len__：⼀般⽤来返回数据集⼤⼩。
2）__getitem__：实现这个⽅法后，可以通过下标的⽅式 dataset[i] 的来取得第i个数据。
DataLoader 本质上就是⼀个（内部定义了 __iter__ ⽅法），__iter__ 被定义成⽣成器，使⽤ yield 来返回数据，并利⽤多进程来加速 batch data 的处理，DataLoader 组装好数据后返回的是 Tensor 类型的数据。
注意：DataLoader 是间接通过 Dataset 来获得数据的，然后进⾏组装成⼀个 batch 返回，因为采⽤了⽣成器，所以每次只会组装⼀个 batch 返回，不会⼀次性组装好全部的 batch，所以 DataLoader 节省的是 batch 的内存，并不是指数据集的内存，数据集可以⼀开始就全部加载到内存⾥，也可以分批加载，这取决于 Dataset 中 __init__ 函数的实现。
举个例⼦：import torchimport numpy as npfrom torch.utils.data import Datasetfrom torch.utils.data import DataLoaderclass DiabetesDataset(Dataset):def __init__(self, filepath):# 因为数据集⽐较⼩，所以全部加载到内存⾥了data = np.loadtxt(filepath, delimiter=',', dtype=np.float32)self.len = data.shape[0]self.x_data = torch.from_numpy(data[:,:-1])self.y_data = torch.from_numpy(data[:,[-1]])def __getitem__(self, index):return self.x_data[index], self.y_data[index]def __len__(self):return self.lendataset = DiabetesDataset('diabetes.csv.gz')train_loader = DataLoader(dataset=dataset, # 传递数据集batch_size=32, # ⼩批量的数据⼤⼩，每次加载⼀batch数据shuffle=True, # 打乱数据之间的顺序num_workers=2) # 使⽤多少个⼦进程来加载数据，默认为0, 代表使⽤主线程加载batch数据for epoch in range(100): # 训练 100 轮for i, data in enumerate(train_loader, 0): # 每次惰性返回⼀个 batch 数据iuputs, label = data...Processing math: 100%。
DataTable与DataSet之间的转换Class
DataTable与DataSet之间的转换Class using System;using System.Collections.Generic;using System.Data;using System.Linq;namespace mon{public static class DataTableConvert{/// <summary>/// The DataTable type data into a List of <T> entities set t;将DataTable类型的数据转换成List<T>集合 T实体/// </summary>/// <typeparam name="T"></typeparam>/// <param name="dataTable"></param>/// <returns></returns>public static List<T> DataTableToList<T>(DataTable dataTable){var list = new List<T>();var targetType = typeof (T);var allPropertyArray = targetType.GetProperties();foreach (DataRow rowElement in dataTable.Rows){var element = Activator.CreateInstance<T>();foreach (DataColumn columnElement in dataTable.Columns){foreach (var property in allPropertyArray){if (.ToUpper().Equals(columnElement.ColumnName.ToUpper())){if (rowElement[columnElement.ColumnName] == DBNull.Value ||rowElement[columnElement.ColumnName] == ""){property.SetValue(element, null, null);}else{if (property.PropertyType == typeof (string)){property.SetValue(element, rowElement[columnElement.ColumnName].ToString(), null);}else{//typeof(Nullable<decimal>)== typeof(decimal?)if (property.PropertyType == typeof (decimal?) ||property.PropertyType == typeof (decimal)){property.SetValue(element, decimal.Parse(rowElement[columnElement.ColumnName].ToString()), null);}else if (property.PropertyType == typeof (short?) ||property.PropertyType == typeof (short)){property.SetValue(element, short.Parse(rowElement[columnElement.ColumnName].ToString()), null);}else if (property.PropertyType == typeof (int?) ||property.PropertyType == typeof (int)){property.SetValue(element, int.Parse(rowElement[columnElement.ColumnName].ToString()), null);}else if (property.PropertyType == typeof (DataAction?) ||property.PropertyType == typeof (DataAction))DataAction? da = null;foreach (var name in Enum.GetNames(typeof (DataAction))){if (!string.IsNullOrEmpty(rowElement[columnElement.ColumnName].ToString())){if (name == rowElement[columnElement.ColumnName].ToString()) {da =(DataAction)Enum.Parse(typeof (DataAction),rowElement[columnElement.ColumnName].ToString(), true);}}}property.SetValue(element, da, null);}}}break;}}}list.Add(element);}return list;}public static DataSet ListToDataSet<T>(List<T> modelList){if (modelList == null || modelList.Count == 0){return null;}var ds = new DataSet();ds.Tables.Add(ListToDataTable(modelList));return ds;}public static DataTable ListToDataTable<T>(List<T> modelList) {if (modelList == null || modelList.Count == 0){return null;}var dt = CreateData(modelList[0]);foreach (var model in modelList){var dataRow = dt.NewRow();foreach (var propertyInfo in typeof (T).GetProperties()){dataRow[] = propertyInfo.GetValue(model, null); }dt.Rows.Add(dataRow);}return dt;}/// <summary>/// create DataTable by using model/// </summary>/// <param name="model">Class entity</param>/// <returns></returns>private static DataTable CreateData<T>(T model)var dataTable = new DataTable(typeof (T).Name);foreach (var propertyInfo in typeof (T).GetProperties()){try{dataTable.Columns.Add(new DataColumn(.ToUpper(), propertyInfo.PropertyType)); }catch (Exception){dataTable.Columns.Add(new DataColumn(.ToUpper(), typeof (string)));}}return dataTable;}/// <summary>/// change position of column in data table/// </summary>/// <param name="dt"></param>/// <param name="columnsName"></param>public static void ChangeDataTableColumnPosition(DataTable dt, string columnsName){var columnNameArry =columnsName.Trim(' ').Trim(' ').ToLower().Split(new[] {","}, StringSplitOptions.RemoveEmptyEntries).ToList();var tbcol = new List<string>();var delcol = new List<string>();var addcol = new List<string>();if (dt != null && dt.Rows.Count > 0 && columnNameArry.Count > 0){foreach (DataColumn cl in dt.Columns){if (!columnNameArry.Contains(cl.ColumnName.ToLower())){delcol.Add(cl.ColumnName.ToLower());}else{tbcol.Add(cl.ColumnName.ToLower());}}foreach (var clname in columnNameArry){if (!tbcol.Contains(clname)){dt.Columns.Add(clname, typeof (string));}}foreach (var dclname in delcol){dt.Columns.Remove(dclname);}for (var i = 0; i < columnNameArry.Count; i++){dt.Columns[columnNameArry[i]].SetOrdinal(i);}}}/// <summary>/// change position of column in data table/// </summary>/// <param name="dt"></param>/// <param name="columnsName"></param>public static DataTable CreateDataTableColumnsName(string columnsName) {var dt = new DataTable();var columnNameArry =columnsName.Trim(' ').Trim(' ').ToLower().Split(new[] {","}, StringSplitOptions.RemoveEmptyEntries).ToList();foreach (var clname in columnNameArry){dt.Columns.Add(clname, typeof (string));}return dt;}}}。
DataTable简介
DataTable简介DataTable简介(1)构造函数DataTable() 不带参数初始化DataTable 类的新实例。
DataTable(string tableName) ⽤指定的表名初始化DataTable 类的新实例。
DataTable(string tableName, string tableNamespace) ⽤指定的表名和命名空间初始化DataTable 类的新实例。
(2) 常⽤属性CaseSensitive 指⽰表中的字符串⽐较是否区分⼤⼩写。
ChildRelations 获取此DataTable 的⼦关系的集合。
Columns 获取属于该表的列的集合。
Constraints 获取由该表维护的约束的集合。
DataSet 获取此表所属的DataSet。
DataSet相关信息，可见我以前的⼀篇⽂章《数据访问(2)－DataSet》DefaultView 获取可能包括筛选视图或游标位置的表的⾃定义视图。
HasErrors 获取⼀个值，该值指⽰该表所属的DataSet 的任何表的任何⾏中是否有错误。
MinimumCapacity 获取或设置该表最初的起始⼤⼩。
该表中⾏的最初起始⼤⼩。
默认值为 50。
Rows 获取属于该表的⾏的集合。
TableName 获取或设置DataTable 的名称。
(3)常⽤⽅法AcceptChanges() 提交⾃上次调⽤AcceptChanges() 以来对该表进⾏的所有更改。
BeginInit() 开始初始化在窗体上使⽤或由另⼀个组件使⽤的DataTable。
初始化发⽣在运⾏时。
Clear() 清除所有数据的DataTable。
Clone() 克隆DataTable 的结构，包括所有DataTable 架构和约束。
EndInit() 结束在窗体上使⽤或由另⼀个组件使⽤的DataTable 的初始化。
初始化发⽣在运⾏时。
ImportRow(DataRow row) 将DataRow 复制到DataTable 中，保留任何属性设置以及初始值和当前值。
谈谈RDD、DataFrame、Dataset的区别和各自的优势
谈谈RDD、DataFrame、Dataset的区别和各⾃的优势在spark中，RDD、DataFrame、Dataset是最常⽤的数据类型，本博⽂给出笔者在使⽤的过程中体会到的区别和各⾃的优势共性：1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超⼤型数据提供便利2、三者都有惰性机制，在进⾏创建、转换，如map⽅法时，不会⽴即执⾏，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码⾥⾯有创建、转换，但是后⾯没有在Action中使⽤对应的结果，在执⾏时会被直接跳过，如val sparkconf = new SparkConf().setMaster("local").setAppName("test").set("spark.port.maxRetries","1000")val spark = SparkSession.builder().config(sparkconf).getOrCreate()val rdd=spark.sparkContext.parallelize(Seq(("a", 1), ("b", 1), ("a", 1)))rdd.map{line=>println("运⾏")line._1}map中的println("运⾏")并不会运⾏3、三者都会根据spark的内存情况⾃动缓存运算，这样即使数据量很⼤，也不⽤担⼼会内存溢出4、三者都有partition的概念，如var predata=data.repartition(24).mapPartitions{PartLine => {PartLine.map{line =>println(“转换操作”)}}}这样对每⼀个分区进⾏操作时，就跟在操作数组⼀样，不但数据量⽐较⼩，⽽且可以⽅便的将map中的运算结果拿出来，如果直接⽤map，map中对外⾯的操作是⽆效的，如val rdd=spark.sparkContext.parallelize(Seq(("a", 1), ("b", 1), ("a", 1)))var flag=0val test=rdd.map{line=>println("运⾏")flag+=1println(flag)line._1}println(test.count)println(flag)/**运⾏1运⾏2运⾏33* */不使⽤partition时，对map之外的操作⽆法对map之外的变量造成影响5、三者有许多共同的函数，如filter，排序等6、在对DataFrame和Dataset进⾏操作许多操作都需要这个包进⾏⽀持import spark.implicits._//这⾥的spark是SparkSession的变量名7、DataFrame和Dataset均可使⽤模式匹配获取各个字段的值和类型DataFrame:testDF.map{case Row(col1:String,col2:Int)=>println(col1);println(col2)}为了提⾼稳健性，最好后⾯有⼀个_通配操作，这⾥提供了DataFrame⼀个解析字段的⽅法Dataset:case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型testDS.map{case Coltest(col1:String,col2:Int)=>println(col1);println(col2)col1case _=>""}区别：RDD:1、RDD⼀般和spark mlib同时使⽤2、RDD不⽀持sparksql操作DataFrame:1、与RDD和Dataset不同，DataFrame每⼀⾏的类型固定为Row，只有通过解析才能获取各个字段的值，如testDF.foreach{line =>val col1=line.getAs[String]("col1")val col2=line.getAs[String]("col2")}每⼀列的值没法直接访问2、DataFrame与Dataset⼀般与spark ml同时使⽤3、DataFrame与Dataset均⽀持sparksql的操作，⽐如select，groupby之类，还能注册临时表/视窗，进⾏sql语句操作，如dataDF.createOrReplaceTempView("tmp")spark.sql("select ROW,DATE from tmp where DATE is not null order by DATE").show(100,false)4、DataFrame与Dataset⽀持⼀些特别⽅便的保存⽅式，⽐如保存成csv，可以带上表头，这样每⼀列的字段名⼀⽬了然//保存val saveoptions = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")datawDF.write.format("com.databricks.spark.csv").mode(SaveMode.Overwrite).options(saveoptions).save()//读取val options = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")val datarDF= spark.read.options(options).format("com.databricks.spark.csv").load()利⽤这样的保存⽅式，可以⽅便的获得字段名和列的对应，⽽且分隔符（delimiter）可以⾃由指定Dataset:这⾥主要对⽐Dataset和DataFrame，因为Dataset和DataFrame拥有完全相同的成员函数，区别只是每⼀⾏的数据类型不同DataFrame也可以叫Dataset[Row],每⼀⾏的类型是Row，不解析，每⼀⾏究竟有哪些字段，各个字段⼜是什么类型都⽆从得知，只能⽤上⾯提到的getAS⽅法或者共性中的第七条提到的模式匹配拿出特定字段⽽Dataset中，每⼀⾏是什么类型是不⼀定的，在⾃定义了case class之后可以很⾃由的获得每⼀⾏的信息case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型/**rdd("a", 1)("b", 1)("a", 1)* */val test: Dataset[Coltest]=rdd.map{line=>Coltest(line._1,line._2)println(line.col1)println(line.col2)}可以看出，Dataset在需要访问列中的某个字段时是⾮常⽅便的，然⽽，如果要写⼀些适配性很强的函数时，如果使⽤Dataset，⾏的类型⼜不确定，可能是各种case class，⽆法实现适配，这时候⽤DataFrame即Dataset[Row]就能⽐较好的解决问题转化：RDD、DataFrame、Dataset三者有许多共性，有各⾃适⽤的场景常常需要在三者之间转换DataFrame/Dataset转RDD：这个转换很简单val rdd1=testDF.rddval rdd2=testDS.rddRDD转DataFrame：import spark.implicits._val testDF = rdd.map {line=>(line._1,line._2)}.toDF("col1","col2")⼀般⽤元组把⼀⾏的数据写在⼀起，然后在toDF中指定字段名RDD转Dataset：import spark.implicits._case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型val testDS = rdd.map {line=>Coltest(line._1,line._2)}.toDS可以注意到，定义每⼀⾏的类型（case class）时，已经给出了字段名和类型，后⾯只要往case class⾥⾯添加值即可Dataset转DataFrame：这个也很简单，因为只是把case class封装成Rowimport spark.implicits._val testDF = testDS.toDFDataFrame转Dataset：import spark.implicits._case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型val testDS = testDF.as[Coltest]这种⽅法就是在给出每⼀列的类型后，使⽤as⽅法，转成Dataset，这在数据类型是DataFrame⼜需要针对各个字段处理时极为⽅便特别注意：在使⽤⼀些特殊的操作时，⼀定要加上 import spark.implicits._ 不然toDF、toDS⽆法使⽤。
C# DataSet和DataTable详解
C# DataSet和DataTable详解1、创建DataSet对象：DataSet ds = new DataSet("DataSetName");2、查看调用SqlDataAdapter.Fill创建的结构da.Fill(ds,"Orders");DataTable tbl = ds.Table[0];foreach(DataColumn col in tbl.Columns)Console.WriteLine(col.ColumnName);3、查看SqlDataAdapter返回的数据①、DataRow对象DataTable tbl = ds.Table[0];DataRow row = tbl.Row[0];Console.WriteLine(ros["OrderID"]);②、检查存储在DataRow中的数据DataTable tbl = row.Table;foreach(DataColumn col in tbl.Columns)Console.WriteLine(row[col]);③、检查DatTable中的DataRow对象foreach(DataRow row in tbl.Rows)DisplayRow(row);4、校验DataSet中的数据①、校验DataColumn的属性：ReadOnly,AllowDBNull,MaxLength,Unique②、DataTable对象的Constrains集合：UiqueConstraints,Primarykey,ForeignkeyConstraints通常不必刻意去创建ForeignkeyConstraints,因为当在DataSet的两个DataTable对象之间创建关系时会创建一个。
③、用SqlDataAdapter.Fill模式来检索模式信息5、编写代码创建DataTable对象①、创建DataTable对象:DataTable tbl = new DataTable("TableName");②、将DataTable添加到DataSet对象的Table集合DataSet ds = new DataSet();DataTable tbl = new DataTable("Customers");ds.Tables.Add(tbl);DataSet ds = new DataSet();DataTable tbl = ds.Tables.Add("Customers");DataTable对象只能存在于至多一个DataSet对象中。
【转】对DataSet 与 DataAdapter的通俗易懂的理解
【转】对DataSet 与DataAdapter的通俗易懂的理解DataSet：数据集，实质就是一个小型的数据库。
我接下来要说明的是，我们建立的那个数据库的数据是怎么样跑到这个DataSet中去的呢？假设：我们创建的数据库的名字叫BBS这就是我们所说的仓库。
既然我们要把BBS中的数据运走，首先必须给数据找一个地方。
//在我们的编程世界就是new一个DataSet对象，DataSet dataset=new DataSet();这个dataset 就是我们的临时数据库，也就是数据集。
做到这，我们停下来想想，地点有了，接下来我们需要运输数据了，一说到运输，首先必须要有路，有了路才能运输数据。
//首先我们先连接数据库：BBSstring str="data source=.;initial catalog=BBS;user id =sa";//铺路（new 对象）SqlConnection connection=new Sqlconnection(str);//打开数据库Connection.Open();//我们要运输的货物（生成Sql语句）string sql="我们需要查询的语句";我们已经铺好路了，现在路有了，我们是不是需要一辆跑车呢？现在我们请出跑车：DataAdapter（数据适配器）//new 个跑车出来SqlDataAdapter adapter=new SqlDataAdapter(sql,connection);这就话的意思就是给指定的跑车（adapter）装上货物（sql）并且给跑车规定路径（connection）. 看外表好像齐全了，但是我们忘了最重要的一点是怎么让这个跑车跑起来呢？必须上一个马达。
我们现在就请出fill();方法，//开动跑车adapter.fill(dataset,"bookTbl1");现在这个跑车已经按照规定去办事了，你只需要在另一个地方接货了。
2021年软件技术 2.4.1DataSet对象的数据模型与DataTable数据表
第二页，共四页。
谢谢观看
第三页，共四页。
内容总结
DataSet对象的数据模型与DataTable数据表。DataTable数据表对象中可包含DataColumn对象 和DataRow对象。Delete方法标记要移除的行，再用AcceptChanges方法实现实际的删除。谢谢观 看
第四页，共四页。
DataColumn对象有DataTyent、AutoIncrementSeed、AutoIncrementStenCollection 的定义生成一个空行对象，Add方法将生成的行对象添加到DataRowCollection， Remove方法将数据行从DataRowCollection中删除。Delete方法标记要移除的行， 再用AcceptChanges方法实现实际的删除。
第一页，共四页。
DataSet对象的数据模型与DataTable数据表
DataTable数据表： DataColumnCollection数据列集合定义表的架构，DataRowCollection数据行集合构成数据本身。 DataTable数据表对象中可包含DataColumn对象和DataRow对象。