大量数据分批读取方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
StringBuilder sbNewContent = new StringBuilder(); StreamReader streamReader = new StreamReader(@"D:\test.txt", Encoding.UTF8); string line = streamReader.ReadLine(); int count = 0; int size = 100; while(line!=null) { sbNewContent.AppendLine(line); count++;
for (int i = 0; i < pageCount; i++) {
list.Skip(i * size).Take(size).ToList(); // TODO }
情景2：未知数据总数，但是也要分批处理数据。 举一个例子，超大文件按行分割，实现逻辑，每以流的方式读取N行，然后写入新文件。关键代码如下：
举一个例子超大文件按行分割实现逻辑每以流的方式读取n行然后写入新文件
大量数据分批读取方法
情景1：已知List总数，要分批处理数据。 经典的分页逻辑就可以实现了，代码如下：
int size = 100;//每次读取条数 int count = total;//总数量 int pageCount = (count / size) + (count % size == 0 ? 0 : 1);//总页数
if(count%size == 0) {
//TODO 写入新文件 sbNewContent = new StringBuilder(); //重新初始化 }
line = streamReagth > 0) {
//TODO 写入新文件 }
streamReader.Close();