VC利用内存映射文件处理大文件

对大文件的管理 内存映射文件对象在关闭对象之前并没有必要撤销内存映射文件的所有视图。 在对象被释放 之前，所有的脏页面将自动写入磁盘。通过 CloseHandle（）关闭内存映射文件对象，只是释放 该对象，如果内存映射文件代表的是磁盘文件，那么还需要调用标准文件 I/O 函数来将其关闭。 在处理大文件处理时，内存映射文件将表示出卓越的优势，只需要消耗极少的物理资源，对系统 的影响微乎其微。下面先给出内存映射文件的一般编程流程框图： 图 2 使用内存映射文件的一般流程 而在某些特殊行业，经常要面对十几 GB 乃至几十 GB 容量的巨型文件，而一个 32 位进程所 拥有的虚拟地址空间只有 232 = 4GB，显然不能一次将文件映像全部映射进来。对于这种情况只 能依次将大文件的各个部分映射到进程中的一个较小的地址空间。 这需要对上面的一般流程进行 适当的更改： 1）映射文件开头的映像。 2）对该映像进行访问。 3）取消此映像 4）映射一个从文件中的一个更深的位移开始的新映像。 5）重复步骤 2，直到访问完全部的文件数据。 下面给出一段根据此描述而写出的对大于 4GB 的文件的处理代码： // 选择文件 CFileDialog fileDlg(TRUE, "*.txt", "*.txt", NULL, " 文本文件 (*.txt)|*.txt||", this); fileDlg.m_ofn.Flags |= OFN_FILEMUSTEXIST; fileDlg.m_ofn.lpstrTitle = "通过内存映射文件读取数据"; if (fileDlg.DoModal() == IDOK) { // 创建文件对象 HANDLE hFile = CreateFile(fileDlg.GetPathName(), GENERIC_READ | GENERIC_WRITE,
件的物理存储器是来自于磁盘上的文件， 而非系统的页文件， 使创建内存映射文件就像保留一个 地址空间区域并将物理存储器提交给该区域一样。第二个参数为指向文件映射内核对象的 SECURITY_ATTRIBUTES 结构的指针，由此来决定子进程能否继承得到返回的句柄。通常为其传递 NULL 值，以默认的安全属性来禁止返回句柄的被继承。 接下来的参数用于文件被映射后设定文件映像的保护属性。其可能的取值为 PAGE_READONLY、 PAGE_READWRITE 和 PAGE_WRITECOPY。虽然在创建文件映射对象时，系统并不 为其保留地址空间区域，也不将文件的存储器映射到该区域。但是，在系统将存储器映射到进程 的地址空间中去时，系统必须确切知道应赋予物理存储器页面的保护属性。在设置保护属性时， 必须与用 CreateFile（）函数打开文件时所指定的访问标识相匹配，否则将导致 CreateFileMapping（）的执行失败。因此这里设置 PAGE_READWRITE 属性。除了上述三个页面 保护属性外，还有 4 个区（Section）保护属性也可以一起组合使用：
VC 利用内存映射文件处理大文件（转载）
摘要： 本文通过内存映射文件的使用来对大尺寸文件进行访问操作， 同时也对内存映射文件的相 关概念和一般编程过程作了较为详细的介绍。 关键词：内存映射文件；大文件处理；分配粒度 引言 文件操作是应用程序最为基本的功能之一，Win32 API 和 MFC 均提供有支持文件处理的函数 和类，常用的有 Win32 API 的 CreateFile()、WriteFile()、ReadFile()和 MFC 提供的 CFile 类 等。一般来说，以上这些函数可以满足大多数场合的要求，但是对于某些特殊应用领域所需要的 动辄几十 GB、几百 GB、乃至几 TB 的海量存储，再以通常的文件处理方法进行处理显然是行不通 的。目前，对于上述这种大文件的操作一般是以内存映射文件的方式来加以处理的，本文下面将 针对这种 Windows 核心编程技术展开讨论。 内存映射文件概述 内存文件映射也是 Windows 的一种内存管理方法， 提供了一个统一的内存管理特征， 使应用 程序可以通过内存指针对磁盘上的文件进行访问， 其过程就如同对加载了文件的内存的访问。 通 过文件映射这种使磁盘文件的全部或部分内容与进程虚拟地址空间的某个区域建立映射关联的 能力， 可以直接对被映射的文件进行访问， 而不必执行文件 I/O 操作也无需对文件内容进行缓冲 处理。内存文件映射的这种特性是非常适合于用来管理大尺寸文件的。 在使用内存映射文件进行 I/O 处理时， 系统对数据的传输按页面来进行。 至于内部的所有内 存页面则是由虚拟内存管理器来负责管理， 由其来决定内存页面何时被分页到磁盘， 哪些页面应 该被释放以便为其它进程提供空闲空间， 以及每个进程可以拥有超出实际分配物理内存之外的多 少个页面空间等等。 由于虚拟内存管理器是以一种统一的方式来处理所有磁盘 I/O 的 （以页面为 单位对内存数据进行读写），因此这种优化使其有能力以足够快的速度来处理内存操作。 使用内存映射文件时所进行的任何实际 I/O 交互都是在内存中进行并以标准的内存地址形 式来访问。 磁盘的周期性分页也是由操作系统在后台隐蔽实现的， 对应用程序而言是完全透明的。 内存映射文件的这种特性在进行大文件的磁盘事务操作时将获得很高的效益。 需要说明的是，在系统的正常的分页操作过程中，内存映射文件并非一成不变的，它将被定 期更新。如果系统要使用的页面目前正被某个内存映射文件所占用，系统将释放此页面，如果页 面数据尚未保存，系统将在释放页面之前自动完成页面数据到磁盘的写入。 对于使用页虚拟存储管理的 Windows 操作系统， 内存映射文件是其内部已有的内存管理组件 的一个扩充。 由可执行代码页面和数据页面组成的应用程序可根据需要由操作系统来将这些页面 换进或换出内存。 如果内存中的某个页面不再需要， 操作系统将撤消此页面原拥用者对它的控制 权，并释放该页面以供其它进程使用。只有在该页面再次成为需求页面时，才会从磁盘上的可执 行文件重新读入内存。同样地，当一个进程初始化启动时，内存的页面将用来存储该应用程序的
BYTE temp = *(lpbMapAddress + i); } // 撤消文件映像 UnmapViewOfFile(lpbMapAddress); // 修正参数 qwFileOffset += dwBlockBytes; qwFileSize -= dwBlockBytes; } // 关闭文件映射对象句柄 CloseHandle(hFileMap); AfxMessageBox("成功完成对文件的访问"); } 在本例中，首先通过 GetFileSize（）得到被处理文件长度（64 位）的高 32 位和低 32 位值。 然后在映射过程中设定每次映射的块大小为 1000 倍的分配粒度，如果文件长度小于 1000 倍的 分配粒度时则将块大小设置为文件的实际长度。在处理过程中由映射、访问、撤消映射构成了一 个循环处理。其中，每处理完一个文件块后都通过关闭文件映射对象来对每个文件块进行整理。 CreateFileMapping（）、MapViewOfFile（）等函数是专门用来进行内存文件映射处理用的。
Baidu Nhomakorabea
静态、动态数据，一旦对它们的操作被提交，这些页面也将被备份至系统的页面文件，这与可执 行文件被用来备份执行代码页面的过程是很类似的。 图 1 展示了代码页面和数据页面在磁盘存储 器上的备份过程： 图 1 进程的代码页、数据页在磁盘存储器上的备份 显然，如果可以采取同一种方式来处理代码和数据页面，无疑将会提高程序的执行效率，而 内存映射文件的使用恰恰可以满足此需求。
下面分别对这些关键函数进行说明： 1）CreateFile（）：CreateFile（）函数是一个用途非常广泛的函数，在这里的用法并没 有什么特殊的地方，但有几点需要注意：一是访问模式参数 dwDesiredAccess。该参数设置了对 文件内核对象的访问类型，其允许设置的权限可以为读权限 GENERIC_READ、写权限 GENERIC_WRITE、读写权限 GENERIC_READ | GENERIC_WRITE 和设备查询权限 0。在使用映射文件 时，只能打开那些具有可读访问权限的文件，即只能应用 GENERIC_READ 和 GENERIC_READ | GENERIC_WRITE 这两种组合；另一点需要注意的是共享模式参数 dwShareMode。该参数定义了对 文件内核对象的共享方式，其可能的设置为 FILE_SHARE_READ、FILE_SHARE_WRITE 和 0，并可对 其组合使用。其中，设置为 0 时不允许共享对象； FILE_SHARE_READ 和 FILE_SHARE_WRITE 分别 为在要求只读、只写访问的情况下才允许对象的共享。 由于通过内存映射文件可以在多个进程间共享数据，因此在进行这种应用时应当考虑 dwShareMode 参数设置对运行结果的影响。 2）CreateFileMapping（）：该函数的作用是创建一个文件映射内核对象，以告知系统文件 映射对象需要多大的物理存储器。 创建内存映射文件对象对系统资源几乎没有什么影响， 也不会 影响进程的虚拟地址空间。 除了需要用来表示该对象的内部资源之外通常并不用为其分配虚拟内 存， 但是如果内存映射文件对象是作共享内存之用的话， 就要在创建对象时由系统为内存映射文 件的使用在系统页文件中保留足够的空间。 函数第一个参数 hFile 为标识要映射到进程的地址空间的文件的句柄。 虽然由于内存映射文
0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL); if (hFile == INVALID_HANDLE_VALUE) { TRACE("创建文件对象失败,错误代码:%d\r\n", GetLastError()); return; } // 创建文件映射对象 HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, 0, NULL); if (hFileMap == NULL) { TRACE("创建文件映射对象失败,错误代码:%d\r\n", GetLastError()); return; } // 得到系统分配粒度 SYSTEM_INFO SysInfo; GetSystemInfo(&SysInfo); DWORD dwGran = SysInfo.dwAllocationGranularity; // 得到文件尺寸 DWORD dwFileSizeHigh; __int64 qwFileSize = GetFileSize(hFile, &dwFileSizeHigh); qwFileSize |= (((__int64)dwFileSizeHigh) << 32); // 关闭文件对象 CloseHandle(hFile); // 偏移地址 __int64 qwFileOffset = 0; // 块大小 DWORD dwBlockBytes = dwGran; while (qwFileSize > 0) { // 映射视图 if (qwFileSize < dwGran) dwBlockBytes = (DWORD)qwFileSize; LPBYTE lpbMapAddress = (LPBYTE)MapViewOfFile(hFileMap,FILE_MAP_ALL_ACCESS, (DWORD)(qwFileOffset >> 32), (DWORD)(qwFileOffset & 0xFFFFFFFF), dwBlockBytes); if (lpbMapAddress == NULL) { TRACE("映射文件映射失败,错误代码:%d\r\n", GetLastError()); return; } // 对映射的视图进行访问 for(DWORD i = 0; i < dwBlockBytes; i++) {