Tcl中binary format 和binary scan命令分析

Tcl中binary format 和binary scan命令分析
在Tcl中，用binary format 和binary scan来处理二进制文件用得比较多，但这个两个命令比较难理解。

我花了一天的时间，终于略知一二。

现和大家分享下。

一：binary命令的解释
binary format binary scan
帮助给出的解释：
This command provides facilities for manipulating binary data. The first form, binary format,creates a binary string from normal Tcl values. For example, given the values 16 and 22, on a 32-bit architecture, it might produce an 8-byte binary string consisting of two 4-byte integers, one for each of the numbers. The second form of the command, binary scan, does the opposite: it extracts data from a binary string and returns it as ordinary Tcl string values.
大意是：该命令是对二进制数据进行操作。

binary format命令，是把普通的Tcl 数据转换成二进制字符，例如：在32位的机器上，可以把16和22这样的数据，转换成由两个4字节的整数组成的8字节的二进制字符串（一个二进制字符的显示图形，是由字符编码方式决定的，在记事本里有ANSI、Unicode、Unicode big endian和UTF-8编码方式，关于字符编码可看：字符编码笔记：ASCII，Unicode 和UTF-8）。

binary scan命令，功能正好与binary format命令相反，是把二进制字符转换成正常的Tcl 数据。

二：binary命令的语法
1．binary format formatString ?arg arg ...?
The binary format command generates a binary string whose layout is specified by the formatString and whose contents come from the additional arguments. The resulting binary value is returned
binary format命令接收数据（arg arg ...?）并根据模板（formatString）进行压缩转换，最后返回转换的值。

处理不同的数据用不同的模板，比如待处理的数据是二进制数（例：1001010）可用b或B，待处理的数据是十六进制数（例：FF）可用h或H；并根据待处理数据的长度，设置count，比如待处理二进制数1001010长为8，则count=8，（在其它模板中，count还可表示重复特征等）。

2．binary scan string formatString ?varName varName ...?
The binary scan command parses fields from a binary string, returning the number of conversions performed. String gives the input bytes to be parsed (one byte per character, and characters not representable as a byte have their high bits chopped) and formatString indicates how to parse it. Each varName gives the name of a variable; when a field is scanned from string the result is assigned to the corresponding variable.
Binary scan 命令根据模块（formatString）从一二进制字符里解析获得一数值，并把该数值赋给变量（arg arg ...?），该命令返回解析的字符的个数。

待解析的字符可能是由几个字节组成，到底由几个字节组成一个字符，由通道的属性来决定，比如fconfigure channel -encoding binary ，则是一个字节构成一个字符，可以认为高8位的字节被砍掉了。

三：二进制编码模式的设置
fconfigure stdout –translation binary –encoding binary
在文件中处理二进制数据时，要先关闭换行转换和字符设置编码方式：fconfigure stdout –translation binary –encoding binary，关闭换行转换还可在puts 命令后面加上变元-nonewline。

设置了二进制编码后，在进行二进制输出（puts）时，Tcl就会把每个Unicode字符的高8位舍去，保留低8位写入二进制文件中；在进行读（gets或read）二进制文件时，Tcl就会读取每个8位字节并将其储于一个16位Unicode字符的低半部分中，同时将高半部分设置为0。

例1：
set fileID [open test.hex w+];
fconfigure $fileID -translation binary -encoding binary;
puts –nonewline $fileID "\u30ac";
close $fileID
在tclsh运行上面代码后，用UltraEdit打开test.hex，可看到，已把高8位字节30给舍去了。

例2：把I/O通道的字符集编码设置成unicode，即下面的代码，再运行一次。

set fileID [open test.hex w+];
fconfigure $fileID -translation binary -encoding unicode;
puts –nonewline $fileID "\u30ac";
close $fileID
可看到，高8位的字节30还保存在。

注意：puts stdout 与puts $fileID时的区别
在Tclsh编译环境中，一般系统默认编码为cp936（用encoding system查询），跟unicode编码方式差不多吧？错，不完全相同。

当然stdout的默认编码也为
cp936，用puts “\u00ca”，能正确输出为；而当把这个字符写入到fileID文件时，用puts -nonewline $fileID “\u00ca”，然后用记事本打开看到的是一个“？”字符，显然是记事本的无法用正常的编码方式打开，用UltraEdit可看到其实写入3F，而\u003F正好就是“？”字符的编码。

这是
因为pust $fileID的编码方式用的默认的cp936，而一般的文档的编码用的是unicode，不支持cp936(这也是为什么Tclsh环境中能正确显示，而文档不行)，当用cp936编码的字符存入到unicode编码的文档中，就丢失信息了，不能正确显示。

所以在把数据写入文件I/O中，一定要先设置I/O通道的编码方式。

用fconfigure $fileID -encoding binary(或unicode或utf-8)，来设置输出到文件的模式，当然从文件I/O中读出数据也要同样设置I/O通道的编码模式，否则也会丢失信息。

五：其它：
1．关于待要写入文件的数据的格式。

在用Tcl处理中会产生一些数据，我们想把它保存起来，这些数据不外乎二进制数据和十六进制数据，其它这两种格式的数据是可以转换，例如：11001010B=CAH，binary scan [binary format“B8”11001010]“H2”tmp，转换后的tmp值为CA。

不转换也可以，用binary format "B8" 11001010和 binary format“H2”CA产生的效果是一样的。

为什么要转换后，存入文件，因为小。

2．关于big-endian 和little-endian。