Tokyo Cabinet中变量压缩存取的问题

hm2462964492

在TC中，很多地方为了节约存储空间，在保存变量时不会直接存放变量类型长度的值（比如4字节或8字节的值）到文件中，它会探测变量用来表示值的有效字节数，然后把这些有意义的字节保存起来，在后面读取该变量时，TC会把该变量的所有有效字节都读出来，从而计算出该变量所表示的值。
为了实现这个功能，TC的做法是：把变量的每个字节当成一个有符号数，最高位仅做为符号位使用，前面7位才用来表示真正的值，这样一来，文件中的4个字节的数仅有28位用来保存长度信息，如果我们要保存0xFFFFFFFF这个值，就需要在文件中占用5个字节，然而，这种情况的值毕竟是少数（4字节整型数只有超过2^28时才会在文件中占用5字节，其它情况都会少于或等于4字节），我们一般存放的值都很小，就只需要少于4个字节的存储长度，比如存放小于2^7的所有值只需要1个字节空间，存放2^7到2^14之间的值仅需要2字节等等，通过这中方式节省的空间会远远少于我们浪费的空间，因此这种做法在节省文件空间方面还是很有效的。
上面大概讲了原理，下面我们来看看TC中的代码，看看TC具体怎么实现的，我会在下面的代码中给出注释说明。TC主要通过2个宏来分别完成存放和读取变长变量，这2个宏又分别对应32位版本（最多存取4字节的值）和64位的版本（最多存放8字节的值），我仅分析32位的情况，64位情况类似。
1、  把一个变量按变长方式放到buffer中
/* set a buffer for a variable length number */
#define TCSETVNUMBUF(TC_len, TC_buf, TC_num) / // TC_num为正整数
  do { /
    int _TC_num = (TC_num); /
    if(_TC_num == 0){ /  // 存放的变量为0
      ((signed char *)(TC_buf))[0] = 0; /
      (TC_len) = 1; /  // 返回存放了1个字节长度
    } else { /
      (TC_len) = 0; /
      while(_TC_num > 0){ /  // 变量大于0，就一直循环存放
        int _TC_rem = _TC_num & 0x7f; / // 取变量低7位存放
        _TC_num >>= 7; / // 变量右移7位
        if(_TC_num > 0){ / // 去掉低7位后变量是否还有值？
// 按负数存放取得的变量低7位值，减一确保为负数，因为中间可能有0
          ((signed char *)(TC_buf))[(TC_len)] = -_TC_rem - 1; /         
} else { /  // 保留最后7位，按正数的形式
          ((signed char *)(TC_buf))[(TC_len)] = _TC_rem; /
        } /
        (TC_len)++; / // 存放的长度加1，表示用了多少字节来存放变量
      } /
    } /
  } while(false)
2、  从buffer中读出按变长方式存放的变量值
/* read a variable length buffer */
#define TCREADVNUMBUF(TC_buf, TC_num, TC_step) /
  do { /
    TC_num = 0; /
    int _TC_base = 1; /
    int _TC_i = 0; / // 从buffer第一个成员开始读取
    while(true){ /
      if(((signed char *)(TC_buf))[_TC_i] >= 0){ / // 该字节大于0，则是最后字节
        TC_num += ((signed char *)(TC_buf))[_TC_i] * _TC_base; / // 累加
        break; / // 退出结束
      } /
        // 该字节小于0，则不是最后字节
      TC_num += _TC_base * (((signed char *)(TC_buf))[_TC_i] + 1) * -1; / //累加
      _TC_base <<= 7; /
      _TC_i++; / // 移动buffer
    } /
    (TC_step) = _TC_i + 1; / // 读取长度加1，表示读了多少字节的变量

  } while(false)



以上为原文，有一点不明白，为什么不把变量的每个字节当成无符号来存取，这样不是更减少空间吗？