kmalloc VS kmem_cache_alloc

engine_chen

Linux内核为需要动态分配内存的内核程序提供了kmalloc/kfree/kcalloc/krealloc函数接口，它们分别对应于C标准库的malloc/free/calloc/krealloc。除此之外，Linux还提供了kmem_cache_xxx系列系统调用，以提供比上述接口更低的时间复杂度和空间复杂度，那么两者的效率究竟能差多少，它们又各自适合于何种场合呢？
Linux内存系统的层次结构为了保证灵活性，Linux内存分配系统是分层设计的，这种层次设计使得整个设计更加明晰，每个层次都能简单而有效地进行局部优化，所以一般也能提供更好的性能，当然扩展性也更好了，不然
SLUB[1]
的出现就不可能那么轻松自然了。Linux内存系统自上而下分成以下几部分：
单位
接口
算法
动态大小
kmalloc/kfree/krealloc/kcalloc
按大小组织的缓存数组
固定大小
kmem_cache_create/kmem_cache_destroy
kmem_cache_alloc/kmem_cache_free
Slab[
2
]
2^n页
alloc_pages/free_pages
__get_free_pages/__free_pages
伙伴算法
kmalloc相对于kmem_cache_alloc的时间复杂度因为kmalloc是基于kmem_cache_create实现的，那么时间效率上kmalloc肯定是占不到任何便宜了，那么究竟能差多少呢？让我们先来看看相关代码：
    79  static inline void *kmalloc(size_t size, gfp_t flags)
    80  {
    81      if (__builtin_constant_p(size)) {
    82          int i = 0;
    83  #define CACHE(x) \
    84          if (size
出于效率上的考虑，上述函数为被声明为内联编译，81行的__builtin_constant_p是gcc的内建函数[
3
]，它能够在编译时判定它的参数是否是编译时常量，如果是它将返回真，因为此函数为内联函数，并且__builtin_constant_p的参数为整型变量，所以判定仍有效。这也就意味着，如果你用如下方式调用kmalloc：
ptr = kmalloc(128, GTP_KERNEL);
实际执行的将是82-79行的代码。为了能将这部分代码展开，我们不得不参考文件kmalloc_sizes.h的内容：
     1  #if (PAGE_SIZE == 4096)
     2          CACHE(32)
     3  #endif
     4          CACHE(64)
     5  #if L1_CACHE_BYTES
代码展开后将是一系列的if-else语句块，顺序查找到最小的满足kmalloc大小要求的malloc_sizes的数组的索引。看到这里你也许会失望，顺序查找的时间复杂度不是O(n)么，既然malloc_sizes是数组，为啥不用更加高效的二分搜索呢？这个疑问先保留，不要忘了以上代码是size为常量的时候才会被执行的，其中肯定存在某些玄机。如果size为常量，那么每个if语句的值在编译时就应该能被算出，汇编的结果也证实了我的猜想，不仅仅是i的值在编译时就被算了出来，就连cs_cachep和cs_dmacachep的偏移量也是编译时计算出来的，编译器的智能程度远远地超出了我的预期。
    movl    malloc_sizes+60, %eax ; 60就是编译时计算出来的。
    andl    $-16, %esp
    subl    $16, %esp
    movl    %edx, 4(%esp)
    movl    %eax, (%esp)
    call    kmem_cache_alloc
需要指明的一点是，以上行为只有在打开编译器优化的时候才会起效，否则连inline函数它都不会展开。说起来，Linux内核和gcc编译器还真的是“狼狈为奸”好多年，连这点儿优化诡计都被利用上了。
从以上分析来看如果是申请固定大小的内存空间，kmalloc和kmem_cache_alloc时间效率相当。如果申请动态大小的空间，编译时优化是指望不上了，但是因为kmem_cache_alloc也只能申请固定大小的对象空间，所以也只能把kmalloc赶上架了。
哦，因为size不是常量，所以kmalloc将不会走以上分支，这时它调用__kmalloc：
void *__kmalloc(size_t size, gfp_t flags)
{
    kmem_cache_t *cachep;
    /* If you want to save a few bytes .text space: replace
     * __ with kmem_.
     * Then kmalloc uses the uninlined functions instead of the inline
     * functions.
     */
    cachep = __find_general_cachep(size, flags);
    if (unlikely(cachep == NULL))
        return NULL;
    return __cache_alloc(cachep, flags);
}
static inline kmem_cache_t *__find_general_cachep(size_t size, gfp_t gfpflags)
{
    struct cache_sizes *csizep = malloc_sizes;
#if DEBUG
    /* This happens if someone tries to call
    * kmem_cache_create(), or __kmalloc(), before
    * the generic caches are initialized.
    */
    BUG_ON(malloc_sizes[INDEX_AC].cs_cachep == NULL);
#endif
    while (size > csizep->cs_size)
        csizep++;
    /*
     * Really subtle: The last entry with cs->cs_size==ULONG_MAX
     * has cs_{dma,}cachep==NULL. Thus no special case
     * for large kmalloc calls required.
     */
    if (unlikely(gfpflags & GFP_DMA))
        return csizep->cs_dmacachep;
    return csizep->cs_cachep;
}
看到顺序查找的代码是不是感觉挺差劲的？猜想它也是基于大多数内存块都不是很大这个事实，所以顺序查找的事实时间复杂度反而会比二分查找低。但是，这多少有些让人不爽，SLUB的代码针对这部分又做了优化，基于大多数内存块是按2^N大小连续分部这个事实，用查表加上位级别的大小对齐处理提高了时间效率。由于这部分与本文所讨论的东西关联不大，所以留给看客自己去分析吧！
kmalloc相对于kmem_cache_alloc的空间复杂度除了时间复杂度，内存分配器的另外一个目标就是更好的空间复杂度，尽可能地减少内部碎片和外部碎片，充分利用已有内存空间。因为kmalloc所利用的内存块的大小是事先定义好的，所以很多情况下会产生内部碎片，浪费空间，而kmem_cache_alloc由于内存大小也是量身定做的缘故则不会。但是，有一点是kmem_cache_alloc所不能做到的，那就是动态大小的内存空间，这个任务是非kmalloc莫属。
其它kmem_cache_create的参数列表中还有构造函数和析构函数（SLUB中已经去掉了析构函数），对构造函数的支持也是Slab相对于其它内存分配器的优势，他能够避免对一块内存的重复初始化，从而提高效率，而kmalloc则不能。
结论动态创建固定大小的内存对象，虽然kmalloc的时间复杂度并不大，但是联系到空间复杂度，还是采用kmem_cache_alloc的好;而非固定大小的内存申请，只能经由kmalloc来解决。
参考连接：
[1]
The SLUB allocator
[2]
Linux slab 分配器详解
[3]
Other built-in functions provided by GCC


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u3/94690/showart_2051235.html