Chinaunix

标题: 网卡驱动注册到PCI总线这一过程的分析 [打印本页]
作者: scutan    时间: 2008-12-15 22:46
标题: 网卡驱动注册到PCI总线这一过程的分析
大家好，最近在看网络部分的代码，目前看到了网卡的初始化部分。书上讲到的内容主要是网卡驱动程序对网卡自身的初始化部分，即网卡驱动的probe函数是如何执行的，而很少讲到网卡是如何注册到系统中去的这一部分。
    现在的网卡大部分都是连接到PCI总线上的。因此，网卡驱动是如何连接到PCI总线，又是如何与网卡设备联系起来，网卡在注册的最后又是如何调用到该网卡的probe函数的，这一个过程将在后面的文章中进行描述。整个文章分成两个部分，第一部分是讲解总线、设备以及驱动三者的联系，为第二部分具体讲解PCI总线、网卡设备和驱动做一点铺垫。
    由于我在这方面也是初学，之所以想总结出来是想到在总结的过程中对自己的学习也是一个梳理的过程。所以有什么地方写得不好的，还请各位多多指正，非常感谢！也希望能在这里结识更多的朋友。

    在总结的过程中参考了下面一些资料，在此表示感谢：
[1] <Understanding Linux Network Internals>
[2] <Linux那些事儿之我是U盘>
[3] <Essential Linux Device Drivers>
[4] <Linux Device Driver> 3rd Edition.


1. 总线、设备和驱动
1.1 简单介绍
        Linux设备模型中三个很重要的概念就是总线、设备和驱动，即bus，device和driver。它们分别对应的数据结构分别为struct bus_type，struct device和struct device_driver。
        总线是处理器与一个或多个设备之间的通道，在设备模型中，所有的设备都通过总线相连。在最底层，Linux系统中的每一个设备都用device结构的一个实例来表示。而驱动则是使总线上的设备能够完成它应该完成的功能。
        在系统中有多种总线，如PCI总线、SCSI总线等。系统中的多个设备和驱动是通过总线让它们联系起来的。在bus_type中两个很重要的成员就是struct kset drivers和struct kset devices。它分别代表了连接在这个总线上的两个链，一个是设备链表，另一个则是设备驱动链表。也就是说，通过一个总线描述符，就可以找到挂载到这条总线上的设备，以及支持该总线的不同的设备驱动程序。
1.2 总线、设备与驱动的绑定
        在系统启动时，它会对每种类型的总线创建一个描述符，并将使用该总线的设备链接到该总线描述符的devices链上来。也即是说在系统初始化时，它会扫描连接了哪些设备，并且为每个设备建立一个struce device变量，然后将该变量链接到这个设备所连接的总线的描述符上去。另一方面，每当加载了一个设备驱动，则系统也会准备一个struct device_driver结构的变量，然后再将这个变量也链接到它所在总线的描述符的drivers链上去。       
        对于设备来说，在结构体struct device中有两个重要的成员，一个是struct bus_type *bus，另一个是struct device_driver *driver。bus成员就表示该设备是链接到哪一个总线上的，而driver成员就表示当前设备是由哪个驱动程序所驱动的。对于驱动程序来说，在结构体struct device_driver中也有两个成员，struct bus_type *bus和struct list_head devices，这里的bus成员也是指向这个驱动是链接到哪个总线上的，而devices这个链表则是表示当前这个驱动程序可以去进行驱动的那些设备。一个驱动程序可以支持一个或多个设备，而一个设备则只会绑定给一个驱动程序。
        对于device与device_driver之间建立联系的方式，主要有两种方式。第一种，在计算机启动的时候，总线开始扫描连接在其上的设备，为每个设备建立一个struct device变量并链接到该总线的devices链上，然后开始初始化不同的驱动程序，驱动程序到它所在的总线的devices链上去遍历每一个还没有被绑定给某个驱动的设备，然后再查看是否能够支持这种设备，如果它能够支持这种设备，则将这个设备与这个驱动联系起来。即，将这个设备的device变量加到驱动的devices链上，同时让struct device中的device_driver指向当前这个驱动。第二种则是热插拔。也即是在系统运行时插入了设备，此时内核会去查找在该bus链上注册了的device_driver，然后再将设备与驱动联系起来。设备与驱动根据什么规则联系起来，它们是如何被联系起来的代码我们将在后面的章节进行详细的描述。
1.3 PCI总线
        PCI是一种在CPU与I/O设备之间进行高速数据传输的一种总线。有很多设备都是使用PCI总线的，网卡就是其中之一。我们在前面讲了那些总线、设备与驱动方面的知识，原因就在于网卡是连接到PCI总线上，所以PCI总线、网卡设备以及网卡驱动就成了我们研究网卡的一个很重要的线索，尤其是在网络的链路层部分。下图显示了在一个系统中PCI设备的一个框图：

        PCI子系统声明了一个bus_type结构，为pci_bus_type。它就是PCI总线的描述符。在这个变量上，链接了PCI设备以及支持PCI设备的驱动程序。
1.4 PCI设备与驱动
        PCI设备通常由一组参数唯一地标识，它们被vendorID，deviceID和class nodes所标识，即设备厂商，型号等，这些参数保存在pci_device_id结构中。每个PCI设备都会被分配一个pci_dev变量，内核就用这个数据结构来表示一个PCI设备。
        所有的PCI驱动程序都必须定义一个pci_driver结构变量，在该变量中包含了这个PCI驱动程序所提供的不同功能的函数，同时，在这个结构中也包含了一个device_driver结构，这个结构定义了PCI子系统与PCI设备之间的接口。在注册PCI驱动程序时，这个结构将被初始化，同时这个pci_driver变量会被链接到pci_bus_type中的驱动链上去。
        在pci_driver中有一个成员struct pci_device_id *id_table，它列出了这个设备驱动程序所能够处理的所有PCI设备的ID值。
1.5 PCI设备与驱动的绑定过程
        下面描述一下对于PCI设备与驱动绑定的过程。首先在系统启动的时候，PCI总线会去扫描连接到这个总线上的设备，同时为每一个设备建立一个pci_dev结构，在这个结构中有一个device成员，并将这些pci_dev结构链接到PCI总线描述符上的devices链。如下图所示：

        第二步是当PCI驱动被加载时，pci_driver结构体将被初始化，这一过程在函数pci_register_driver中：
        drv->driver.bus = &pci_bus_type;
        drv->driver.probe = pci_device_probe;
        最后会调用driver_register(&drv->driver)将这个PCI驱动挂载到总线描述符的驱动链上。同时在注册的过程中，会根据pci_driver中的id_table中的ID值去查看该驱动支持哪些设备，将这些设备挂载到pci_driver中的devices链中来。如下图所示：

        对于不同的设备，可能驱动程序也不一样，因此，对于上图中的Dev3，可能就需要另外一个驱动程序来对其进行驱动。所以当加载了Dev3的驱动程序时，其示意图如下图所示：

        上面这三个示意图就描述了总线、设备以及驱动在系统中是如何进行相互联系的。前面对于驱动注册这些函数的描述较为简单，因为网卡是一个PCI设备，因此在后面具体地讲到网卡注册时再来详细地讲解和PCI相关的注册等函数。
1.6 小结
        本部分主要讲解了总线、设备以及驱动方面的一些知识，由于网卡是一个PCI设备，因此具体地讲到了一点PCI总线、PCI设备及相应的PCI驱动方面的知识，但是由于PCI本身就是很大的一个子系统，因此这里不可能对其进行详细地讲解，在后面对网卡的分析中，将对网卡中涉及到的和PCI相关的部分进行讲解。
作者: scutan    时间: 2008-12-15 22:47
2. 网卡在PCI层的注册
2.1 数据结构
        前面第一章讲了总线、设备以及驱动方面的关系，也讲到了大多数网卡设备实际上是一个PCI设备。因此，本章就讲解网卡设备在注册时是如何注册到PCI总线上去的。在这里，以Intel的E100网卡驱动进行讲解。
        前面讲到每个PCI设备都由一组参数唯一地标识，这些参数保存在结构体pci_device_id中，如下所示：

  2. struct pci_device_id {
  3.         __u32 vendor, device;                /* Vendor and device ID or PCI_ANY_ID*/
  4.         __u32 subvendor, subdevice;        /* Subsystem ID's or PCI_ANY_ID */
  5.         __u32 class, class_mask;        /* (class,subclass,prog-if) triplet */
  6.         kernel_ulong_t driver_data;        /* Data private to the driver */
  7. };
复制代码

        每个PCI设备驱动都有一个pci_driver变量，它描述了一个PCI驱动的信息，如下所示：

  2. struct pci_driver {
  3.         struct list_head node;
  4.         char *name;
  5.         const struct pci_device_id *id_table;        /* must be non-NULL for probe to be called */
  6.         int  (*probe)  (struct pci_dev *dev, const struct pci_device_id *id);        /* New device inserted */
  7.         void (*remove) (struct pci_dev *dev);        /* Device removed (NULL if not a hot-plug capable driver) */
  8.         int  (*suspend) (struct pci_dev *dev, pm_message_t state);        /* Device suspended */
  9.         int  (*suspend_late) (struct pci_dev *dev, pm_message_t state);
  10.         int  (*resume_early) (struct pci_dev *dev);
  11.         int  (*resume) (struct pci_dev *dev);                        /* Device woken up */
  12.         int  (*enable_wake) (struct pci_dev *dev, pci_power_t state, int enable);   /* Enable wake event */
  13.         void (*shutdown) (struct pci_dev *dev);

  15.         struct pci_error_handlers *err_handler;
  16.         struct device_driver        driver;
  17.         struct pci_dynids dynids;

  19.         int multithread_probe;
  20. };
复制代码

        每个PCI驱动中都有一个id_table成员变量，记录了当前这个驱动所能够进行驱动的那些设备的ID值。
        对于E100网卡驱动来说，它的pci_driver变量定义为：

  2. static struct pci_driver e100_driver = {
  3.         .name =         DRV_NAME,
  4.         .id_table =     e100_id_table,
  5.         .probe =        e100_probe,
  6.         .remove =       __devexit_p(e100_remove),
  7. #ifdef CONFIG_PM
  8.         /* Power Management hooks */
  9.         .suspend =      e100_suspend,
  10.         .resume =       e100_resume,
  11. #endif
  12.         .shutdown =     e100_shutdown,
  13.         .err_handler = &e100_err_handler,
  14. };
复制代码

        里面e100_id_table就表示该E100驱动所能够支持的PCI设备的ID号，其定义为：

  2. #define INTEL_8255X_ETHERNET_DEVICE(device_id, ich) {\
  3.         PCI_VENDOR_ID_INTEL, device_id, PCI_ANY_ID, PCI_ANY_ID, \
  4.         PCI_CLASS_NETWORK_ETHERNET << 8, 0xFFFF00, ich }
  5. static struct pci_device_id e100_id_table[] = {
  6.         INTEL_8255X_ETHERNET_DEVICE(0x1029, 0),
  7.         INTEL_8255X_ETHERNET_DEVICE(0x1030, 0),
  8.         …
  9.         { 0, }
  10. };
复制代码

        当PCI层检测到一个PCI设备能够被某PCI驱动所支持时（这是通过函数pci_match_one_device来进行检测的），就会调用这个PCI驱动上的probe函数，在该函数中会对该特定的PCI设备进行一些具体的初始化等操作。比如对于E100设备驱动来说，其probe函数为e100_probe。在这个函数中，会对网卡设备进行初始化。
        e100_probe主要就涉及到网卡设备net_device的初始化，我们现在先来关注一下从网卡注册一直到调用e100_probe这一个过程的整个流程。
2.2 E100初始化
        E100驱动程序的初始化是在函数e100_init_module()中的，如下：

  2. static int __init e100_init_module(void)
  3. {
  4.         if(((1 << debug) - 1) & NETIF_MSG_DRV) {
  5.                 printk(KERN_INFO PFX "%s, %s\n", DRV_DESCRIPTION, DRV_VERSION);
  6.                 printk(KERN_INFO PFX "%s\n", DRV_COPYRIGHT);
  7.         }
  8.         return pci_register_driver(&e100_driver);
  9. }
复制代码

        在这个函数中，调用了pci_register_driver()函数，对e100_driver这个驱动进行注册。
2.3 PCI注册
        在前面我们已经看到，PCI的注册就是将PCI驱动程序挂载到其所在的总线的drivers链，同时扫描PCI设备，将它能够进行驱动的设备挂载到driver上的devices链表上来，这里，我们将详细地查看这整个流程的函数调用关系。
        pci_register_driver()->__pci_register_driver()

  2. /**
  3. * __pci_register_driver - register a new pci driver
  4. * @drv: the driver structure to register
  5. * @owner: owner module of drv
  6. * @mod_name: module name string
  7. *
  8. * Adds the driver structure to the list of registered drivers.
  9. * Returns a negative value on error, otherwise 0.
  10. * If no error occurred, the driver remains registered even if
  11. * no device was claimed during registration.
  12. */       
  13. int __pci_register_driver(struct pci_driver *drv, struct module *owner, const char *mod_name);
  14.         在函数中有几个初始化语句：
  15.         drv->driver.name = drv->name;
  16.         drv->driver.bus = &pci_bus_type;
  17.         drv->driver.owner = owner;
  18.         drv->driver.mod_name = mod_name;
复制代码

        即是将PCI设备中的driver变量的总线指向pci_bus_type这个总线描述符，同时设置驱动的名字等。
        pci_bus_type定义如下：

  2. struct bus_type pci_bus_type = {
  3.         .name                = "pci",
  4.         .match                = pci_bus_match,
  5.         .uevent                = pci_uevent,
  6.         .probe                = pci_device_probe,
  7.         .remove                = pci_device_remove,
  8.         .suspend        = pci_device_suspend,
  9.         .suspend_late        = pci_device_suspend_late,
  10.         .resume_early        = pci_device_resume_early,
  11.         .resume                = pci_device_resume,
  12.         .shutdown        = pci_device_shutdown,
  13.         .dev_attrs        = pci_dev_attrs,
  14. };
复制代码

        然后再调用函数driver_register(&drv->driver);通过这个函数将这个PCI驱动中的struct device_driver driver成员变量注册到系统中去。
        pci_register_driver()->__pci_register_driver()->driver_register()
        driver_register()代码如下：

  2. /**
  3. *        driver_register - register driver with bus
  4. *        @drv:        driver to register
  5. *
  6. *        We pass off most of the work to the bus_add_driver() call,
  7. *        since most of the things we have to do deal with the bus
  8. *        structures.
  9. *
  10. *        The one interesting aspect is that we setup @drv->unloaded
  11. *        as a completion that gets complete when the driver reference
  12. *        count reaches 0.
  13. */
  14. int driver_register(struct device_driver * drv)
  15. {
  16.         if ((drv->bus->probe && drv->probe) ||
  17.             (drv->bus->remove && drv->remove) ||
  18.             (drv->bus->shutdown && drv->shutdown)) {
  19.                 printk(KERN_WARNING "Driver '%s' needs updating - please use bus_type methods\n", drv->name);
  20.         }
  21.         klist_init(&drv->klist_devices, NULL, NULL);
  22.         init_completion(&drv->unloaded);
  23.         return bus_add_driver(drv);
  24. }
复制代码

        klist_init()是为设备驱动的klist_devices成员进行初始化，这个klist_devices是一个对链表进行操作的包裹结构，它会链接这个驱动能够支持的那些设备。
        最后就调用bus_add_driver()函数。这个函数的功能就是将这个驱动加到其所在的总线的驱动链上。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()
        在bus_add_driver()函数中，最重要的是调用driver_attach()函数，其定义如下：

  2. /**
  3. *        driver_attach - try to bind driver to devices.
  4. *        @drv:        driver.
  5. *
  6. *        Walk the list of devices that the bus has on it and try to
  7. *        match the driver with each one.  If driver_probe_device()
  8. *        returns 0 and the @dev->driver is set, we've found a
  9. *        compatible pair.
  10. */
  11. int driver_attach(struct device_driver * drv)
  12. {
  13.         return bus_for_each_dev(drv->bus, NULL, drv, __driver_attach);
  14. }
复制代码

        该函数遍历这个驱动所在的总线上的所有设备，然后将这些设备与当前驱动进行匹配，以检测这个驱动是否能够支持某个设备，也即是将设备与驱动联系起来。
        bus_for_each_dev函数是扫描在drv->bus这个总线上的所有设备，然后将每个设备以及当前驱动这两个指针传递给__driver_attach函数。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()
        __driver_attach()函数是将驱动与设备联系起来的函数。

  2. static int __driver_attach(struct device * dev, void * data)
  3. {
  4.         struct device_driver * drv = data;

  6.         /*
  7.          * Lock device and try to bind to it. We drop the error
  8.          * here and always return 0, because we need to keep trying
  9.          * to bind to devices and some drivers will return an error
  10.          * simply if it didn't support the device.
  11.          *
  12.          * driver_probe_device() will spit a warning if there
  13.          * is an error.
  14.          */

  16.         if (dev->parent)        /* Needed for USB */
  17.                 down(&dev->parent->sem);
  18.         down(&dev->sem);
  19.         if (!dev->driver)
  20.                 driver_probe_device(drv, dev);
  21.         up(&dev->sem);
  22.         if (dev->parent)
  23.                 up(&dev->parent->sem);

  25.         return 0;
  26. }
复制代码

        在函数中有两条语句：

  2.         if (!dev->driver)
  3.                 driver_probe_device(drv, dev);
复制代码

        也即是判断当前设备是否已经注册了一个驱动，如果没有注册驱动，则调用driver_probe_device()函数。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()
        如下：

  2. /**
  3. * driver_probe_device - attempt to bind device & driver together
  4. * @drv: driver to bind a device to
  5. * @dev: device to try to bind to the driver
  6. *
  7. * First, we call the bus's match function, if one present, which should
  8. * compare the device IDs the driver supports with the device IDs of the
  9. * device. Note we don't do this ourselves because we don't know the
  10. * format of the ID structures, nor what is to be considered a match and
  11. * what is not.
  12. *
  13. * This function returns 1 if a match is found, an error if one occurs
  14. * (that is not -ENODEV or -ENXIO), and 0 otherwise.
  15. *
  16. * This function must be called with @dev->sem held.  When called for a
  17. * USB interface, @dev->parent->sem must be held as well.
  18. */
  19. int driver_probe_device(struct device_driver * drv, struct device * dev)
  20. {
  21.         struct stupid_thread_structure *data;
  22.         struct task_struct *probe_task;
  23.         int ret = 0;

  25.         if (!device_is_registered(dev))
  26.                 return -ENODEV;
  27.         if (drv->bus->match && !drv->bus->match(dev, drv))
  28.                 goto done;

  30.         pr_debug("%s: Matched Device %s with Driver %s\n",
  31.                  drv->bus->name, dev->bus_id, drv->name);

  33.         data = kmalloc(sizeof(*data), GFP_KERNEL);
  34.         if (!data)
  35.                 return -ENOMEM;
  36.         data->drv = drv;
  37.         data->dev = dev;

  39.         if (drv->multithread_probe) {
  40.                 probe_task = kthread_run(really_probe, data,
  41.                                          "probe-%s", dev->bus_id);
  42.                 if (IS_ERR(probe_task))
  43.                         ret = really_probe(data);
  44.         } else
  45.                 ret = really_probe(data);

  47. done:
  48.         return ret;
  49. }       
复制代码

        该函数首先会调用总线上的match函数，以判断当前的PCI驱动能否支持该PCI设备，如果可以，则继续往后面执行。
        drv->bus->match函数也即是pci_bus_type中的match成员变量，它为pci_bus_match函数。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->pci_bus_match()

  2. /**
  3. * pci_bus_match - Tell if a PCI device structure has a matching PCI device id structure
  4. * @dev: the PCI device structure to match against
  5. * @drv: the device driver to search for matching PCI device id structures
  6. *
  7. * Used by a driver to check whether a PCI device present in the
  8. * system is in its list of supported devices. Returns the matching
  9. * pci_device_id structure or %NULL if there is no match.
  10. */
  11. static int pci_bus_match(struct device *dev, struct device_driver *drv)
  12. {
  13.         struct pci_dev *pci_dev = to_pci_dev(dev);
  14.         struct pci_driver *pci_drv = to_pci_driver(drv);
  15.         const struct pci_device_id *found_id;

  17.         found_id = pci_match_device(pci_drv, pci_dev);
  18.         if (found_id)
  19.                 return 1;

  21.         return 0;
  22. }
复制代码

        pci_bus_match函数的作用就是将PCI设备与PCI驱动进行比较以检查该驱动是否能够支持这个设备。在函数的最前面是两个宏to_pci_dev和to_pci_driver。因为在函数执行的过程中，虽然最开始传进来的是pci_driver结构与pci_dev结构，但是在执行的时候却取了这两个结构体中的device_driver和device成员变量，所以现在就要通过这两个成员变量找到之前对应的pci_driver和pci_dev结构的地址。
#define        to_pci_dev(n) container_of(n, struct pci_dev, dev)
#define        to_pci_driver(drv) container_of(drv,struct pci_driver, driver)
        这两个宏在<Linux Device Driver> 3rd书上有相应的讲解，这里也就是找到E100的pci_driver：e100_driver以及该网卡设备的pci_dev结构。现在就要对它们进行比较以看它们之间是否能够联系起来。这是通过函数pci_match_device实现的。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->pci_bus_match()->pci_match_device()

  2. /**
  3. * pci_match_device - Tell if a PCI device structure has a matching PCI device id structure
  4. * @drv: the PCI driver to match against
  5. * @dev: the PCI device structure to match against
  6. *
  7. * Used by a driver to check whether a PCI device present in the
  8. * system is in its list of supported devices.  Returns the matching
  9. * pci_device_id structure or %NULL if there is no match.
  10. */
  11. const struct pci_device_id *pci_match_device(struct pci_driver *drv,
  12.                                              struct pci_dev *dev)
  13. {
  14.         struct pci_dynid *dynid;

  16.         /* Look at the dynamic ids first, before the static ones */
  17.         spin_lock(&drv->dynids.lock);
  18.         list_for_each_entry(dynid, &drv->dynids.list, node) {
  19.                 if (pci_match_one_device(&dynid->id, dev)) {
  20.                         spin_unlock(&drv->dynids.lock);
  21.                         return &dynid->id;
  22.                 }
  23.         }
  24.         spin_unlock(&drv->dynids.lock);

  26.         return pci_match_id(drv->id_table, dev);
  27. }
复制代码

        pci_match_one_driver函数的作用是将一个PCI设备与PCI驱动进行比较，以查看它们是否相匹配。如果相匹配，则返回匹配的pci_device_id结构体指针。
        此时，如果该PCI驱动已经找到了一个可以想符的PCI设备，则返回，然后再退回到之前的driver_probe_device函数中。在该函数最后将调用really_probe函数。将device_driver与device结构体指针作为参数传递到这个函数中。下面几行是调用驱动或者总线的probe函数来扫描设备。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->really_probe()
        在函数really_probe()中：

  2.         if (dev->bus->probe) {
  3.                 ret = dev->bus->probe(dev);
  4.                 if (ret)
  5.                         goto probe_failed;
  6.         } else if (drv->probe) {
  7.                 ret = drv->probe(dev);
  8.                 if (ret)
  9.                         goto probe_failed;
  10.         }
复制代码

        此时的dev->bus为pci_bus_type，其probe函数则对应为：pci_device_probe。
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->really_probe()->pci_device_probe()
        同样，在该函数中会获得当前的PCI设备的pci_dev结构体指针以及PCI驱动程序的pci_driver结构体指针。分别使用宏to_pci_dev和to_pci_driver。最后则调用函数__pci_device_probe。在该函数中还会调用函数pci_call_probe，这是最后的函数
        pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->really_probe()->pci_device_probe()->__pci_device_probe()->pci_call_probe()
        在函数pci_call_probe里有一条语句：

  2. static int pci_call_probe(struct pci_driver *drv, struct pci_dev *dev,
  3.                           const struct pci_device_id *id)
  4. {
  5.         int error;
  6. /*  省略  */
  7.         error = drv->probe(dev, id);
复制代码

        在此处就调用了pci_driver的probe函数，对于这里的E100驱动来说，它的probe函数是最开始注册的e100_probe函数，在该函数中会完成对网卡设备net_device的初始化等操作。

  2.         pci_register_driver()->__pci_register_driver()->driver_register()->bus_add_driver()->driver_attach()->__driver_attach()->driver_probe_device()->really_probe()->pci_device_probe()->__pci_device_probe()->pci_call_probe()->e100_probe()
复制代码

        到这里，我们对网卡驱动的PCI层的初始化分析就告一个段落了，剩下的部分就是网卡驱动对网卡设备本身的初始化等操作。
作者: scutan    时间: 2008-12-15 22:48
2.4 函数调用流程图
        在这里，为网卡在PCI层的注册画了一个函数调用的流程图，能够更直观地展现网卡从注册到调用其自身的网卡初始化的这一个函数调用过程。

作者: scutan    时间: 2008-12-15 22:52
文笔实在不行，写了一个下午加晚上，才写这么点。希望能够对初学者有一点用吧。因为我最开始在看网卡驱动的时候，就是迷惑加载了网卡之后是如何调用到该网卡的probe函数的。所以就仔细地看了一下里面的源码。

这里主要还是起一个梳理的作用，很多代码也没有进一步地深入分析。不过对于网络架构来说，首先将整个调用的流程掌握了，对后面的理解也就更加方便了。

作者: Godbach    时间: 2008-12-15 22:54
scutan兄又有好文章了，明天仔细拜读啊。
作者: albcamus    时间: 2008-12-15 23:10
补充一下，贴一下open函数的调用的笔记：

86, ifconfig eth0 up 会导致 net_device->open被调用，内幕！
       
            # strace ifconfig eth0 up 2>&1 |less -N
   
    可以看到，它是先用sockfd = socket(AF_INET, SOCK_DGRAM, 0)生成一个sockfd文件描述符，
    再ioctl(sockfd, SIOCSIFFLAGS, 加上IFF_UP标志)。 这样就导致了open方法的调用。

    socket文件描述符都是用socket(2)系统调用生成的：
           
        sys_socket() > sock_map_fd() > sock_attach_fd() :

                dentry->d_op = &sockfs_dentry_operations;
                ...

                init_file(file, sock_mnt, dentry, FMODE_READ|FMODE_WRITE, &socket_file_ops);
                SOCK_INODE(sock)->i_fop = &socket_file_ops;
       
        (回忆一下，这个是不是就类似于ext3_iget()里头对inode->i_fop的赋值？)


                static const struct file_operations socket_file_ops = {
                        .owner =        THIS_MODULE,
                        .llseek =        no_llseek,
                        .aio_read =        sock_aio_read,
                        .aio_write =        sock_aio_write,
                        .poll =                sock_poll,
                        .unlocked_ioctl = sock_ioctl,
                #ifdef CONFIG_COMPAT
                        .compat_ioctl = compat_sock_ioctl,
                #endif
                        .mmap =                sock_mmap,
                        .open =                sock_no_open,        /* special open code to disallow open via /proc */
                        .release =        sock_close,
                        .fasync =        sock_fasync,
                        .sendpage =        sock_sendpage,
                        .splice_write = generic_splice_sendpage,
                        .splice_read =        sock_splice_read,
                }

        其unlocked_ioctl = sock_ioctl，那么我们沿着sock_ioctl走下去：
               
                sock_ioctl() --switch到了default--> dev_ioctl() > --SIOCSIFFLAGS--> dev_ifsioc()
                > dev_change_flags() :
                       
                        if ((old_flags ^ flags) & IFF_UP) {IFF_UP/* Bit is different  ? */
                                ret = ((old_flags & IFF_UP) ? dev_close : dev_open)(dev);

        如果是设置了IFF_UP，就调用dev_open；如果是清除了IFF_UP，就调用dev_close。 看dev_open里的：
               
                ret = dev->open(dev);
       
        就在此时，struct net_device的open方法被调用。
作者: albcamus    时间: 2008-12-15 23:11
2). remove函数何时被调用？
            
            当pci_dev消失时(设备被拔出)，或者module被rmmod时。

            pci_unregister_driver() > driver_unregister() > driver_detach() > __device_release_driver():

                if (dev->bus && dev->bus->remove)
                        dev->bus->remove(dev);
                else if (drv->remove)
                        drv->remove(dev);
          
            对pci设备来说，这里的dev->bus就是&pci_bus_type，参考1)中的定义，我们知道其remove函数是
            pci_device_remove():

                        struct pci_dev * pci_dev = to_pci_dev(dev);
                        struct pci_driver * drv = pci_dev->driver;

                        if (drv) {
                                if (drv->remove)
                                        drv->remove(pci_dev);
                                pci_dev->driver = NULL;
                        }
作者: albcamus    时间: 2008-12-15 23:11
[FYI] 增加/删除一个PCI device时的情景。
              (只有boot时的enumeration和hotplug两种情况可能导致设备出现与消失)


              pci device的发现：

                      [ pci_scan_slot() > pci_scan_single_device() > pci_scan_device()
                                                             > pci_device_add() ]


                pci_bus_add_devices() > pci_bus_add_device() > device_add() > bus_attach_device() :
                       
                        int device_attach(struct device *dev)
                        {
                                int ret = 0;

                                down(&dev->sem);
                                if (dev->driver) {
                                        ret = device_bind_driver(dev);
                                        if (ret == 0)
                                                ret = 1;
                                        else {
                                                dev->driver = NULL;
                                                ret = 0;
                                        }
                                } else {
                                        ret = bus_for_each_drv(dev->bus, NULL, dev, __device_attach);
                                }
                                up(&dev->sem);
                                return ret;
                        }

                也就是说，如果已经有了dev->driver这个值，那么就直接bind上去；如果没有，那么：
                       
                        bus_for_each_drv() > __device_attach() > driver_probe_device() > really_probe()

                此后发生的情形就和从pci_register_driver()一直调用到really_probe()的一样了。


        remove:
        =======
                pci_remove_bus_device() > pci_destroy_dev() > pci_stop_dev() > device_unregister() >
                device_del() > bus_remove_device() > device_release_driver() > __device_release_driver() :

                        static void __device_release_driver(struct device *dev)
                        {
                                struct device_driver *drv;

                                drv = dev->driver;
                                if (drv) {
                                        driver_sysfs_remove(dev);
                                        sysfs_remove_link(&dev->kobj, "driver");

                                        if (dev->bus)
                                                blocking_notifier_call_chain(&dev->bus->p->bus_notifier,
                                                                             BUS_NOTIFY_UNBIND_DRIVER,
                                                                             dev);

                                        if (dev->bus && dev->bus->remove)
                                                dev->bus->remove(dev);
                                        else if (drv->remove)
                                                drv->remove(dev);
                                        devres_release_all(dev);
                                        dev->driver = NULL;
                                        klist_remove(&dev->knode_driver);
                                }
                        }

                注意，如果可以，首先尝试调用pci_bus_type的remove方法(a.k.a pci_device_remove)，否则调用
                device_driver的remove方法。
作者: scutan    时间: 2008-12-15 23:27

谢谢albcamus版主精彩的补充。
作者: kns1024wh    时间: 2008-12-16 08:48
标题: 回复 #1 scutan 的帖子
实践的结论是最有说服力的
作者: dreamice    时间: 2008-12-16 09:51
这贴牛，高手汇集。受益匪浅
作者: Godbach    时间: 2008-12-16 10:04
标题: 回复 #11 dreamice 的帖子
是啊。先读一遍，然后再向scutan和albcamus兄请教。
作者: Godbach    时间: 2008-12-16 10:56
补充一下，贴一下open函数的调用的笔记：


大家要学习albcamus版主看书做笔记的好习惯啊。偶以前就没这个习惯，理解的东西没过多久就又忘了。
作者: Arthur_    时间: 2008-12-16 13:25
五体投地
作者: scutan    时间: 2008-12-16 13:38
谢谢各位。
作者: Godbach    时间: 2008-12-16 14:09
通读一遍，写的很好。流程比较明确。

整个流程应该是使用了两个probe函数。一个是pci_bus_type的probe函数指针，指向pci_device_probe。
另一个就是驱动程序自己的probe函数，指向e100_probe，该函数在一下代码中调用。完成网卡的具体初始化工作。

static int pci_call_probe(struct pci_driver *drv, struct pci_dev *dev,
                          const struct pci_device_id *id)
{
        int error;
/*  省略  */
        error = drv->probe(dev, id);
作者: Godbach    时间: 2008-12-16 14:16
不同的总线注册不同的struct bus_type结构体。随后在同一总线上注册多个设备驱动的时候，它们对应同一个struct bus_type。
作者: Godbach    时间: 2008-12-16 14:33
一个小问题：
从内核代码中看到USB设备时使用usb_register注册USB设备，同时使用usb自身的bus_type。那这意味着USB总线是和PCI总线属于两种不同的总线。
但为什么在pci_ids.h中，有这样的定义：
#define PCI_BASE_CLASS_SERIAL                0x0c
#define PCI_CLASS_SERIAL_FIREWIRE        0x0c00
#define PCI_CLASS_SERIAL_ACCESS                0x0c01
#define PCI_CLASS_SERIAL_SSA                0x0c02
#define PCI_CLASS_SERIAL_USB                0x0c03
#define PCI_CLASS_SERIAL_USB_UHCI        0x0c0300
#define PCI_CLASS_SERIAL_USB_OHCI        0x0c0310
#define PCI_CLASS_SERIAL_USB_EHCI        0x0c0320
#define PCI_CLASS_SERIAL_FIBER                0x0c04
#define PCI_CLASS_SERIAL_SMBUS                0x0c05


MS在PCI中有USB类的设备。这个该怎么理解。偶的硬件学得不好，熟悉的朋友能否帮忙解释一下？
作者: Godbach    时间: 2008-12-16 16:44
LZ说明一下内核版本号吧。我这2.6.18.3，dd.c中没有really_probe函数。:wink:
作者: scutan    时间: 2008-12-16 16:55
原帖由 Godbach 于 2008-12-16 16:44 发表
LZ说明一下内核版本号吧。我这2.6.18.3，dd.c中没有really_probe函数。:wink:


我的是2.6.21
作者: scutan    时间: 2008-12-16 16:56
原帖由 Godbach 于 2008-12-16 16:44 发表
LZ说明一下内核版本号吧。我这2.6.18.3，dd.c中没有really_probe函数。:wink:


driver_probe_device 函数

  2. int driver_probe_device(struct device_driver * drv, struct device * dev)
  3. {
  4.         struct stupid_thread_structure *data;
  5.         struct task_struct *probe_task;
  6.         int ret = 0;

  8.         if (!device_is_registered(dev))
  9.                 return -ENODEV;
  10.         if (drv->bus->match && !drv->bus->match(dev, drv))
  11.                 goto done;

  13.         pr_debug("%s: Matched Device %s with Driver %s\n",
  14.                  drv->bus->name, dev->bus_id, drv->name);

  16.         data = kmalloc(sizeof(*data), GFP_KERNEL);
  17.         if (!data)
  18.                 return -ENOMEM;
  19.         data->drv = drv;
  20.         data->dev = dev;

  22.         if (drv->multithread_probe) {
  23.                 probe_task = kthread_run(really_probe, data,
  24.                                          "probe-%s", dev->bus_id);
  25.                 if (IS_ERR(probe_task))
  26.                         ret = really_probe(data);
  27.         } else
  28.                 ret = really_probe(data);

  30. done:
  31.         return ret;
  32. }

复制代码
作者: Godbach    时间: 2008-12-16 17:00
2.6.18.3中dd.c.
函数driver_probe_device代码中dev->bus->probe对应的函数为pci_device_probe，随后调用关系为：->__pci_device_probe->pci_call_probe
该函数里面执行了 drv->probe，即e100驱动注册的e100_probe()
driver_probe_device函数的实现：
int driver_probe_device(struct device_driver * drv, struct device * dev)
{
        int ret = 0;

        if (drv->bus->match && !drv->bus->match(dev, drv))
                goto Done;

        pr_debug("%s: Matched Device %s with Driver %s\n",
                 drv->bus->name, dev->bus_id, drv->name);
        dev->driver = drv;
        if (dev->bus->probe) {
                ret = dev->bus->probe(dev);
                if (ret) {
                        dev->driver = NULL;
                        goto ProbeFailed;
                }
        } else if (drv->probe) {
                ret = drv->probe(dev);
                if (ret) {
                        dev->driver = NULL;
                        goto ProbeFailed;
                }
        }
        device_bind_driver(dev);
        ret = 1;
        pr_debug("%s: Bound Device %s to Driver %s\n",
                 drv->bus->name, dev->bus_id, drv->name);
        goto Done;

ProbeFailed:
        if (ret == -ENODEV || ret == -ENXIO) {
                /* Driver matched, but didn't support device
                 * or device not found.
                 * Not an error; keep going.
                 */
                ret = 0;
        } else {
                /* driver matched but the probe failed */
                printk(KERN_WARNING
                       "%s: probe of %s failed with error %d\n",
                       drv->name, dev->bus_id, ret);
        }
Done:
        return ret;
}


pci_call_probe函数的实现
static int pci_call_probe(struct pci_driver *drv, struct pci_dev *dev,
                          const struct pci_device_id *id)
{
        int error;
#ifdef CONFIG_NUMA
        /* Execute driver initialization on node where the
           device's bus is attached to.  This way the driver likely
           allocates its local memory on the right node without
           any need to change it. */
        struct mempolicy *oldpol;
        cpumask_t oldmask = current->cpus_allowed;
        int node = pcibus_to_node(dev->bus);
        if (node >= 0 && node_online(node))
            set_cpus_allowed(current, node_to_cpumask(node));
        /* And set default memory allocation policy */
        oldpol = current->mempolicy;
        current->mempolicy = &default_policy;
        mpol_get(current->mempolicy);
#endif
        error = drv->probe(dev, id);
#ifdef CONFIG_NUMA
        set_cpus_allowed(current, oldmask);
        mpol_free(current->mempolicy);
        current->mempolicy = oldpol;
#endif
        return error;
}

[ 本帖最后由 Godbach 于 2008-12-16 17:04 编辑 ]
作者: Godbach    时间: 2008-12-16 17:07
标题: 回复 #21 scutan 的帖子
代码是变化了。应该是2.6.21的代码里面把driver_probe_device()函数的实现进行了封装。

[ 本帖最后由 Godbach 于 2008-12-16 17:09 编辑 ]
作者: qinjiana0786    时间: 2008-12-16 19:16
分析的过程很精彩，lz辛苦了。

[ 本帖最后由 qinjiana0786 于 2009-3-6 17:02 编辑 ]
作者: Godbach    时间: 2008-12-16 20:51
标题: 回复 #24 qinjiana0786 的帖子
非常欢迎qinjiana0786兄来完成更详细的分析啊。

LZ在这篇文章的开篇也说了，这里整理出来一个流程，提供一个主线，帮着梳理一下。这样可以帮助希望自己熟悉和分析代码，但又不知道如何下手的朋友。
作者: eexplorer    时间: 2008-12-17 09:19
原帖由 Godbach 于 2008-12-16 14:33 发表
一个小问题：
从内核代码中看到USB设备时使用usb_register注册USB设备，同时使用usb自身的bus_type。那这意味着USB总线是和PCI总线属于两种不同的总线。
但为什么在pci_ids.h中，有这样的定义：


MS在PCI ...


这些是usb host controller，是一个pci device（可通过lspci找到）, 和usb host controller 通信的usb devices才是挂在usb bus上的
作者: Godbach    时间: 2008-12-17 09:42
原帖由 eexplorer 于 2008-12-17 09:19 发表


这些是usb host controller，是一个pci device（可通过lspci找到）, 和usb host controller 通信的usb devices才是挂在usb bus上的


多谢LS。那应该还有一些USB Device是不同USB host controller通信的，这样的设备是怎么工作的呢？
作者: bbaqq222    时间: 2008-12-17 09:58
感谢高人的讲解，认真琢磨一下
作者: scutan    时间: 2008-12-17 13:40
原帖由 qinjiana0786 于 2008-12-16 19:16 发表
分析的过程是正确的，但是在内核的PCI的过程上要是展开下就很好，不要只是用图片或者函数的调用路线来形容，毕竟内核的部分不是能用只言片语就能一笔带过的，核心部分还是围绕着PCI的过程详细一下就太精彩了，如 ...


小弟在硬件这块目前还没有精力去深入下去，所以希望qinjiana0786兄能够多多指点一下。
谢谢。

BTW: 我从您的TCP/IP核心过程分析中学到了很多东西，表示感谢！
作者: eexplorer    时间: 2008-12-17 17:33
原帖由 Godbach 于 2008-12-17 09:42 发表


多谢LS。那应该还有一些USB Device是不同USB host controller通信的，这样的设备是怎么工作的呢？


不太明白你的问题，USB device应该只有通过USB host controller才能和CPU交互，
作者: Godbach    时间: 2008-12-17 17:49
和usb host controller 通信的usb devices才是挂在usb bus上的


对这句话我的理解是，可能还有一些不通过usb host controller 通信的usb devices。

看来我的理解能力很弱
作者: ller    时间: 2008-12-18 22:55
标题: 回复 #3 scutan 的帖子
网卡驱动模块是什么时候加载的，是根据udev规则吗，我没有找到相应规则，还是起网络服务时加载的，我在运行级别1上仍然可以lsmod到我的网卡驱动模块
作者: ller    时间: 2008-12-18 23:38
标题: 回复 #32 ller 的帖子
在网终的启动脚本上看到了对ethN的modprobe操作，然后根据modprobe.conf中的alias找到相应的驱动
作者: albcamus    时间: 2008-12-19 12:56
原帖由 qinjiana0786 于 2008-12-16 19:16 发表
分析的过程是正确的，但是在内核的PCI的过程上要是展开下就很好，不要只是用图片或者函数的调用路线来形容，毕竟内核的部分不是能用只言片语就能一笔带过的，核心部分还是围绕着PCI的过程详细一下就太精彩了，如 ...


linux有的看、有的用吗？ 每个人就写了那么一点， 拼凑起来的
作者: OraBSD    时间: 2008-12-20 23:59
标题: 回复 #34 albcamus 的帖子
作者: emmoblin    时间: 2008-12-21 21:19
好贴啊，我也是不清楚怎么调用到probe的。
努力以后我也能写几篇加精的文章。努力。。。。
作者: Godbach    时间: 2008-12-21 22:22
原帖由 emmoblin 于 2008-12-21 21:19 发表
好贴啊，我也是不清楚怎么调用到probe的。
努力以后我也能写几篇加精的文章。努力。。。。


期待emmoblin兄多发几篇精品文章上来啊。
作者: hb12112    时间: 2008-12-23 15:46
精彩！
作者: efr6    时间: 2008-12-23 18:42
thank you!
作者: WFCJZ    时间: 2008-12-24 01:01
搞懂了，整死电信，叫它给人玩网卡绑定这招，最烦人！



http://eblog.cersp.com/UploadFiles/2007-5/59797326.swf
作者: ops    时间: 2008-12-24 12:44
好东西
作者: wylhistory    时间: 2009-01-14 20:09
学习了！
作者: fly6    时间: 2009-02-12 11:15
终于弄懂了内核何时调用驱动程序的probe函数
哈哈,谢谢楼主
作者: fly6    时间: 2009-04-08 11:33
PCI模块已加载了, 但在/prco/devices中看不到此模块的信息
这样我就没办法mknod /dev/mypci 建立设备节点了,用户空间程序也就没办法访问了
而模块的信息如下
/sys/bus/pci/devices/0000:01:02.0/
|-- bus -> ../../../../bus/pci
|-- class
|-- config
|-- device
|-- driver -> ../../../../bus/pci/drivers/hifn_kma_drv
|-- irq
|-- local_cpus
|-- modalias
|-- power
|   |-- state
|   `-- wakeup
|-- resource
|-- resource0
|-- resource1
|-- resource2
|-- subsystem_device
|-- subsystem_vendor
|-- uevent
`-- vendor

[root@localhost 0000:01:02.0]# cat device
0x001d

====================
请问如何在/dev/下面建立起与此PCI设备相关的设备节点
作者: Godbach    时间: 2009-04-08 11:37
原帖由 fly6 于 2009-4-8 11:33 发表
PCI模块已加载了, 但在/prco/devices中看不到此模块的信息
这样我就没办法mknod /dev/mypci 建立设备节点了,用户空间程序也就没办法访问了
而模块的信息如下
/sys/bus/pci/devices/0000:01:02.0/
|-- bus - ...


PCI设备还需要mknod吗。LZ了解一下网卡采用什么方式？
作者: fly6    时间: 2009-04-08 12:46
呵呵,PCI设备不用mknod吗?我怜不清楚
是一块加速卡,不是网卡
作者: Godbach    时间: 2009-04-08 12:55
原帖由 fly6 于 2009-4-8 12:46 发表
呵呵,PCI设备不用mknod吗?我怜不清楚
是一块加速卡,不是网卡

网卡就是标准的PCI设备。它不适用mknod的方式。PCI设别通常是采用probe的方式探测，然后分配一个结构体。以后操作这个结构体就可以对设备进行操作了。
作者: fly6    时间: 2009-04-08 14:35
但用户程序怎么使用这个结构体呢?
作者: Godbach    时间: 2009-04-08 16:13
建议看一下LDD3中PCI和网络设备这两章内容
作者: duanius    时间: 2009-04-19 15:13
最近在看设备模型   这篇文章写的好  把ldd第14章添加设备一节给捋了一遍   感谢燕姿

[ 本帖最后由 duanius 于 2009-4-19 15:14 编辑 ]
作者: accessory    时间: 2009-04-24 23:21
不错. 学习下.

PS: 建议LZ或者版主把第一楼编辑下,加上内核版本号 2.6.21 . 这样清楚些.

[ 本帖最后由 accessory 于 2009-4-24 23:27 编辑 ]
作者: thelittlefox    时间: 2009-05-26 09:40
写的太精彩了~~
谢谢版主的精彩分析~
ChinaUnix上大牛果然很多
作者: crifan    时间: 2009-05-29 01:39
感谢LZ写的这么详细，很有帮助，所以抽空弄了个pdf版本的，方便大家收藏哈：
网卡驱动注册到PCI总线这一过程的分析.pdf (475.15 KB, 下载次数: 252)
作者: duanius    时间: 2009-06-02 15:58
读到这篇文章 发现挺不错的 可以作为这篇的usb姐妹篇  
http://blog.csdn.net/aaronychen/archive/2008/03/17/2192147.aspx
作者: Godbach    时间: 2009-06-02 16:04
众人拾柴火焰高啊。多谢大家的分享。
作者: wlp555ren    时间: 2009-07-21 11:35
有个问题，device结构中的关于设备的ID信息，必要要求与驱动一致，才能与之对应，那这个设备的ID信息是怎么得到的？？？？
作者: Godbach    时间: 2009-07-21 16:44
原帖由 wlp555ren 于 2009-7-21 11:35 发表
有个问题，device结构中的关于设备的ID信息，必要要求与驱动一致，才能与之对应，那这个设备的ID信息是怎么得到的？？？？


PCI设置中是有配置空间的，可以再扫描设置是读取config空间，获取到吧。
作者: cskyrain    时间: 2009-08-01 22:32
精彩，不过能在详细点就更好了，呵呵，
作者: anhongkui    时间: 2009-08-02 20:10
下载看了很精彩
作者: jyhhappyjyh    时间: 2011-06-09 17:49
回复 3# scutan


    版主写得很辛苦，收益匪浅！有利于全局把握PCI设备驱动的注册过程！谢谢！
作者: lxzjw123    时间: 2012-04-28 18:05
多谢，学习了
作者: kvmautotest    时间: 2012-04-29 11:41
回复 1# scutan

不错哦。
不过建议最好写一下内核代码的版本。
   
作者: zjfreeubuntu    时间: 2013-04-22 21:47
很感动，分享快乐
作者: firocu    时间: 2013-04-26 22:24
还没读，先MARK。。。
作者: 雷锋不谢    时间: 2014-08-27 14:20
期待 后面网驱对网卡的初始化。。；
作者: l289123557    时间: 2015-09-07 23:26
保存网页上班看
作者: netdyk    时间: 2016-02-26 16:22
回复 53# crifan

好人啊


   



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2