请教：PCIE总线挂死后，CPU还能继续内存访问么？

humjb_1983

最近遇到一个PCIE设备(网卡)bug导致PCIE总线挂死，而最终系统挂死的问题。
思考一个问题，PCIE总线挂死后，CPU是否还能继续进行内存访问操作？此时，只是不能进行外设访问而已？
原理上：CPU跟内存的通信走的FSB，跟PCIE总线并没有直接的关系？
但是，从lspci命令的结果看，我的环境中，可以看到内存控制器、QPI设备等，看似内存控制器和CPU中的其它硬件单元都是挂在PCIE根端口上的？
或者说CPU Core跟内存控制器或者CPU上其它硬件单元间的通信都是基于PCIE协议的？
还请大家指教！！

q1208c

新的CPU架构中, 内存控制器是在CPU内部的. PCIe总线控制器好象也在CPU内部. 但它们俩应该没有直接关系.
当然, 另外, PCIe是串行总线, 应该不会出现卡死就影响整个系统的情况. 我觉得你的问题应该是 网卡引起的. kernel中有关网络的部分, 由于网卡的异常, 最终导致kernel panic.

不过, 我没看过代码, 以上纯猜测.

amarant

cpu到ddr这条路径跟pcie没关系吧。

humjb_1983

q1208c 发表于 2014-06-13 09:44
新的CPU架构中, 内存控制器是在CPU内部的. PCIe总线控制器好象也在CPU内部. 但它们俩应该没有直接关系.
当 ...

在我原来的想法中，也觉得内存的访问应该跟pci总线没啥关系，但是当我看到lspci的结果的时候，就想不明白了，
为啥lspci中能看到内存控制器呢？有相应的pci总线号。看起来像是cpu内部通信也是基于PCIE协议的？FSB跟PCIE总线硬件上是否有啥关联？疑问很多~
另外，关于网卡导致死机的问题，可以确认不是panic，而是网卡的AER功能导致的，只要驱动中访问网卡的(Intel的，具体型号不记得了)AER寄存器，
就立马挂死，没有任何异常打印，串口也抓不到。

humjb_1983

amarant 发表于 2014-06-13 10:15
cpu到ddr这条路径跟pcie没关系吧。

我本来也是这么想的，但是lspci的结果让我想不通~~

humjb_1983

附上我的某个环境中的lspci部分结果：
00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1)

chishanmingshen

回复 4# humjb_1983


    lspci哪有内存设备了？没有啊！

humjb_1983

chishanmingshen 发表于 2014-06-13 10:36
回复 4# humjb_1983

00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1)
呵呵，这不是内存控制器么？

另外一个环境中有如下的设备：
7f:0c.6 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller System Address Decoder 0 (rev 07)
7f:0d.6 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller System Address Decoder 1 (rev 07)
7f:0f.0 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Registers (rev 07)
7f:0f.1 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller RAS Registers (rev 07)
7f:0f.2 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Target Address Decoder 0 (rev 07)
7f:0f.3 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Target Address Decoder 1 (rev 07)
7f:0f.4 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Target Address Decoder 2 (rev 07)
7f:0f.5 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Target Address Decoder 3 (rev 07)
7f:0f.6 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Target Address Decoder 4 (rev 07)
7f:10.0 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Channel 0-3 Thermal Control 0 (rev 07)
7f:10.1 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Channel 0-3 Thermal Control 1 (rev 07)
7f:10.2 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller ERROR Registers 0 (rev 07)
7f:10.3 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller ERROR Registers 1 (rev 07)
7f:10.4 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Channel 0-3 Thermal Control 2 (rev 07)
7f:10.5 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller Channel 0-3 Thermal Control 3 (rev 07)
7f:10.6 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller ERROR Registers 2 (rev 07)
7f:10.7 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller ERROR Registers 3 (rev 07)
....

7f:08.0 System peripheral: Intel Corporation Sandy Bridge QPI Link 0 (rev 07)
7f:08.3 System peripheral: Intel Corporation Sandy Bridge QPI Link Reut 0 (rev 07)
7f:08.4 System peripheral: Intel Corporation Sandy Bridge QPI Link Reut 0 (rev 07)
7f:09.0 System peripheral: Intel Corporation Sandy Bridge QPI Link 1 (rev 07)
7f:09.3 System peripheral: Intel Corporation Sandy Bridge QPI Link Reut 1 (rev 07)
7f:09.4 System peripheral: Intel Corporation Sandy Bridge QPI Link Reut 1 (rev 07)

chishanmingshen

回复 8# humjb_1983


    这是host主桥！是pci总线上的东东

humjb_1983

但主桥跟memory controller有啥关系呢？（信息显示的是memory controller）
另外，后面的信息中：
7f:10.7 System peripheral: Intel Corporation Sandy Bridge Integrated Memory Controller ERROR Registers 3 (rev 07)
....

7f:08.0 System peripheral: Intel Corporation Sandy Bridge QPI Link 0 (rev 07)
这些设备为何又在pci总线上？