内存hotplug支持问题

humjb_1983

embeddedlwp 发表于 2013-12-19 09:37
回复 5# humjb_1983

Now some severs support a hardware memory RAS feature called memory

版主相当的专业~，提供的信息非常丰富，感谢分享，还请再帮忙确认如下几个疑问：
1、memory hot remove目前内核中是否确实不能完全实现？因为内核自身使用的pages无法迁移？在64位系统中，由于内核态的地址空间足够大，所以内核使用的pages可能遍布于所有的物理内存中，所以可能导致所有的内存条都不能热拔？
2、memory mirror和memory hotplug实际是两套独立的方案吧？应不能结合使用吧？您的意思是，在当前内核还未完全实现memory hot remove的情况下，只能使用memory mirror来提供内存可靠性了？
3、版主提供的信息很详细，不知是否有相关的参考资料，能否再共享一下？非常感谢！

humjb_1983

瀚海书香 发表于 2013-12-19 10:45
回复 1# humjb_1983
貌似国内富士通南大搞这个的比较多。
应该也是软件触发，将某一个node的数据移到其余 ...

呵呵，感谢瀚海兄~
目前的主要问题是：内核占用的pages不能迁移，所以当前内核中，内存hot remove的实用性比较差~~

embeddedlwp

Arrange hotpluggable memory as ZONE_MOVABLE
这个patchset 在缓解这个问题

内核占用的pages不能迁移
huawei通过类似memory mirror的方法实现貌似

memory mirror和memory hotplug实际是两套独立的方案吧？
我的理解是不能说是两套方案，8楼的方法，也就是extend memory mirror就是解决内核占用的pages不能迁移。

瀚海书香

回复 12# humjb_1983

目前的主要问题是：内核占用的pages不能迁移，所以当前内核中，内存hot remove的实用性比较差~~

这个目前貌似是这样的。 内核的pages就别想着迁移了，先能迁移应用就不错了

   

humjb_1983

embeddedlwp 发表于 2013-12-19 11:05
Arrange hotpluggable memory as ZONE_MOVABLE
这个patchset 在缓解这个问题

“Arrange hotpluggable memory as ZONE_MOVABLE“补丁的思路应该就是：试图将内核使用的pages都限制在同一个node下吧？这样就可以保证其他node可以hot remove。这个补丁最大的问题就是会降低性能，由于限制node后，Numa远程节点访问的效率问题，富士通应该做过专门的测试，性能会下降10-40%~.

extend memory mirror的确应该能解决内核pages不能迁移的问题，这个应该就是官方说的mirror replace的功能，但是由于memory mirror不能跨内存控制器(或cpu socket)，所以在硬件设计时，就必须要在每个内存控制器下都保留一个空闲的内存插槽(如果内核占用pages分布比较广，极端情况下，在所有的内存条上都有内核pages)，这样的话，所有的内存硬件故障都可以通过extend memory mirror来解决了，此时memory hot remove功能就用不上了？呵呵

HW如果采用memory mirror的方案支持内存热插拔的话，硬件设计成本应该就相对比较高了~~，但这的确是一种完善的解决方案~。

再次感谢版主，不知是否有详细资料可以共享下？

humjb_1983

瀚海书香 发表于 2013-12-19 11:19
回复 12# humjb_1983

这个目前貌似是这样的。 内核的pages就别想着迁移了，先能迁移应用就不错了:mrgre ...

呵呵，问题麻烦在于内核的pages可能分布在所有的物理内存上，那么所有的内存都不能迁移了~~
而如果限制内核pages占用的内存节点，又会由于Numa效率问题影响性能~

embeddedlwp

回复 15# humjb_1983

没资料，都是自己读代码。


   

humjb_1983

embeddedlwp 发表于 2013-12-19 11:37
回复 15# humjb_1983

没资料，都是自己读代码。

感谢，看来版主对这块分析得比较透彻~，后面相关问题还得多向你请教才行~~