论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-12-15 15:43 |只看该作者 |倒序浏览

最近的一个项目要求海量数据处理(0.1GB/秒 *n)，其中一部分涉及内存分配，想自己开一块大内存池来管理，可能会使用页等机制，不太清楚linux对内存碎片的管理能力现在怎么样，想问问自己管理和直接在linux给的堆中分配和销毁性能会差多少，当然，如果是巨大的牛，写出来一定会有区别，想问问各位如果自己实现的话性能会有多少差别，稳定性会有多大把握，周期要多长，哦，内存的使用方式和系统的很象，不定长，随机分配。

只要是内存相关的，大家都可以说，我想多了解一些有助于我的判断，谢谢了

文库|博客

james.liu

家境小康

论坛徽章:: 0

2楼 [报告]

发表于 2006-12-15 15:47 |只看该作者

海量数据处理

具体点。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

albcamus

大富大贵

论坛徽章:: 0

3楼 [报告]

发表于 2006-12-15 16:11 |只看该作者

汗，这个问题不好说，内存管理的性能很难量化了来观察的，个人觉得是能省事就省事，尽量不要试图重新实现复杂的VM系统：工作量极大，而且未必(简直是肯定)优于内核中的VM系统。

ps . 你的机器字长多少，内存多大？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

mingyanguo

小富即安

论坛徽章:: 0

4楼 [报告]

发表于 2006-12-15 16:16 |只看该作者

原帖由 albcamus 于 2006-12-15 16:11 发表
汗，这个问题不好说，内存管理的性能很难量化了来观察的，个人觉得是能省事就省事，尽量不要试图重新实现复杂的VM系统：工作量极大，而且未必(简直是肯定)优于内核中的VM系统。

ps . 你的机器字长多少，内 ...

他的意思ms是应用层吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cellar

丰衣足食

论坛徽章:: 0

5楼 [报告]

发表于 2006-12-15 16:22 |只看该作者

原帖由 albcamus 于 2006-12-15 16:11 发表
汗，这个问题不好说，内存管理的性能很难量化了来观察的，个人觉得是能省事就省事，尽量不要试图重新实现复杂的VM系统：工作量极大，而且未必(简直是肯定)优于内核中的VM系统。

ps . 你的机器字长多少，内 ...

呵呵，这次不是embedded了，字长有可能是64，内存吗，n Giga吧，不够就加:em11:，其实我也这么想..不过一个同事不认同...

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zx_wing

小富即安

论坛徽章:: 0

6楼 [报告]

发表于 2006-12-15 16:34 |只看该作者

建议在linux的堆中分配大块内存，然后划分成小块，写成缓冲池管理。
如果是团队力量不够，不要试图自己写内存管理，太难了。
真要想做，可以参考Xen开源虚拟机（x86架构）中的shadow（影子页表），这个是xen在x86架构中内存虚拟的精华，大约有10000行代码。
缺点是太难了，如果项目不是特别复制，完全没有必要增加工作的复杂度。