论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-01-27 22:15 |只看该作者 |正序浏览

我使用一个库, 其中有一个函数A, A接受一个文件路径, 将数据写入文件之后返回. 现在我不想让A写入磁盘文件, 而是要在内存中继续处理A写出的数据. 而我又不想将让A写入磁盘文件后再读入处理, 这样效率太慢. *nix/windows有没有这样的机制能够创建一个文件, 当我们写入文件的时候, 实际上是在写入内存的一个区域呢? 就类似设备文件, 但是是在用户层的? 或者其他的能解决这个问题的方法?

不知道我描述清楚了没有?
谢谢先.

文库|博客

shaver

家境小康

论坛徽章:: 0

24楼 [报告]

发表于 2010-01-28 16:09 |只看该作者

mkfifo，然后让他写，你读？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

beepbug

小富即安

论坛徽章:: 0

23楼 [报告]

发表于 2010-01-28 15:16 |只看该作者

原帖由 gaussanderson 于 2010-1-27 22:15 发表
我使用一个库, 其中有一个函数A, A接受一个文件路径, 将数据写入文件之后返回. 现在我不想让A写入磁盘文件, 而是要在内存中继续处理A写出的数据. 而我又不想将让A写入磁盘文件后再读入处理, 这样效率太慢. *nix ...

现在的文件操作都有一个缓冲区。如果你的数据不多，缓冲区还放不满，那你本来就一直是在缓冲区（在内存中）里干活。只有等做冲刷操作或关闭文件时，才真正写入磁盘。
在多数场合，你不必操这份心。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

w_anthony

家境小康

论坛徽章:: 9

22楼 [报告]

发表于 2010-01-28 15:07 |只看该作者

原帖由 redor 于 2010-1-28 14:38 发表

肯定是可以得到的..... mmap比共享内存高级我一般都使用mmap()

mmap相当于操作了内存，那么其同时就操作了文件；
但是LZ的要求是某A库操作了文件，那么其实只是操作了内存。
两者的要求是相反的，你怎么mmap？

原帖由 gaussanderson 于 2010-1-28 14:21 发表
恩, 现在我暂时要使用这个方法, 这解用/dev/shm. 顺便问一下, 有没有windows的对应物啊?

Windows应该没有对应的方法，最多只能apihook掉CreateFileW，WriteFile，SetFilePointer，CloseHandle几个函数，或者到驱动虚拟一个设备也可以不过代价大了点。

[ 本帖最后由 w_anthony 于 2010-1-28 15:12 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

doofy

富足长乐

论坛徽章:: 0

21楼 [报告]

发表于 2010-01-28 14:51 |只看该作者

回复 #19 gaussanderson 的帖子

windows盲路过

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

redor

家境小康

论坛徽章:: 0

20楼 [报告]

发表于 2010-01-28 14:38 |只看该作者

原帖由 gaussanderson 于 2010-1-28 14:17 发表
谢谢回复. 可是我的问题是A函数的实现没有使用mmap进行映射, 而是用open, write进行一般的文件操作. 这些操作在mmap这个文件的内存区域是不可见的. 我希望能够在内存中得到这个A函数的write的内容. 我不是非常确 ...

肯定是可以得到的..... mmap比共享内存高级我一般都使用mmap()

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

gaussanderson

丰衣足食

论坛徽章:: 0

19楼 [报告]

发表于 2010-01-28 14:21 |只看该作者

回复 #14 doofy 的帖子

恩, 现在我暂时要使用这个方法, 这解用/dev/shm. 顺便问一下, 有没有windows的对应物啊?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sithui

丰衣足食

论坛徽章:: 0

18楼 [报告]

发表于 2010-01-28 14:20 |只看该作者

回复 #13 gaussanderson 的帖子

哦
函数A有对这个文件上锁吧？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

gaussanderson

丰衣足食

论坛徽章:: 0

17楼 [报告]

发表于 2010-01-28 14:17 |只看该作者

回复 #16 redor 的帖子

谢谢回复. 可是我的问题是A函数的实现没有使用mmap进行映射, 而是用open, write进行一般的文件操作. 这些操作在mmap这个文件的内存区域是不可见的. 我希望能够在内存中得到这个A函数的write的内容. 我不是非常确定是否的确不能得到这个结果, 但是使用MAP_SHARED模式进行的实验证实了这点.