免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 急问：linux下多个线程同时写同一文件的方法

12 / 2 页

最近访问板块

发新帖

楼主: Jass

上一主题

下一主题

急问：linux下多个线程同时写同一文件的方法 [复制链接]

论坛徽章:: 0

11楼 [报告]

发表于 2007-06-17 22:28 |只看该作者

写文件的时候 lock unlock 不可以吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

12楼 [报告]

发表于 2007-06-18 13:58 |只看该作者

文件要加锁吗？线程互斥访问？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

13楼 [报告]

发表于 2007-06-18 14:25 |只看该作者

要！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

14楼 [报告]

发表于 2007-06-18 15:08 |只看该作者

我也借楼主的帖子提个问题, win和unix下不同的应用程序调同一个dll 会不会出现内存无法read的错误,
如果是这样的话,我们写那个dll的时候该注意或者什么地方需要修改呢~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

技术图书徽章
日期:2013-09-04 15:21:51

酉鸡
日期:2013-11-01 21:20:20

15楼 [报告]

发表于 2007-06-18 17:38 |只看该作者

原帖由 converse 于 2007-6-17 21:00 发表
多线程下载的原理应该是首先知道客户端要求有多少线程一起进行下载，其次得到文件的长度，根据这个长度划分每个线程下载的区域，然后下载到临时文件中，最后合并之。

以上，只是最一般的原理，应该还有一些细节 ...

不至于采用这么笨的方式吧？多线程下载，可以先存到多个buf，然后由一个线程负责写入多好呀。安全可靠。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 95

程序设计版块每日发帖之星
日期:2015-09-05 06:20:00

程序设计版块每日发帖之星
日期:2015-09-17 06:20:00

程序设计版块每日发帖之星
日期:2015-09-18 06:20:00

2015亚冠之阿尔艾因
日期:2015-09-18 10:35:08

月度论坛发贴之星
日期:2015-09-30 22:25:00

2015亚冠之阿尔沙巴布
日期:2015-10-03 08:57:39

程序设计版块每日发帖之星
日期:2015-10-05 06:20:00

每日论坛发贴之星
日期:2015-10-05 06:20:00

2015年亚冠纪念徽章
日期:2015-10-06 10:06:48

2015亚冠之塔什干棉农
日期:2015-10-19 19:43:35

程序设计版块每日发帖之星
日期:2015-10-21 06:20:00

每日论坛发贴之星
日期:2015-09-14 06:20:00

16楼 [报告]

发表于 2007-06-18 18:19 |只看该作者

原帖由 mirnshi 于 2007-6-18 17:38 发表

不至于采用这么笨的方式吧？多线程下载，可以先存到多个buf，然后由一个线程负责写入多好呀。安全可靠。

老实说，还真没看出这个方法有多聪明

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

17楼 [报告]

发表于 2007-06-18 18:28 |只看该作者

pwrite

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

18楼 [报告]

发表于 2007-06-19 18:02 |只看该作者

呵呵继续讨论。我用的是最原始的方式，每个线程创建自己的文件描述符，然后fseek到指定位置写。功能可以实现，但不知道方法是否可取，以及有没有更好的(简单、高效的)

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

19楼 [报告]

发表于 2007-06-19 21:42 |只看该作者

你必须自己计算好每个线程写的长度，不然就会有文件空洞了。。建议如果是不是很大的文件，用mmap最好，这样还可以自己处理文件空洞（but this should never happen in normal case )

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

20楼 [报告]

发表于 2007-06-19 23:12 |只看该作者

man 2 pread
man 2 pwrite

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 急问：linux下多个线程同时写同一文件的方法

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP