免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6256 | 回复: 8
打印 上一主题 下一主题

[FastDFS] 有关分批上传文件的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-11-18 22:16 |只看该作者 |倒序浏览
本帖最后由 上岸洗澡的鱼 于 2011-11-18 22:49 编辑

请问happy fish,

为避免内存溢出的问题,我在上传文件的时候想采用分批上传的方法。
由于前端读取的文件是以流的形式传到后台的(InputStream),而在FastDFS的API中的storageClient类中,文件上传除了指定文件本地路径以外就只有用byte的形式进行upload。
所以我的想法是分批读取InputStream到byte中,先upload_appender_file创建appender类型的文件,然后用append_file方法追加到原文件中。但是文件上传上去之后发现内容都为空,文件长度都对。在每批的byte[]中,发现也是有数据的。

所以,我想请教,文件分批上传,是不是有什么更好的方法。

另外说明一点,我之所以想到这个方法,就是想避免InputStream在本地保存成一份文件后再上传这种做法。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
2 [报告]
发表于 2011-11-18 22:33 |只看该作者
回复 1# 上岸洗澡的鱼

用回调函数方式吧,就是upload_by_callback。test目录下有示例程序的,可供参考。

论坛徽章:
0
3 [报告]
发表于 2011-11-18 22:51 |只看该作者
那再请问,我看到一个UploadStream类,是可以直接把inputstream的流上传上去保存文件吗?一次性的?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
4 [报告]
发表于 2011-11-18 22:57 |只看该作者
回复 3# 上岸洗澡的鱼

回调函数需要事先知道文件大小,嘿嘿。
只要你能事先拿到文件大小,用回调方式,就没有任何问题。

论坛徽章:
0
5 [报告]
发表于 2011-11-18 23:12 |只看该作者
回复 4# happy_fish100


    呵呵,我能知道。

谢谢啦

论坛徽章:
0
6 [报告]
发表于 2011-11-21 12:27 |只看该作者
请问有没有用java实现回调方法的例子呢

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
7 [报告]
发表于 2011-11-21 12:46 |只看该作者
回复 6# 上岸洗澡的鱼

可以看一下如下两个类:
org.csource.fastdfs.test.TestClient:test程序
org.csource.fastdfs.test.UploadLocalFileSender:upload file回调类的一个实现示例

论坛徽章:
0
8 [报告]
发表于 2011-11-21 15:41 |只看该作者
哎,我用了你的UploadStream类,上传一个300多兆的文件,还是会内存溢出的。所以我觉得是不是还是分批上传的话可以解决这个问题,用append方法,鱼大可不可以给些建议分析分析我一楼的分批上传的想法呢?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
9 [报告]
发表于 2011-11-21 17:28 |只看该作者
回复 8# 上岸洗澡的鱼

内存溢出是什么意思?Java出现out of memory么?
如果是这样,需要适当加大jvm可使用的内存。比如指定附加参数:-Xms 1024m
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP