求助：上传文件出错 （file: storage_nio.c, line: 404）

tortoni_gsta1

用java api上传文件
运行约一小时后，客户端出现读超时错误（第一次出错后，每次上传报同样错误）
[20:43:24.710] java.net.SocketTimeoutException: Read timed out
[20:43:24.710]  at java.net.SocketInputStream.socketRead0(Native Method)
[20:43:24.710]  at java.net.SocketInputStream.read(Unknown Source)
[20:43:24.710]  at java.net.SocketInputStream.read(Unknown Source)
[20:43:24.710]  at org.csource.fastdfs.ProtoCommon.recvHeader(ProtoCommon.java:207)
[20:43:24.710]  at org.csource.fastdfs.ProtoCommon.recvPackage(ProtoCommon.java:245)
[20:43:24.710]  at org.csource.fastdfs.StorageClient.do_upload_file(StorageClient.java:694)
[20:43:24.710]  at org.csource.fastdfs.StorageClient.upload_file(StorageClient.java:25

同时，storage server的日志也出现错误信息（类似信息重复出现）
[2011-12-08 20:46:24] ERROR - file: tracker_proto.c, line: 37, server: 192.168.36.226:23000, recv data fail, errno: 110, error info:
Connection timed out
[2011-12-08 20:46:24] ERROR - file: tracker_proto.c, line: 154, tracker server: 192.168.36.226:23000, send data fail, errno: 9, erro
r info: Bad file descriptor
[2011-12-08 20:46:24] ERROR - file: storage_nio.c, line: 404, client ip: 192.168.36.225, recv failed, errno: 32, error info: Broken
pipe
[2011-12-08 20:46:36] INFO - file: storage_sync.c, line: 2485, successfully connect to storage server 192.168.36.226:23000

当时网络应该没问题，停止上传文件，过一段时间系统能恢复

happy_fish100

回复 1# tortoni_gsta1

从你说的现象和日志来看，应该是网络连接存在问题。
建议LZ先排查一下吧。

tortoni_gsta1

回复 2# happy_fish100


    谢谢，现在问题还没解决，汇报下进展：
    正在查网络问题，没发现丢包，暂时没头绪
    出错的时候，能用netstat看到storage相应端口长时间处于CLOSE_WAIT状态
    现在出现这种问题，把所有storage都停了，等端口全部释放，重启服务后就能恢复正常

    也许是网络某个瞬间出现问题导致？遇到这种情况程序能否做些处理尽快恢复？

     再次谢谢fish大人，我继续查问题

tortoni_gsta1

回复 3# tortoni_gsta1


    经过几天的测试，发现一个情况：
    将storage.conf的check_file_duplicate设置为0
    用java api上传文件，起20个进程，每个进程循环2w次上传一个文件，每个进程的文件内容不同
    程序运行正常

    将storage.conf的check_file_duplicate设置为1，用同样的过程上传文件
    运行一小段时间后java api发生错误
[13:21:24.246]  at java.net.SocketInputStream.socketRead0(Native Method)
[13:21:24.246]  at java.net.SocketInputStream.read(Unknown Source)
[13:21:24.246]  at java.net.SocketInputStream.read(Unknown Source)
[13:21:24.246]  at org.csource.fastdfs.ProtoCommon.recvHeader(ProtoCommon.java:207)
[13:21:24.246]  at org.csource.fastdfs.ProtoCommon.recvPackage(ProtoCommon.java:245)
[13:21:24.246]  at org.csource.fastdfs.StorageClient.do_upload_file(StorageClient.java:716)
[13:21:24.246]  at org.csource.fastdfs.StorageClient.upload_file(StorageClient.java:262)

    同时sotrage.log里面也出现错误：
[2011-12-14 13:24:23] ERROR - file: storage_nio.c, line: 404, client ip: 192.168.36.225, recv failed, errno: 32, error info: Broken pipe
[2011-12-14 13:24:23] ERROR - file: storage_nio.c, line: 404, client ip: 192.168.36.225, recv failed, errno: 32, error info: Broken pipe
[2011-12-14 13:24:23] ERROR - file: storage_nio.c, line: 404, client ip: 192.168.36.225, recv failed, errno: 32, error info: Broken pipe
[2011-12-14 13:24:32] ERROR - file: tracker_proto.c, line: 37, server: 192.168.36.226:23000, recv data fail, errno: 110, error info: Connection timed out
[2011-12-14 13:24:33] INFO - file: storage_sync.c, line: 2485, successfully connect to storage server 192.168.36.226:23000

    重复验证了几次，必然出现这种情况
    还是程序有bug？

zsj1000020000

你好，请问你的问题解决了吗？我使用mapreduce任务并发上传文件，也出现这种问题。