免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4733 | 回复: 2

[FastDFS] ERROR - file: ../common/connection_pool.c, line: 67, socket create failed, errno [复制链接]

论坛徽章:
2
酉鸡
日期:2014-02-19 09:11:08摩羯座
日期:2014-05-23 10:16:16
发表于 2013-03-11 17:33 |显示全部楼层
本帖最后由 tiankafeiwu 于 2013-03-11 17:39 编辑

写的2个php脚本,想把目录下的历史图片(图片数量有点大)一次性通过php拓展接口写入fastdfs分布式上,搭建的2个节点,167和196,当图片量少的时候,程序运行正常,但当图片一多的时候就报错了,有可能是我脚本写的有问题,也有可能是参数不对,执行时候返回的文件元信息插入mysql数据库,谢谢了。附上脚本和运行错误日志
php脚本1
  1. [root@localhost www]# vim FastDFS.php

  2. <?php
  3. class FDFS {
  4.         public function __construct() {
  5.                 $this->tracker = fastdfs_tracker_get_connection ();
  6.                 $this->server = fastdfs_connect_server ( $this->tracker ['ip_addr'], $this->tracker ['port'] );
  7.                 $this->storage = fastdfs_tracker_query_storage_store ();

  8.                 $this->server = fastdfs_connect_server ( $this->storage ['ip_addr'], $this->storage ['port'] );
  9.                 if (! $this->server) {
  10.                         error_log ( "errno1: " . fastdfs_get_last_error_no () . ", error info: " . fastdfs_get_last_error_info () );
  11.                         exit ( 1 );
  12.                 }

  13.                 $this->storage ['sock'] = $this->server ['sock'];
  14.         }
  15.         public function fdfs_upload($input_name) {
  16. #               $file_tmp = $_FILES [$input_name] ['tmp_name'];
  17. #               $real_name = $_FILES [$input_name] ['name'];
  18. #               $file_name = dirname ( $file_tmp ) . "/" . $real_name;
  19. #               // @copy($file_tmp, $file_name);
  20. #               @rename ( $file_tmp, $file_name );
  21.                 echo $input_name;
  22.                 $file_info = fastdfs_storage_upload_by_filename ( $input_name, null, array (), null, $this->tracker, $this->storage );
  23.                 // print_r($file_info);die;
  24.                 if ($file_info) {
  25.                         $group_name = $file_info ['group_name'];
  26.                         $remote_filename = $file_info ['filename'];

  27.                         $i = fastdfs_get_file_info ( $group_name, $remote_filename );
  28.                         $storage_ip = $i ['source_ip_addr'];
  29.                         $real_name = $input_name;
  30.                         // var_dump($file_info);
  31.                         return array (
  32.                                         $remote_filename,
  33.                                         $group_name,
  34.                                         $storage_ip,
  35.                                         $real_name
  36.                         );
  37.                 }
  38.                 return false;
  39.         }
  40.         public function fdfs_down($group_name, $file_id) {
  41.                 $file_content = fastdfs_storage_download_file_to_buff ( $group_name, $file_id );
  42.                 return $file_content;
  43.         }
  44.         public function fdfs_del($group_name, $file_id) {
  45.                 fastdfs_storage_delete_file ( $group_name, $file_id );
  46.         }
  47. }

  48. ?>
复制代码
php脚本test.php 主要执行这个脚本,实现把/Data/www/2012/01下的图片导入系统
  1. <?php
  2. ini_set ( 'display_errors', 'On' );
  3. error_reporting ( E_ALL );
  4. define ( 'DOWNLOAD_URL', 'http://192.168.1.196' );
  5. require_once ("FastDFS.php");
  6. $conn = mysql_connect ( 'localhost', 'root', '' );
  7. $link = mysql_select_db ( 'fastdfs', $conn );
  8. $starttime = date("Y-m-d H:i:s").'<br>';
  9. function myscandir($path) {
  10.         $mydir = dir ( $path );
  11.         while ( $file = $mydir->read () ) {
  12.                 $p = $path . '/' . $file;
  13.                 if ((is_dir ( $p )) and ($file != ".") and ($file != "..")) {
  14.                         myscandir ( $p );
  15.                 }

  16.                 if (is_file ( $p )) {
  17. #                       echo $p . '<br>';
  18.                         $fdfs_obj = new FDFS ();
  19.                         $res = $fdfs_obj->fdfs_upload ( $p );
  20.                         $sql = "INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('" . $res [0] . "', '" . $res [1] . "', '" . $res [2] . "', '" . $res [3] . "')";
  21.                         echo $sql . '<br>';
  22.                         $result = mysql_query ( $sql );
  23.                         var_dump ( $result );
  24.                         unset( $fdfs_obj );
  25.                         sleep(0.5);
  26.                 }
  27.         }
  28. }

  29. myscandir ( '/Data/www/2012/01' );

  30. $endtime = date("Y-m-d H:i:s").'<br>';

  31. echo "开始时间:".$starttime;
  32. echo "结束时间:".$endtime;
  33. ?>
复制代码
附上执行错误日志:
  1. /Data/www/2012/01/08/16/015b3c3d47b1de9fc88fab0cbf092b6675-0200x9999-1.jpg[2013-03-11 17:23:53] ERROR - file: ../tracker/tracker_proto.c, line: 37, server: 192.168.1.167:23000, recv data fail, errno: 107, error info: Transport endpoint is not connected
  2. INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  3. /Data/www/2012/01/08/16/010d22f404a4abb84b32b424a64bb2ae7d-0200x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  4. /Data/www/2012/01/08/16/015b3c3d47b1de9fc88fab0cbf092b6675-0065x0065-primary.jpg[2013-03-11 17:23:53] ERROR - file: ../tracker/tracker_proto.c, line: 37, server: 192.168.1.167:23000, recv data fail, errno: 107, error info: Transport endpoint is not connected
  5. INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  6. /Data/www/2012/01/08/16/01ffe750bfc3666b84a88fe7bdf4f5fc83-0200x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  7. [2013-03-11 17:23:53] ERROR - file: ../common/connection_pool.c, line: 67, socket create failed, errno: 24, error info: Too many open files
  8. errno1: 24, error info: Too many open files
复制代码
  1. /Data/www/2012/01/08/09/0131ee0231a3a1d52b695f3503e0cb9d49-0200x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  2. /Data/www/2012/01/08/09/0171808bbd09a9def0a14218480cd98a98-0200x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  3. /Data/www/2012/01/08/09/014ea475d2b4787d16e13d1c74dc4bef00-0200x9999-1.jpg[2013-03-11 17:23:53] ERROR - file: ../tracker/tracker_proto.c, line: 37, server: 192.168.1.167:23000, recv data fail, errno: 107, error info: Transport endpoint is not connected
  4. INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  5. /Data/www/2012/01/08/09/01fe907b2ffe89900984623dc589d3f9a5-0200x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  6. /Data/www/2012/01/08/09/01d973cdc8cfd409d6d76775b9538c48d2-0200x9999-1.jpg[2013-03-11 17:23:53] ERROR - file: ../tracker/tracker_proto.c, line: 37, server: 192.168.1.167:23000, recv data fail, errno: 107, error info: Transport endpoint is not connected
  7. INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  8. /Data/www/2012/01/08/09/01f6e19997a021e8d87cc13ef4eef6b99f-0540x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  9. /Data/www/2012/01/08/09/0165d8796853b4b07e1cc134f6f106bb5a-0540x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
  10. /Data/www/2012/01/08/09/016d33080d1380b7317299fc441564c0c3-0580x9999-1.jpgINSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('', '', '', '')<br>bool(true)
复制代码

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2013-03-11 17:54 |显示全部楼层
明显资源泄露了!
构造函数中建立连接干嘛?没有看出有什么用啊!

论坛徽章:
2
酉鸡
日期:2014-02-19 09:11:08摩羯座
日期:2014-05-23 10:16:16
发表于 2013-03-12 10:27 |显示全部楼层
多谢鱼大提醒,改进后正常了
附上改进后的代码
FastDFS.php
  1. <?php
  2. class FDFS {
  3.         public function __construct() {
  4.                 $this->tracker = fastdfs_tracker_get_connection ();
  5.                 $this->server = fastdfs_connect_server ( $this->tracker ['ip_addr'], $this->tracker ['port']);
  6.                 $this->storage = fastdfs_tracker_query_storage_store ();
  7.                 if (! $this->server) {
  8.                         error_log ( "errno1: " . fastdfs_get_last_error_no () . ", error info: " . fastdfs_get_last_error_info () );
  9.                         exit ( 1 );
  10.                 }
  11.         }
  12.         public function fdfs_upload($input_name) {
  13. #                $file_tmp = $_FILES [$input_name] ['tmp_name'];
  14. #                $real_name = $_FILES [$input_name] ['name'];
  15. #                $file_name = dirname ( $file_tmp ) . "/" . $real_name;
  16. #                // @copy($file_tmp, $file_name);
  17. #                @rename ( $file_tmp, $file_name );
  18.                 echo $input_name;
  19.                 $file_info = fastdfs_storage_upload_by_filename ( $input_name, null, array (), null, $this->tracker, $this->storage );
  20. //                $tracker = fastdfs_tracker_get_connection();
  21. //                 var_dump($tracker);
  22. //                $server = fastdfs_connect_server($tracker['ip_addr'], $tracker['port']);
  23.                 // print_r($file_info);die;
  24.                 if ($file_info) {
  25.                         $group_name = $file_info ['group_name'];
  26.                         $remote_filename = $file_info ['filename'];

  27.                         $i = fastdfs_get_file_info ( $group_name, $remote_filename );
  28.                         $storage_ip = $i ['source_ip_addr'];
  29.                         $real_name = $input_name;
  30. //                        $storage_port = $i ['port'];
  31.                         // var_dump($file_info);
  32.                         return array (
  33.                                         $remote_filename,
  34.                                         $group_name,
  35.                                         $storage_ip,
  36.                                         $real_name
  37.                         );
  38.                 }
  39.                 return false;
  40.         }
  41.         public function fdfs_down($group_name, $file_id) {
  42.                 $file_content = fastdfs_storage_download_file_to_buff ( $group_name, $file_id );
  43.                 return $file_content;
  44.         }
  45.         public function fdfs_del($group_name, $file_id) {
  46.                 fastdfs_storage_delete_file ( $group_name, $file_id );
  47.         }
  48. //        public function fdfs_disconnect($storage_ip,$storage_port){
  49. //                fastdfs_disconnect_server ($storage_ip,$storage_port);
  50. //                }
  51. }

  52. ?>
复制代码
test.php
  1. <?php
  2. ini_set ( 'display_errors', 'On' );
  3. error_reporting ( E_ALL );
  4. define ( 'DOWNLOAD_URL', 'http://192.168.1.196' );
  5. require_once ("FastDFS.php");
  6. $conn = mysql_connect ( 'localhost', 'root', '' );
  7. $link = mysql_select_db ( 'fastdfs', $conn );
  8. $starttime = date("Y-m-d H:i:s").'<br>';
  9. function myscandir($path) {
  10.         $mydir = dir ( $path );
  11.         while ( $file = $mydir->read () ) {
  12.                 $p = $path . '/' . $file;
  13.                 if ((is_dir ( $p )) and ($file != ".") and ($file != "..")) {
  14.                         myscandir ( $p );
  15.                 }

  16.                 if (is_file ( $p )) {
  17. #                        echo $p . '<br>';
  18.                         $fdfs_obj = new FDFS ();
  19.                         $res = $fdfs_obj->fdfs_upload ( $p );
  20.                         $sql = "INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`,`real_name`) VALUES ('" . $res [0] . "', '" . $res [1] . "', '" . $res [2] . "', '" . $res [3] . "')";
  21.                          echo $sql . '<br>';
  22.                          $result = mysql_query ( $sql );
  23.                          var_dump ( $result );
  24. //                        $fdfs_obj->fdfs_disconnect();
  25.                 }
  26.         }
  27. }

  28. myscandir ( '/Data/www/2012' );

  29. $endtime = date("Y-m-d H:i:s").'<br>';

  30. echo "开始时间:".$starttime;
  31. echo "结束时间:".$endtime;
  32. ?>
复制代码
回复 2# happy_fish100


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP