忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: happy_fish100

[FastDFS] FastDFS FAQ (欢迎反馈,我将及时整理) [复制链接]

论坛徽章:
0
发表于 2012-09-12 20:41 |显示全部楼层
迟来受教,谢谢楼上

论坛徽章:
0
发表于 2012-10-31 16:54 |显示全部楼层
回复 27# gm100861


    哥们最后怎么搞定的,分享下哈

论坛徽章:
0
发表于 2012-11-02 17:36 |显示全部楼层
余大:请问ngx_fastdfs_module是否有缓存机制?
现有情况配置情况如下:
软件配置情况:
FastDFS_v4.00
nginx-1.2.4
fastdfs-nginx-module_v1.10
硬件设备
tracker server 192.168.1.104
Storage Server1 192.168.1.104 group1
storage Server2 192.168.1.105 gropu2
配置情况:
tracker storage 等配置都正常使用fdfs_upload_file上传和fdfs_download_file下载
两台Storage 下的nginx.conf相同配置:
        location /group1/M00 {
            alias /opt/fdfs_storage/data;
            ngx_fastdfs_module;
        }
        location /group2/M00 {
            alias /opt/fdfs_storage/data;
            ngx_fastdfs_module;
        }
用fdfs_upload_file上传了两个文件:
group1/M00/00/00/wKgByFCTLAiAZnSyAAAmnVGv1x8479.log
group2/M00/00/00/wKgBaVCTLESAEomGAAAAAAAAAAA720.log
WEB 测试:
http://192.168.1.104/group1/M00/ ... yAAAmnVGv1x8479.log     OK
http://192.168.1.104/group2/M00/ ... GAAAAAAAAAAA720.log  经过跳转转成
http://192.168.1.105/group2/M00/ ... 720.log??redirect=1 OK
在此完美实际了分布式应用访问.

问题来了:
因为修改了storage server 2的IP地址192.168.1.105-->192.168.1.120.
为了防止问题安全起见,重启了Storage1,Storage2,nginx1,nginx2,tracker
WEB测试:
http://192.168.1.104/group1/M00/ ... yAAAmnVGv1x8479.log     OK
http://192.168.1.104/group2/M00/ ... GAAAAAAAAAAA720.log  经过跳转转成
http://192.168.1.105/group2/M00/ ... 720.log??redirect=1 出错
192.168.1.105换成了192.168.1.120,但跳转时还是跳到原105这个不存在的IP地址上.
请问怎么解决阿,是BUG吗?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-11-02 21:23 |显示全部楼层
回复 33# wgm85

FastDFS的机制就是如此。文件ID中可以反解出源storage ip地址。
上传文件同步延迟最长时间,可以配置的,缺省为一天。
因此你一天后再访问,就会返回404。

论坛徽章:
0
发表于 2012-11-05 22:23 |显示全部楼层
楼上的问题,是不是可以这样理解,一个文件以前上传到了IP105的服务器,这台服务器的IP地址就不能修改?
因为文件名和IP地址绑定了?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-11-08 13:06 |显示全部楼层
回复 35# 33611720

当然可以修改。但修改IP可能会存在隐患,因此不要轻易更改stroage server IP地址。

论坛徽章:
0
发表于 2012-12-03 14:53 |显示全部楼层


java.io.IOException: recv package size -1 != 10
         at org.csource.fastdfs.ProtoCommon.recvHeader(ProtoCommon.java:206)

这个,能不能给个答复。。。。。。。

论坛徽章:
0
发表于 2013-01-25 21:02 |显示全部楼层
鱼大把这个加进去吧。刚看到
FastDFS如何做整体迁移?如换机房更换IP?

FastDFS集群整体迁移的问题。
如果新旧IP地址一一对应,而且是一样的,那非常简单,直接将data目录拷贝过去即可。

IP不一样的话,会比较麻烦一些。
如果使用了V4的自定义server ID特性,那么比较容易,直接将tracker上的IP和ID映射文件storage_ids.conf修改好即可。

如果是用IP地址作为服务器标识,那么需要修改tracker和storage的data目录下的几个数据文件,将旧IP调整为新IP。
注意storage的data目录下有一个.打头的隐藏文件也需要修改。
另外,需要将后缀为mark的IP地址和端口命名的同步位置记录文件名改名。
文件全部调整完成后才能启动集群服务。

tracker server上需要调整的文件列表:
data/storage_groups_new.dat
data/storage_servers_new.dat
data/storage_sync_timestamp.dat

storage server需要调整的文件列表:
data/.data_init_flag
data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。

论坛徽章:
5
CU大牛徽章
日期:2013-05-20 10:43:41IT运维版块每日发帖之星
日期:2016-01-27 06:20:00CU大牛徽章
日期:2013-05-20 10:44:16CU大牛徽章
日期:2013-05-20 10:44:06IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2013-03-15 22:18 |显示全部楼层
fastdb好像只适合小文件,那如果存储的文件有大有小怎么弄好呢?

论坛徽章:
0
发表于 2013-03-25 16:14 |显示全部楼层
fish大大, 你好
我在这边的环境中安装fastdfs均有报错(centos5.4和centos6.2, 都为64位), 版本为4.05和4.06. 报错问题都一样, 下面只贴出报错的信息:

./make.sh 时报错:
(前面正常部分省略....)
在包含自 tracker_service.c:34 的文件中:
tracker_nio.h:17:19: 错误:event.h:没有那个文件或目录
In file included from tracker_nio.h:18,
                 from tracker_service.c:34:
fast_task_queue.h:29: 错误:字段 ‘ev_read’ 的类型不完全
fast_task_queue.h:30: 错误:字段 ‘ev_write’ 的类型不完全
tracker_service.c: In function ‘tracker_service_init’:
tracker_service.c:99: 警告:隐式声明函数 ‘event_base_new’
tracker_service.c:99: 警告:赋值时将整数赋给指针,未作类型转换
tracker_service.c: In function ‘work_thread_entrance’:
tracker_service.c:253: 错误:‘ev_notify’ 的存储大小未知
tracker_service.c:258: 警告:隐式声明函数 ‘event_set’
tracker_service.c:258: 错误:‘EV_READ’ 未声明 (在此函数内第一次使用)
tracker_service.c:258: 错误:(即使在一个函数内多次出现,每个未声明的标识符在其
tracker_service.c:258: 错误:所在的函数内只报告一次。)
tracker_service.c:258: 错误:‘EV_PERSIST’ 未声明 (在此函数内第一次使用)
tracker_service.c:260: 警告:隐式声明函数 ‘event_base_set’
tracker_service.c:266: 警告:隐式声明函数 ‘event_add’
tracker_service.c:275: 警告:隐式声明函数 ‘event_base_loop’
tracker_service.c:279: 警告:隐式声明函数 ‘event_base_free’
tracker_service.c:253: 警告:未使用的变量 ‘ev_notify’
make: *** [tracker_service.o] 错误 1
(中间正常部分省略....)
在包含自 ../tracker/fast_task_queue.c:6 的文件中:
../tracker/fast_task_queue.h:18:19: 错误:event.h:没有那个文件或目录
In file included from ../tracker/fast_task_queue.c:6:
../tracker/fast_task_queue.h:29: 错误:字段 ‘ev_read’ 的类型不完全
../tracker/fast_task_queue.h:30: 错误:字段 ‘ev_write’ 的类型不完全
make: *** [../tracker/fast_task_queue.o] 错误 1
(后面正常部分省略....)
您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP