免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 5226 | 回复: 5

[FastDFS] 新增了storage,老数据我要如何同步呢? [复制链接]

论坛徽章:
0
发表于 2018-03-16 23:20 |显示全部楼层
以前是单机形式的Fastdfs,现在用了另外一个机器搭建了storage,我需要怎么把以前上传的图片同步到新的storage呢???求指教。

论坛徽章:
0
发表于 2018-03-20 14:43 |显示全部楼层
自己回答自己吧,哎。
1、新增了一台服务器做存储服务器storage,结果集群的时候发现同步的话,只能同步如:M00/02/28这种下的数据,之前的数据,查看相关资料说是新增storage的话,就会自己同步之前的数据,但是我也不知道用什么命令去看是否在跑。这是问题一。【无法知道我新增storage的话,是否会自动帮我同步之前的数据。】
2、问题二:假设不会自动帮我同步的话,使用scp命令,将之前的数据拷贝过去,修改配置文件:按照这个来:

回复 6# guliny

FastDFS集群整体迁移的问题。
如果新旧IP地址一一对应,而且是一样的,那非常简单,直接将data目录拷贝过去即可。

IP不一样的话,会比较麻烦一些。
如果使用了V4的自定义server ID特性,那么比较容易,直接将tracker上的IP和ID映射文件storage_ids.conf修改好即可。

如果是用IP地址作为服务器标识,那么需要修改tracker和storage的data目录下的几个数据文件,将旧IP调整为新IP。
注意storage的data目录下有一个.打头的隐藏文件也需要修改。
另外,需要将后缀为mark的IP地址和端口命名的同步位置记录文件名改名。
文件全部调整完成后才能启动集群服务。

tracker server上需要调整的文件列表:
data/storage_groups_new.dat
data/storage_servers_new.dat
data/storage_sync_timestamp.dat

storage server需要调整的文件列表:
data/.data_init_flag
data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。
链接这里:http://bbs.chinaunix.net/thread-3650691-1-1.html
发现无果。
【希望能够出一些比较全的文档。】
个人给出的解决方法:最蠢的就是删除data,重新搭建集群环境,重新跑数据,我再尝试下是否能够解决。求大神帮忙

论坛徽章:
0
发表于 2018-03-21 11:16 |显示全部楼层
把这个作为自己的问题记录帖子把。哎,当我使用了fdfs_trackerd /etc/fdfs/tracker 两次的时候,直接挂了,启动不起来,然后查看trackerd.log日志信息,发现多了这一条:
ERROR - file: tracker_mem.c, line: 1535, the format of the file "/mnt/data/fastdfs/tracker/data/storage_sync_timestamp.dat" is invalid, group_name: group1, colums: 26 > 25
这里说了是组的问题,特么我都是group1,哪来的组,不过还是给了我思路:http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4184177
去掉一个零,我发现我的storage_sync_timestamp.dat这个的东西真心看的我懵逼,直接删出掉剩下一个:aaaa的,aaaa和xxxx表示ip地址,这里就不贴出来了。怀疑后面的0,0,0...表示共有多少个ip,这里我是删除到剩下group1,aaaa,0就可以启动了。
group1,aaaa,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
group1,xxxx,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

论坛徽章:
0
发表于 2018-03-21 11:20 |显示全部楼层
INFO - file: tracker_relationship.c, line: 383, selecting leader...
我的是fastdfsV5.08,两台服务器,a和b,A服务器之前是单机的,现在增加B服务器做存储,然后同步的时候,怀疑是一直选举leader的问题,导致无法同步信息。网上找了说是会自动同步,到现在还没有,记录下,等下找到问题再贴出来。

论坛徽章:
0
发表于 2018-03-21 16:48 |显示全部楼层
纠结两天的成果,恩,这东西我搞不定,B服务器改了tracker/data下的配置文件。改了storage/data/sync的配置文件,改了storage/data的配置,基本能改的我都操作了一遍,链接:
https://www.cnblogs.com/wlandwl/p/fastdfsmove.html
无果,问题如下:
搭建集群之后:图片上传到A服务器,B存储服务器没有。
上传到B服务器,A服务器有图片。
并且位置一直不对。而且不会同步数据。无果。
最终改为单机模式;迁移数据直接scp -r。因为我这边B服务器带宽比较大。所以只能这样了。哎。希望大神能解决下我的问题。

论坛徽章:
0
发表于 2018-04-09 17:48 |显示全部楼层
你换版本试试 ,5.12版本的  https://github.com/happyfish100/fastdfs
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP