免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: happy_fish100
打印 上一主题 下一主题

[FastDFS] FastDFS V5.08发布!!! [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
31 [报告]
发表于 2010-08-23 09:37 |只看该作者

FastDFS V2.00 Beta版本发布!!!

V2.0在V1.29发布1个半月后,终于与大家见面了。

主要改进:
1. 使用libevent替代传统的网络IO模型,支持大并发访问
2. 磁盘IO采用专门的线程来处理,降低系统负载,支持大访问量
3. 更改tracker server对group和storage等数据的内存管理方式,更加简洁高效
4. storage server之间发送ACTIVE TEST来保持长连接
5. 对test目录下的测试程序进行了修正

详细的ChangeLog如下:
Version 2.0  2010-08-22
* tracker network io use libevent instead of traditional io model
* storage network io use libevent instead of traditional io model
* storage disk read/write use separate threads
* tracker_mem.c malloc single group and storage struct, remove referer
* make install copy config files
* tracker.conf add two parameters: storage_sync_file_max_delay and
   storage_sync_file_max_time
* client tracker_get_connection increase server_index correctly
* storage sync to storage server adds active test
* test programs compile ok

论坛徽章:
0
32 [报告]
发表于 2010-08-24 09:56 |只看该作者
很高兴看到FastDFS2.0发布,使用了强大libevent网路IO功能,请fish详细描述一下协议兼容性和tracker以及storage的data目录、conf配置文件兼容性;
我主要关注从较稳定的版本v1.21开始的升级方案、还有v1.27等如何升级。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
33 [报告]
发表于 2010-08-24 10:45 |只看该作者
本帖最后由 happy_fish100 于 2010-08-24 10:49 编辑

回复 32# happy_fastdfs

>>很高兴看到FastDFS2.0发布,使用了强大libevent网路IO功能,请fish详细描述一下协议兼容性和tracker以及storage的data目录、conf配置文件兼容性;

V2.0相对V1.29,文件及目录结构没有任何变化,系统数据文件没有变化。

配置文件增加了几个参数,参见论坛中的配置文件说明贴,搜索since 2.0即可找到这几个2.0新增加的参数。V2.0可以使用V1.29的配置文件。

通信协议有变化,不能做到兼容。主要是上传文件的协议有调整。V1.x中上传文件时可以同时上传文件的meta data,V2.0中为了方便处理,上传文件时,只有文件内容,没有文件的meta data。客户端需要显式调用set_metadata来设置文件meta data。客户端API已经调整好了,可以实现无缝升级。

支持V1.x平滑升级到V2.0,同时升级server端和客户端即可。server端配置文件最好review一下,补充上后来增加的几个参数。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
34 [报告]
发表于 2010-10-17 16:23 |只看该作者

FastDFS V2.01 Beta版本发布!!!

本帖最后由 happy_fish100 于 2010-10-17 16:27 编辑

最近事情比较多一些,在V2.00发布近2个月后,发布了V2.01。

V2.01主要修改点:
1. 修复了storage server异常coredump的问题
2. 修复了client/tracker_client.c中空指针异常bug
3. 上传文件时,可以获取上传到的storage server列表。应用端自己选择其中的一个进行文件上传
4. php extension增强,包括新增加了获取当前版本号的函数:fastdfs_client_version等
5. 当DEBUG_FLAG打开时,如果出现异常,直接生成coredump文件,不再自己打印调用堆栈信息到日志文件中

详细的ChangeLog如下:
Version 2.01  2010-10-17
* client/fdfs_monitor.c can specify tracker server
* micro STORAGE_STORE_PATH_PREFIX_CHAR change to
   FDFS_STORAGE_STORE_PATH_PREFIX_CHAR
* php extension can set log filename
* php extension add function: fastdfs_client_version
* bug fixed: client/tracker_client.c tracker_get_connection_ex NULL pointer
* set max core dump file size to at least 256MB when DEBUG_FLAG is on,
   make sure to generate core file when core dump with DEBUG_FLAG on
* upload file can get available storage server list of the group,
   add command TRACKER_PROTO_CMD_SERVICE_QUERY_STORE_WITHOUT_GROUP_ALL and
   TRACKER_PROTO_CMD_SERVICE_QUERY_STORE_WITH_GROUP_ALL
* bug fixed: storage core dump in some case

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
35 [报告]
发表于 2010-10-29 13:03 |只看该作者

FastDFS V2.02 版本发布!!!

主要是配合FastDFS为apache开发的模块发布,只做了一些细小的改动,详情参见ChangeLog:

Version 2.02  2010-10-28
* get parameters function from tracker server changed,
   add paramter: storage_sync_file_max_delay
* local ip functions move to common/local_ip_func.c
* when query all storage servers to store, do not increase the current
   write server index
* struct FDFSHTTPParams add field: need_find_content_type
* symbol link client library to /usr/lib64 in 64 bits OS
* storage_client.c: deal file extension name correctly

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
36 [报告]
发表于 2010-11-09 09:32 |只看该作者

FastDFS V2.03 stable版本发布!!!

本帖最后由 happy_fish100 于 2010-11-09 09:36 编辑

V2.03有两项重大改进:
  1. 多个tracker server并存时,在tracker启动后,当第一个storage server加入时,
      tracker server根据一定条件去其他tracker上获取如下4个系统文件:
         storage_groups.dat
         storage_servers.dat
         storage_changelog.dat
         storage_sync_timestamp.dat
      获取成功后,将重新加载这4个系统文件。

      向其他tracker server获取系统文件包括如下两种情况:
         I.  tracker服务停止后,重启时间间隔大于2个小时(避免系统数据过旧)
         II. tracker中还没有storage server分组信息(通常是新增加tracker server的情况)
  2. 修复了storage server ip地址修改后,系统不能完全自动调整过来的问题

详细的Change Log如下:
Version 2.03  2010-11-08
* bug fixed: core dump when http.need_find_content_type=false and
   http.anti_steal.check_token=true
* storage server add join_time field (create timestamp of this storage)
* tracker server fetch system files from other tracker server when
   first storage server join in (tracker to tracker sync system files)
* tracker server changes the old ip address to the new address when the
   storage server ip address changed
* tracker to tracker sync system data files in some case, multi tracker
   server supported well

论坛徽章:
0
37 [报告]
发表于 2010-11-17 13:42 |只看该作者
回复 36# happy_fish100

快鱼,您好!刚下载了你的新发布版本v2.03编译时提示:storage_service.c:811: undefined reference to `event_base_new'
我已经安装了libevent了。请帮忙看看。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
38 [报告]
发表于 2010-11-17 14:14 |只看该作者
回复 37# shaneyuan

看一下libevent的版本。
需要安装libevent 1.4.x,建议安装1.4.10以上版本,如:1.4.13或者1.4.14b

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
39 [报告]
发表于 2010-11-18 21:38 |只看该作者

FastDFS V2.04 stable版本发布!!!

本帖最后由 happy_fish100 于 2010-11-19 10:13 编辑

V2.04主要改进如下:
   1. 同步文件时,先写入临时文件,同步完成后再改名,避免文件在同步过程被客户端下载到不完整的文件
   2. 文件ID中用CRC32签名替换随机数(4个字节),为今后文件完整性检查提供了一种机制
   3. 修复了fdfs_storaged进程退出时,可能导致写入binlog文件异常的问题。
       因为打开的binlog文件描述符为0,程序中误将fd为0的文件关闭了。

详细的ChangeLog如下:
Version 2.04  2010-11-19
* storage.conf: tracker server ip can NOT be 127.0.0.1
* do not catch signal SIGABRT
* strerror change to STRERROR macro
* sync copy file use temp filename first, rename to the correct filename
   when sync done
* file id use 4 bytes CRC32 signature instead of random number
* add file: client/fdfs_crc32.c
* one of file hash code signature function change from APHash_ex
   to simple_hash_ex
* bug fixed: when fdfs_storaged quit, maybe write to binlog file fail,
   the error info is "Bad file descriptor"

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
40 [报告]
发表于 2010-12-05 21:55 |只看该作者

FastDFS V2.05 stable版本发布!!!

V2.05主要改进:
  1. 修复了Ubuntu10.04下storage server进程异常退出的问题,
      此问题可以在gcc高版本(如4.4)下重现,已修复
      详情参见帖子:http://linux.chinaunix.net/bbs/thread-1175179-1-1.html
  2. test_upload.c中使用mmap来对数据文件进行共享,减少内存占用
  3. client目录下增加了3个小工具:
      上传文件:fdfs_upload_file.c
      下载文件:fdfs_download_file.c
       删除文件:fdfs_delete_file.c

详细的ChangeLog如下:
Version 2.05  2010-12-05
* client/fdfs_monitor.c: add sync delay time
* tracker/fast_task_queue.c: pTask->data = pTask->arg + arg_size;
   change to: pTask->data = (char *)pTask->arg + arg_size;
* buf fixed: storage_sync.c line 237 cause core dump in Ubuntu 10.04
* upload file test use mmap, support more test_upload processes
* client add three tools: fdfs_upload_file, fdfs_download_file and
   fdfs_delete_file
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP