免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: 草上飞2008

2009系统架构师大会胜利结束,感想征文邀你参与! [复制链接]

论坛徽章:
0
发表于 2009-09-10 14:53 |显示全部楼层

回复 #1 草上飞2008 的帖子

来自miaohongzhi的感受:
--------------------------------------------------------------------------------------------
PPT收到,在此也把我的感受汇报一下:

1.        参与此次培训你最大的收获是什么?
  对架构师的职责有了更深的认识,概念上分为基础设施架构师、系统架构师、数据架构师、应用架构师,各司其职又相互关联。
简单来说就是,CTO的职责是做什么,架构师的职责是如何做,工程师的职责是做到最好。
架构师不仅要技术精通,更要根据大到项目发展、业务需求,小到设备选型、资源分配,前瞻性地动态地进行规划。
因此说架构师要了解系统、了解数据库、了解测试、了解开发、了解业务、了解战略,这个要求就比较高了。
  对腾讯提出的柔性控制深表赞同,有限的资源如何提高用户满意度,首先要把给予用户的服务分级,要通过有效的监控,
了解当前资源使用情况,动态调整策略,优先满足用户的核心需求并给予提示,用较小的用户伤害取代绝对伤害。
  了解了淘宝数据库架构随发展变化的过程,其在解决oracle和mysql异构型数据库环境提供了新的思路,发挥了各自的优势。
  多个公司都讲到系统维护平台的建设经验,对我们未来系统维护工作的可用、易用、动态调配有很好启发。
  另外,在系统测试、灾备和高可用方面有了更多认识,有时候有恍然大悟的感觉。
 
2.        培训的内容是否可以在实际工作中应用?你计划怎样应用?

  部分演讲实用性很强,在工作方法上有很强的指导性。不过会上内容较多,还未及消化吸收。
 
3.        其他心得或体会:
  只有交流才能知不足、拓视野、求进步,我已经建议我们公司多多参与此类技术交流会,如果可能,还将主导、组织这样的会议。
会议议程安排有的冲突较大,例如章博士讲的LVS由于我在B2B行业工作只能放弃,可惜。
腾讯、新浪、淘宝等公司在技术上的开放性给我留下深刻印象。
会上不足的一是部分演讲实用性不强,只重架构,连如何实现都未提到;二是部分厂商的演讲产品依赖性太强,没有他的产品就什么也干不了。

论坛徽章:
0
发表于 2009-09-11 10:14 |显示全部楼层
原帖由 askey99 于 2009-9-7 15:50 发表
这个大会有志愿者吗?许多有钱人可能没有关注这一块,而我就是志愿者其中之一,志愿者的主要工作就是协助其他工作人员做好会场的一切事务,在做事的过程中参与整个大会的进程,感受大会的气氛,欣赏与会人员及嘉 ...


支持!

社会…… 有志愿者真好!

论坛徽章:
0
发表于 2009-09-11 22:14 |显示全部楼层

回复 #1 草上飞2008 的帖子

2009-08-28 | 我在ZL的日子-20090828  标签: 系统架构师大会  腾讯  支付宝  2009年8月28日

今天一大早就被老K电话吵醒了,一看表,才7点,我晕死。

今天要去参加2009系统架构师大会,老K住的远,所以一大早就出发了,我也得早点出发,免得迟到抢不到位置。

当我坐了半个多小时,从一堆人的缝隙中挤出地铁时,已经8点20了。打个电话给老K,居然他才到三元桥,无奈啊。

在地铁口等他的时候,居然看到了一个同事,呵呵,才去上班,祈祷他不要迟到。

今天的大会,很早就报名买了票,公司掏钱。难得有这样的机会去学习国内知名网站的经验,得好好听听。门票不算便宜,可这样,也来了有700人,我的天哪!诺大的一个大厅基本都坐满了,我们好不容易找到了两个座位。

今天的演讲,我最关注的是腾讯的和支付宝的。果不其然,支付宝程立的演讲非常精彩,给了我很多有用的经验和启示。腾讯的演讲也不错,了解到了海量访问的应用需要考虑到的问题和如何应对。


1240f285a0dg215.jpg


明天继续,可惜不能睡懒觉了。

论坛徽章:
0
发表于 2009-09-11 22:17 |显示全部楼层

回复 #33 terrous 的帖子

2009系统架构师大会听课笔记
Tue, 09/01/2009 - 09:04 — 沙漠之周 周末参加了2009系统架构师大会,期间对自己感兴趣的话题做了部分笔记,现摘录如下:

大型可扩展系统架构-新浪网动态应用平台介绍
童剑 新浪高级系统架构师,研发中心平台部总监

- 资源监控
- HA Xen虚拟化
- 数据库集群

2006年点击量3亿/天
实时访问统计,考虑恶意访问
代码分发、数据库集群、软件仓库

高可用、低成本、可扩展
- 无单点故障
- 基于开源软件
- 各部门共享、对外透明
   统一运行环境
- 统一配置
简单映像体系
  (程序员看来)一个数据库、一个前台、一个缓存

架构图
            |---> Cache ----->|
负载平衡 --|     \|/         | VFS
            |---> App ------->|

用到的软件
- LAMP
- Memecached
- Squid-Cache
- Heartbeat + DRBD
- Xen
- Cfengine
- Bind DNS + Mon
- Haproxy

一些经验
- 借鉴成功经验
   如LiveJournal(Memcached、MogileFS)、Yahoo、Google、FaceBook等
- 使用成熟软件
   重复造的轮子维护困难、不便于交接
- 底层封装和隔离
   可扩展
- 简单 = 高效
   够用、分阶段完善、简单(结构设计+实现方法) = 高效(开发过程 + 故障排除)
标准化配置
- 好处
   开发生产分离、配置文件
- 运行环境配置
   软件包、版本、路径、用户等
   记录请求时长、MySQL慢日志
   常用配置统一
- 其他...
约定和限制
- 基本约定
   读写分离、缓存尽量使用Memcache、不用绝对路径、程序目录+x-w、数据库目录+w-x、不使用长连接、耗时查询小于1次/分钟
- 必要配置
   涉及PHP安全方面的配置等
监控报警
- 详细感知
- 自动控制和修复
- 日志统计分析
- 数据监控
        * 可用性(ping/port/disk usage)
        * 容量(带宽、磁盘、CPU)
        * 质量(响应速度、成功率)
        * 异常(进程、访问量)
- 主动处理尝试
        * 拒绝恶意IP
        * 暂停异常服务
        * kill异常进程
- 报警
        * 仪表板
        * Email
        * SMS
        * IM
性能
- 高可用
- 开发语言的选择
   如果对CPU等资源占用不大,可选择解释性脚本语言(C虽然高效,但是从头再来毕竟耗费人力物力)
- 选择合适的服务器软件
   高并发高IO时可选择Nginx/lighttpd
- 软硬件因素
- 网络性能
   应熟悉常见现象
- 性能分析
   对症下药才能治本
容量规划
- 负载 < CPU的核数
- 平常占用资源的40%,峰值80%
- 60%扩容
- 20% 保留给系统管理和监控使用

提问:如果多个机房中的某个机房的服务器出现问题,怎么做到切换服务器不影响访问?
回到:在DNS里设置某个域名的相应时间,所有Name Server都应该遵循该规范
Facebook最佳实践:从百万访问到千万并发访问
吴静涛:F5中国技术总监,高级架构师

- 柔性可用
- 客户诊断
- 降级服务
故障梯度服务(以qzone为例)
- 100% 最优
- 80% 取消增值服务
- 50% 基础功能
- 20% 核心功能
- 5% 公告
缓存、性能
- 用户端Cache
- CDN
- 核心动态数据
- 提升动态数据能力
   TTC : 腾讯内存Cache集群
   TTC1、TTC2 ----> DB
   TTC1、TTC2 --> TTC0 ---> DB
- UGC内容放入存储平台
- 按需加载
- 检测平台、持续优化
其他
- 产品削锋填谷
   以前一天只允许在0点开始买卖奴隶,造成该时段访问压力特别大,经产品策划协商,
   更改策略:一天内0 - 9点均可开始买卖努力,但早上6点前买卖奴隶收入减半。。从
   而通过策略将峰值下降很多
- 集群、轻量、标准
  GSLB + LVS + Qzhttp
- 轻量内存
  TTC + MySQL
- 逻辑?
   S++ ?
- 海量数据存储
   TFS、TDB
- 削锋填谷
        * 明星 - 低
        * 金牛 - 合理
        * 瘦狗 - 高
其他:采集用户打开时间、多写少读(可在内存里积累一定的程度再去写)
电子支付系统的分布式服务架构与开放架构研究(PPT)
程立:支付宝(中国)网络技术有限公司 首席架构师

- SOA
性能、响应时间、指标
Async异步调用、future异步调用
- 容量
        * 估算新业务上线对容量的需求
        * 服务吞吐量优化
                 - 服务吞吐量
                - 伸缩公式
                - 伸缩上限
                - 单个资源吞吐量上限(串行处理)
        * 解决
                - 充分扩容
                - 平衡扩容
                - 消除单点瓶颈
        * 资源使用分析、SQL执行次数
        * 单点故障
                - 并发请求
                - 重复请求
                - 超量请求
                - 请求挤压
- 其他
        * 局部配额、令牌
        * 幂等控制、操作日志
        * 并发控制
                 - 经典方法(事务)
                - 乐观方法(减少事务使用时间)
                - 分布锁(生命周期、防止死锁)
        * 请求丢弃
          过期就丢弃相应的请求
        * 时间控制
          整体服务期限
        * 分布事务
             - TCC模式
                  Try - Confirm -Cancle
                - 补偿模式
                  Do - 补偿
探寻架构设计中的第六感(新浪网)
李晓栋:新浪网研发中心架构部 技术经理

- QOS
- TCP/IP协议先天不足
- 管理心得
        * 集中管理
        * 监控报警
        * 负载分析
        * 服务配置
- 原则
        * 高性能
        * 高可靠性
        * 高可管理性
- 流量快速分析
        * MRTG、ARTU
        * netflow、sflow、SNMP、Sniffer(pfring)
        * payload、wireshark
- 平台使用方法
   * tcpdump抓包
   * 上传pcap包
   * 选择分析条件
   * 输出分析结果
- misc
        * 交换机(prot-channel)
        * LVS特殊单臂解决方案
        * PK麻烦且变更不便
        * 利用iptables获取TCP端口流量统计
        * 网页挂马的JS?
淘宝开放平台架构设计与实践
岑文初: 淘宝网开放平台架构师

- 异步交互、通知
        * 保持会话、支持异步(短信)
        * 异步延时(大数据管理信息)
        * 订阅关系维护、支持通知服务(系统间数据同步)
- 服务分流与隔离
        二级域名(某API) --> 软负载(LVS、7层包、HA) --> 软负载 + 虚拟服务组(图)
        上下文缓存
- 本地缓存、远程缓存
- 商业方面
        * 流量收费(调用接口)
        * 插件分成
高可用分布式数据库系统架构实践(Oracle\Mysql等数据库)
陈吉平:淘宝网技术总监、首席DBA、DBA Manager、Oracle ACE

- 分布式
  分布式存储(TFS)、分布式Cache(Caire)
- 高可用之双机房架构
  Data Guard + Redo mirror
- V3.0垂直扩展
   用户、商品...
   非核心数据使用MySQL
- V4.0 水平扩展 - 读写分离
- V4.0 水平扩展 - 水平拆分
        * Scale Out
        * 压力动态平衡
        * 支持任何数据库
- Amazon、S3、EC2、Simple DB
- C1 读写分离
        * 主库集中,读库水平分割
        * 写操作、部分重要读操作回主库
        * 读库故障可回主库
        * APP -> TDDL
        * 数据路由、数据复制
- C2 水平分割
        * 16DB 1024张表,单表16亿条记录
        * 避免无限制分表
        * 没有主数据库
- 监控
        * DB、Host
        * SNMP ? => Agent??
Mysql数据库性能优化实战
叶金荣:搜狐游戏高级MySQL DBA

- 常用命令
          *  vmstats
           vmstatus -s n 3
        *  iostats
        *  pidstat
        *  mpstats
        *  top
        *  sar
- 诊断方法
        * mysql slow query
        * show engine innodbstatus
        * profiling
        * mysql report
- 杂项
        * 禁用swap
        * micro slow补丁 可显示详细执行计划
        * mysqlsla
        * 数据库擅长的事情:存储数据 + 事务
        * query cache可适当降低,可通过profiling查看,太大会引发新问题
        * sending data值的设置
          只查询需要的字段即可
        * freeing items
        * 关闭binlogs
        * ssd 文件系统优化
        * xfs文件系统存储单个大文件有优势
        * 静态编译mysql速度也会提升
        * DNS管理系统
        * innodb buffer
        * 5.0.77 higerreat版本
- 一些引擎
          * MySIAM
        * InnoDB
        * TukoDB
        * XtraDB
        * Memcache for MySQL
        * waffle Grid Project
- InnoDB Plugin 1.1
        * 可快速创建索引
        * 数据压缩
        * 可在线设置是否单表使用空间
- misc
        * OLTP/OLAP 应用类型
        * COUNT(*)将进行全表扫描、InnoDB的表推荐使用COUNT(PK)
update:

论坛徽章:
0
发表于 2009-09-11 22:22 |显示全部楼层

回复 #34 terrous 的帖子

2009年系统架构师大会中的e-Learning专场

转自 netxiong

8月28日,参加了由IT168组织的2009年系统架构师大会,这个会是比较纯粹的技术性会议,参加的也都是IT人员,大多是IT的技术人员和技术管理人员。在线教育资讯\,Qf!\3dG5b!K
会议邀请了我们行业内各个方面知名企业的从业人员现身说法,从网络、系统架构、数据库、存储、监控、IDC建设、e-learning等角度进行了专题演讲。在线教育资讯P3zF~Y7wPI
他山之石,可以攻玉。
~[L?(P3o!x\ V0倾听业界的声音,学习已经成熟的方法,对我们自己的工作是非常有帮助的。
'i\1X[#tZ@q(|Y0有意思的是,在这个会议中e-learning主题作为了一个分会场,占据了一个下午的演讲,作为会议中的唯一一个行业的应用。
_i?Gj0elearning主题主要邀请了华东师范大学和北京邮电大学网院的老师和同仁进行了研究成功和实际应用的分享,特别是对OpenSource平台Sakai的应用和研究,对于想去熟悉Sakai的朋友来说,还是非常有帮助!而且对于Sakai的优点和缺点,都进行了总结。
V5OPx)v)v0在线教育资讯 [n1|?xYA|{K
Sakai我个人虽然不算太熟悉,但通过他们的演讲可以看出,Sakai的开放性以及JAVA EE的架构是其优点,而其开发门槛相对其他的OpenSource 学习平台,则要高一些,不适合技术力量弱的组织。

[ 本帖最后由 terrous 于 2009-9-11 22:58 编辑 ]

论坛徽章:
0
发表于 2009-09-11 22:52 |显示全部楼层

回复 #35 terrous 的帖子

2009系统架构师大会 后续
闲言碎语
Sep 2009       8月28日~29日,参加了IT168主办的系统架构师大会。
       这次大会的主题和当前IT市场的变化和趋势相结合,使得这大会举办的非常成功。还有就是从规模和参加的团队来看也这次大会的一个亮点,比如阿里,腾讯都有数十人参会,同样的sina参加的人数也不少哦。
       我在这次大会上见到了不少的朋友,比如:畅游的叶金荣同学,taobao的陈吉平大师,LVS开源项目的创使人章文嵩老师等等,在这次会议上收获非常多。
       感谢IT168、感谢这次会议!

论坛徽章:
0
发表于 2009-09-11 23:20 |显示全部楼层

回复 #36 terrous 的帖子

参加系统架构师大会有感(2009-08-30 14:38:01)标签:系统架构师大会 mysql linux 网络 it   分类:mysql

三哥:
昨天参加了最后一天的系统架构师大会,去晚了没有赶上piner的精彩演讲。但是其他的讲座都挺不错的。

叶金荣和邵宗文讲的关于不同的raid级别 ssd硬盘以及3par的一些性能比较,让我们以后在选择存储的时候有了更明确的目标.

F5 的杨明非 讲了怎样用F5的ARX 将现有的nas设备整合实现虚拟化存储。

田逸给大家分享了moosefs分布式文件系统,类似于GFS和yahoo的hadoop,但是超级简单,文档不到三页。他说的我还没有仔细研究呢。但是觉得很有诱惑力,但是没中不足的是master是个单点,但是可以用HA来实现。这场演讲可以说是第二天大会最有激情的演讲了,听得台下笑声不断。

最后压轴的是51.com的徐景春,给我们分享了Mysql数据库在线存储灾备实践分析,主要讲了一些备份技术。亮点是当数据库到了一定规模时怎样备份?答案是web备份。在快要结束的时候他还用mysql给我们变了一个魔术。

具体过程是这样的:

1:有一张表很简单,里面有5条记录 1 2 3 4 5.
2:打开另外一个console,然后执行了一下flush table.
3:表中的记录已经不是 1 2 3 4 5了,而是变成三句中文的记录。

我想了半天不知道原理,有哪位大虾知道吗?知道的话,请留言告诉我,不胜感激。

论坛徽章:
0
发表于 2009-09-12 17:31 |显示全部楼层
支持一下 ~~

论坛徽章:
0
发表于 2009-09-12 18:20 |显示全部楼层
支持 很不错啊 呵呵

论坛徽章:
0
发表于 2009-09-13 16:35 |显示全部楼层
看看这个好东西。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年6月4日~6日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP