忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: jiang_box

[其他] 大型数据中心运行监测体系的建设与运用 [复制链接]

论坛徽章:
0
发表于 2014-06-17 15:41 |显示全部楼层
jiang_box 发表于 2014-05-05 13:55
大家好,我刚刚注册到该板块的实习版主,我先做个自我介绍,希望今后通过这个板块,与大家共同探讨,建立起 ...


支持有心分享知识和经验的前辈做版主!!

论坛徽章:
0
发表于 2014-06-23 13:10 |显示全部楼层




Web服务器响应时间监控方案





ITCAM for Web Response Time产品概述
ITM框架简介
ITCAM 产品家族基于ITM(IBM Tivoli Monitoring)监控框架,因此所有的ITCAM产品将拥有ITM所有用的功能。ITM做基础框架,提供如下基本功能:
ITM提供统一的视图界面(Tivoli Enterprise Portal),用户可以在同一个界面里面查看和配置所有的监控对象。TEP有如下特点:
集中的管理界面,简化用户操作
基于上下文环境和组合视图,降低用户诊断问题的时间
基于角色和权限的控制,增强管理的安全性
可定制化的工作区和视图,提高操作的灵活性

历史数据采集
统一的历史数据采集配置
灵活的历史数据采集和分发策略
灵活的历史数据裁剪和汇聚策略
统一报表展示
事件报告,自动响应预定义的告警事件
大量基于实践经验的预定义场景(Situation),给用户提供参考,节约客户化时间。
动态的阀值设定。
集成专家建议,协助用户诊断问题时间。
通过自定义操作,自动响应事件(Take Action)

通过工作流(workflow)定制,实现自动化处理复杂的客户场景的告警事件
图形化的工作流定制界面
整合自动响应事件(Take Action)


对未来趋势的预测以及告警


Web Response Time(WRT)功能描述
WRT是ITCAM For Transaction产品系列中一个子产品,它是针对WEB应用的性能管理解决方案中一环,主要针对的是HTTP的性能监控,主要特点包括:
体现基于WEB应用的 终端用户体验
WEB请求的响应时间以及相应时间的分段响应时间
WEB页面请求响应时间以及内嵌的元素响应时间
支持HTTP以及HTTPS
支持端口映射模式,可将监控探针部署在WEB服务器之外的主机上
实现原理
WRT通过对网卡的监听,从物理网卡上获取数据包,并对之做协议栈分析,来获取此协议在网络上传输的性能。针对于HTTP协议,WRT解析如下时间点:

收集的属性指标
URL相关
  URL – URL of request
  Referrer URL – Referring URL of request (if any)
  Browser Description – Description of client browser
  Server Description – Description of HTTP server
  Application Protocol – Protocol used in request
  URL Hostname – Hostname portion of request URL
  URL Path – Path portion of request URL
  URL File – File portion of request URL
  URL Query String – Query string portion of request URL
  URL Anchor – Anchor portion of request URL
  Page Title – Page title of response
  Method – HTTP method used for request
响应请求
Average Request Packet Count – Average number of request packets
Request Packet Count – Number of request packets
Request ACK Packet Count – Number  of request ACK packets
Reply Packet Count – Number of response packets
Reply ACK Packet Count – Number of response ACK packets
Total Bytes – Total bytes of in request and response
Request Bytes – Total bytes in request
Reply Bytes – Total bytes in response
Total Object Count – Total number of objects in page
Total Object Size – Total size of objects in page
Total Header Request Count – Total header count of request

支持的服务器
IBM HTTP Server 6.0.x, 2.0.47+, 1.3
Microsoft Internet Information Server 6.0
Sun Java System Web Server 6.1
Apache HTTP Server
部署架构

WRT依赖ITM基础框架,我们需要在一台服务器搭建ITM服务框架,这是最小的配置环境,生产环境需要参看具体监控的数量已经实际的网络拓扑结构而定。然后在被监管的WEB服务器上部署WRT的探针。WRT探针将监控的数据汇总到服务端,统一配置,统一展示,并定期的将性能数据存放至数据仓库,供以后的数据挖掘和分析。
使用方法
根据URL创建Transaction:

为定义的Transaction创建过滤器

配置显示模式



我们可以把我们所关心的属性用于定义交易,常见的比如IP加上URL下第一级目录名称;或者目标端口等等,等等。
定义监控策略

分发此策略到被监控的WEB服务器,并定义相关的性能指标。
产品截图
服务器可用性

Transaction详细信息

左侧的导航图包含:
Applications详细信息
Transaction详细信息
Server端详细信息
Client端详细信息
Web 性能监控方案 1.0.1 (ITCAM for RT - WebResponseTime) _20091105.doc (2.18 MB, 下载次数: 208)

论坛徽章:
0
发表于 2014-07-01 23:30 |显示全部楼层
支持,谢谢分享,。


thank you。。。

论坛徽章:
0
发表于 2014-07-12 09:38 |显示全部楼层

RE: 大型数据中心运行监测体系的建设与运用

日志分析背景
传统的日志分析方法是将应用系统产生的日志结构化、放入到数据库中进行分析。随着企业应用系统所产生的运行数据日渐庞大,日志类型不断增加,传统的应用系统日志分析的工作变得繁杂、低效,为企业IT部门带来越来越高的运维难度。尤其在迅速发展的复合应用架构中,采用传统方法进行性能分析的局限性越来越多的显现出来:
面对格式不同,数量庞大的日志数据,需要重复执行筛选、分析、举证,难以准确获取有价值的、可以反映业务性能状态的关键内容;
需要针对每个新上线应用系统定制化开发分析查询界面,将非结构化日志信息进行规整、入库,大量消耗企业IT部门的时间及人力,同时带来开发周期长、落地困难、维护成本高等问题;
各应用系统相互孤立,格式不一,数据高度离散,缺乏关联性,缺乏统一视角对应用系统日志进行分析管理;
随着历史数据的增加,用于存放历史数据的数据库给企业带来巨大的额外开销。

新型的日志分析管理,采用了大数据的处理方法,直接对日志数据进行索引、分析、定位,不再需要将日志数据结构化、入库处理,大大提高了处理效率。并且能够实现多个系统日志之间的关联分析;能够将原来都是T+1的日志分析,做到T+0,即实时的发现问题。


日志分析提供的功能简介
日志分析是收集服务器、网络设备、应用程序、数据库等所产生的日志,对日志文件进行全文索引,并根据日志中索引出的关键字进行关联分析;
还可以关联时间段,提供某个时间段内的系统状态。
让管理员可以对日志中出现的各种情况进行搜索,并且通过非常好的图形化的方式展现出来。
具体实现的功能如下:
交易追踪
交易追踪功能使用户可以根据卡号、账号、用户信息等进行快速查询追踪;

原始日志保存、查询及统计
充分利用现有应用系统所产生的数据资源,在海量数据中准确定位查询有价值的关键信息,同时保持原始日志数据的完整性;并能够对日志的关键字进行频率统计。

日志的分析查询并生成报表
强大的数据分析能力,包括交易性能指标呈现、历史数据统计、多维度关联分析以及去专业化查询界面等;并根据查询的结果生成报表、统计图表。


通过定义仪表板实现问题的实时追踪
根据查询和分析的结果以及实际需求,用户自定义应用仪表板,实现对问题的实时定位和追踪。

file:///C:\Users\dell\AppData\Local\Temp\ksohtml\wps_clip_image-24733.png



日志分析的一个例子




file:///C:\Users\dell\AppData\Local\Temp\ksohtml\wps_clip_image-24838.png





最后可以将这个分析生成一个仪表板,以便今后随时查看。

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2014-08-05 20:50 |显示全部楼层
楼主能说说这套工具对云系统(私有云和公有云)的支持程度吗?

论坛徽章:
0
发表于 2014-08-26 12:57 |显示全部楼层
中小银行运维自动化解决之道

论坛徽章:
0
发表于 2014-08-26 14:03 |显示全部楼层
给楼主赞一个

论坛徽章:
0
发表于 2014-08-29 11:32 |显示全部楼层
留贴纪念,支持一下

论坛徽章:
0
发表于 2014-08-29 19:26 |显示全部楼层
相当专业啊

论坛徽章:
0
发表于 2014-09-18 00:55 |显示全部楼层
感谢楼主了,学习了不少东西!
您需要登录后才可以回帖 登录 | 注册

本版积分规则

久等啦!10张门票开启你的DTCC2017之旅

2017中国数据库技术大会将于2017年5月11-13日如约而至,本届大会以“数据驱动•价值发现”为主题,共设定2大主场和21个技术专场,云集海内外120+位技术大牛,共同探讨Oracle、MySQL、NoSQL、云端数据库、区块链、深度学习等领域的前瞻性热点话题。
即日起,填写DTCC2017会前调查问卷,即有机会赢取价值2600元的大会门票1张!仅限10张!
----------------------------------------
活动截止时间:2017年5月5日统一公布

问卷入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP