关于cncqpansky (极地冰貂) “我公司全球30万人”的存储方案

carrison

你教我存储，我告诉你怎么禁止ID

无牙

刚学会，搞定了！

carrison

高手，景仰中...

gawk

貌似有理

cheveu

一、数据大集中。
    银行数据大集中是因为以前各分支机构的账本分布在各分支机构手里，总行手里没账本，只能下面报多少上面信多少，小金库、黑窟窿管不住。
    数据大集中本身从技术上讲是愚蠢的，因为计算机系统的处理能力与投入的资金不是线性的，很可能新增2份投入只得到1份处理能力提升。从这个角度讲，分布式系统处理这些交易优势更大。
    然而，金融机构，特别是银行，是愿意多花钱把交易（过程）和账本（结果）控制在自己手中的，这是技术之外的问题了。这正是bbjmmj说互联网用pc银行用小型机的根本原因。至于灾备，只能看成是数据大集中之后的必然成本。

二、数据备份。
    关于数据备份，我的体会就是，数据都是人产生的，人的欲望是无尽的，照片像素越来越高，文档尺寸越来越大，显示效果越来越精美，内容（信息量）基本上还是那些，人们已经陷入感官刺激的螺旋中不能自拔，而忘了产生这些信息的初始目的是什么。基本上所有搞存储的都面临着备份容量越来越不够用的问题，今天你2T的空间可以备一年的数据，一年后你2T的空间可能就只够半年用了。
    你的办法有两个：
    1、等待。摩尔定律的本质不仅仅是软件厂商消耗硬件资源，更重要的是这种纯粹为了感官刺激而消耗资源的行为必须能卖掉，这才是摩尔定律的本质。人的感官有极限，极限到了，数据格式就停止增长。也就是说，只要这种感官刺激还没到尽头，还有需求，还能卖得掉，摩尔定律就不会失效，你就能用上容量不断翻倍的硬盘；感官刺激到头了，摩尔定律实效了，硬盘固然是停止发展了，数据格式的增长也会停止。还担心么？      就我所知，在听觉方面，这种刺激已经饱和了：第一，在声波的频率上，人能听到的极限是大约20KHz，那么抽样频率40KHz理论上足够，基本上就是这个数量级了。但是录音总归有噪声嘛，为了提高音质，过采样的话，抽样频率192KHz，总之有个头儿，几百KHz到头了。第二，在声波的振幅上，模拟信号数字化的缺点就是有量化噪声，好在人耳是一个对数系统，声波的振幅（能量）与人耳的感受之间是对数关系，这意味着振幅很高的时候量化噪声大点（误差大点）影响却并不大，这也正是对数编码率的理论基础（A律、μ律），采用对数编码率，编码位数只需略增几位，比如从8位升到10位/12位，编码效果就能大幅提升，只要量化噪声小于本底噪声，那量化噪声就变成次要矛盾，甚至可以忽略。视觉方面的极限也不远了，人眼的空间分辨率有多少？色彩分辨率又有多少？  不好意思，说到本行，忍不住说多了……-_-!!!    （ 量化噪声、过采样可参考搜索引擎结果以及：http://zhidao.baidu.com/question/8169828.html ）
    2、市场。很多人陈芝麻烂谷子也要备份，哪儿有那么多要备份的？很多时候备到后来他自己都忘了备份里面有什么。你要限制需求，让他们自己删除冗余数据，存储空间是海绵里的水，要让他们自己挤。超额备份要出钱，暂定1G1块钱，价格很公道。而且现在硬盘很便宜了，我一块1T的企业级硬盘也就1K多，现在可能更便宜，用这个，然后自己esata+raid5/6，备份在线、热插拔、冗余性，全有了。搞台不带硬盘的PC冷备（最多挂块系统盘），你还怕什么？3-5年后，换pc/换硬盘，倒数据，根本不用考虑备份数据有效保存时间的问题。

[ 本帖最后由 cheveu 于 2009-4-25 20:57 编辑 ]

chl1983

LZ的文章总是那么神奇～～一般正常人看不明白～难道要的就是这个效果？？～

原帖由 bbjmmj 于 2009-4-22 17:41 发表


或许你还无法体会，一个小网管，要凭一人之力处理比小型机更复杂的应用和更大的数据量有多辛苦。
学校电视台的数据容量已经超过1TB，照这个趋势，3TB的磁盘阵列，不到明年年底就会用光，然后还要做文件服务 ...

您还要什么存储方案啊。。～买PC硬盘就是了～存满了换个接上去就是～一个小学校～怎么弄不是弄啊

bbjmmj

原帖由 cheveu 于 2009-4-25 20:48 发表
一、数据大集中。
    银行数据大集中是因为以前各分支机构的账本分布在各分支机构手里，总行手里没账本，只能下面报多少上面信多少，小金库、黑窟窿管不住。
    数据大集中本身从技术上讲是愚蠢的，因为计算 ...

人想把现实世界虚拟化，我感觉，对存储容量的需求应该是没有止境的，除非存储设备达到物理极限。

无牙

这个观点还行

bbjmmj

原帖由 chl1983 于 2009-4-26 11:21 发表
LZ的文章总是那么神奇～～一般正常人看不明白～难道要的就是这个效果？？～




您还要什么存储方案啊。。～买PC硬盘就是了～存满了换个接上去就是～一个小学校～怎么弄不是弄啊

校园网的应用水平是各行业中最高的了，学校有用超级电脑的，你看看中国五大银行，谁玩得动超级计算机呀。
大的不说，说小的，几千人的大企业，会做网站的都可以做信息主管，你看学校不大，一两百人的学校，会做网站的多着呢。
学校电视台的电视节目都过TB了，你以为学校业务就那么好应付呀？

无牙

又开始了