Chinaunix

标题: 谈BI和大数据在应用上的进化 [打印本页]

作者: innovate511 时间: 2013-11-11 00:47
标题: 谈BI和大数据在应用上的进化
为了避免老生常谈而没有结论，本文尽量简洁的情况下，做以下层次分布：
1.BI的历史缘由和相关技术形成，以及在企业中逐步形成的定位；
2.BI发展到现在，是否起到了人们期望的程度？；
3.缘何大数据和数据挖掘崛起，和BI有些脱钩？；
4.大数据仅仅是数据层面更广大了，BI应用的简单延展？；
5.抛弃所有概念，吸取所有精华，以业务目标为导向去思考问题吧！；
6.总结，以历史、离线为基础的BI，进化为杀入核心系统，不仅做数据支持和分析报告，拥抱实时、在线的大数据应用时代！

BI在传统行业地位的形成
在几十年前，现代企业还没BI的时候，就要固定出报表，Perl就是这个环境下创造出来的比C语言更简练的脚本语言，可以更方便来取数并制作企业固定的报表。

但随着企业的发展，只看财务、销售固定报表，已经不能满足企业需要了，因为问题越来越复杂，局势越来越多变，固定报表很难看清业务状况，对决策支持越来越有限，但从几十张常用报表，到开发几百、上千张报表，开发量实在太大。于是产生了OLAP这种技术平台，来快速实现人们对指数级上升的报表需求。而由于报表都是基于历史数据，所以没必要从业务系统直接取数，且过多报表生成要影响业务系统本身，于是数据仓库应运而生。

BI的使命是什么，达到预期了么？
BI，即商业智能，最初的想法是让企业通过数据，客观、有预见性地决策，实现智能的商务运作。

然而实际情况并非那么理想，无论传统行业，还是互联网，都在说拿数据说话，但看数据，说数据，并不意为着你就“智能”了，OLAP分析不能实现智能、数据挖掘分析也难以实现智能，原因就是商业的复杂、多边性。

无论BI还是数据挖掘，经常有些段子是，你发现A区域用户偏爱尺寸短的商品，决策者说，这个我也能感觉出啊，其他数据价值呢？对我有多大帮助呢？商务智能的智能就是发现了一个我可以感觉出来的问题么？

大数据崛起与BI
如果画圈子的话，大数据和BI可能是两个圈子，只有经历过BI、大数据两个环境的人们，才能穿梭其中。你会发现，做大数据的人居然不懂任何数据仓库、OLAP理论和技术；而做BI的人，对于大数据也是十分陌生，惊呼大数据是不是就等同于Hadoop技术？大数据是不是让所有人都能看Report的平台？

你看，大数据与BI不脱节才怪，本是同根生，却是2个貌似不搭嘎的圈子了。

大数据最前瞻的应用说法是实时、在线、数据内容丰富，而不仅仅是4V，如果这样的话，貌似和传统领域的BI关系不太大了？其实不然，BI对历史数据成熟的处理、集成方案，它在需要的时候也可以被在线系统调用，并非所有在线智能都必须在线实时计算才行。完全抛弃BI优秀的东西，重新定义大数据应用，不太妥。

大数据的数据分析是否是BI的简单延续？
很多朋友谈到数据分析，总会想到用做分析报告，对业务和事务定性、发现问题、建议方案。如果这就是应用，无论你是大数据还是小数据，都没脱离传统BI应用的思维方式。

分析报告、决策支持，这个是有价值的，但不是数据的全部，它只是冰山一角。在大数据时代，如果你还是用数据分析做报告用，就好比你拿了把屠龙刀，在做屠夫，屠夫也有价值啊，谁说没价值？

抛弃所有概念以解决业务问题为导向
数据分析，BI平台，就是为做分析报告为目标，这是10多年来累计的思维方式，是企业认同的模式，所以我们后来的从业者，都遵从于这些思维方式去工作。

就如大数据做挖掘应用的人们，他们从一开始从业的时候，就用推荐算法解决推荐问题，或者解决流量优化问题，他们可能知道数据还可以做其他应用，听说有预测、风险预警，只觉得有意思，但为什么有人做这些，这些的价值在哪里，如何产生的？可能不太清楚，也许他们整个团队也不用清楚，听说XX巨头公司在搞，所以他们也要搞。

其实业务方、用户、合作方等已经多次有了诉求，只是看你从旁观者角度去看待（数据分析报告，问题说清楚了，问题解决不了，可别找我啊），还是要站出来解决？

有数据界的朋友就要说，我看别人都是要么做数据分析报告，要么搞点推荐系统，除了这些巨头们正在做的，我们还能做什么？分析报告本来很有价值的，是XX业务部门自己搞不清业务，不会解决问题，能怪我们么？

以历史、离线为基础的BI和数据分析，进化为数据分析杀入核心在线系统
有朋友一定要说，这个真咬口，既然是2个不同的系统，啥叫杀入核心在线系统？

本人经历过的行业多，就以大家熟悉的零售电商行业来说。
案例一：电商分析报告中，最常见的就是用户分析报告，我们的BI、数据分析，对用户分类、聚类，用户画像，进行了很多处理，但是如果和业务问题脱节，就非常自娱自乐了。有人说，我把用户分析好了，让CRM和营销团队去用吧，他们看不懂，我们也没办法了。

其实不然，试想，ERP、CRM出线之前，做这些相关工作的人，知道自己去设计这套系统么？不会，而是别人设计出一套系统后，他们去用，达到了更好的目标。

假设分析报告显示，销售增速放缓是因为老用户交易大幅降低，新用户沉不下来。如果分析结论是老用户其实还常来，就是交易更谨慎了，那说明你得用在线大数据应用了，离线分析再透彻，你总不能一个客户一个客户去维护吧？这里就对离线分析的用户聚类、画像等分析结论，可以在线调用了，例如喜欢到处逛却越来越难下单的群体，检索比价的用户，可针对他们的习惯，针对性地优化检索过程，让他们不要很久还没找到合适的；对于购物车焦虑族，那么购物车增加个什么购物车个性化管家功能，专门针对焦虑族实现个性化服务。

案例二：隐藏在后面的核心系统，例如供应链，它其实与前端销售一脉相承，供应链的在线大数据应用，最小粒度就不是用户的个体，而是商品的个体了。

现在的信息化发达后，用户订单中的商品在什么状态了，在哪里了，信息都有显示，请问在线大数据能发挥什么作用？

在商品管理系统中，主要是人员操作出库、入库、库存、虚拟库存分配等等，通过流程来管理，所有大数据能发挥的空间，都在于“问题”，如果普通流程都能处理好所有问题，那大数据还是去做数据分析报告去吧。

常见的问题有，用户看到有货，等发货的时候告诉用户没货了；发货时间混乱，同一个用户，不同商家发货，有的1天到，有的1周到；仓库和实体门店库存管理交织抢货；还有很多。。。。。

以上问题都不是用传统流程管理方法可以解决的，大数据的数据君们，上！

备注：以上案例并非全部都亲历实践解决过问题，仅做论述论证参考！

作者: bobo2014 时间: 2014-07-24 15:58

BosonNLP介绍：

一站式解决您的中文语义分析需求。多个语义分析API，从情感倾向、实体、分类、聚类等多种维度助您分析海量非结构化文本，最大化数据的商业价值。
专注中文语义分析技术，拥有丰富的经验积累。自主研发千万级中文语料库，为精准和深度的中文语义分析提供坚实基础。强大的半监督机器学习引擎，结合独特的语义联想、句法分析等技术，将中文语义分析的准确度提升到商业应用级别。

作者: mavislily 时间: 2014-07-25 09:21
现在要做的就是能够将大数据和商业智能结合，实现大数据时代的商业智能。能把非结构化的数据整理转化为结构化数据存储整合到数据仓库中供商业智能分析~不能把商业智能和大数据对立起来看
商业智能FineBI:http://www.finebi.com

作者: lastexile 时间: 2014-08-15 17:16
到处都在吹大数据的风

作者: innovate511 时间: 2014-08-21 13:01

lastexile 发表于 2014-08-15 17:16
到处都在吹大数据的风

去忽悠的都是假的,能自己把业务做起来, 才是真的大数据

作者: snow888 时间: 2015-01-22 15:33
有一个命题得搞清楚，

什么样的数据才是大数据。

大数据的数据类型究竟有哪些。

作者: innovate511 时间: 2015-02-06 10:48

snow888 发表于 2015-01-22 15:33
有一个命题得搞清楚，

什么样的数据才是大数据。

争论这个定义，意义不大，学术界可以去研究，或者用来唬客户（企事业单位为大数据埋单）就一定要定义高大上一点。

就如O2O，到底什么是O2O？但是在商场，只有做起规模，用户喜欢用、资本追捧的O2O才被热捧，其他O2O概念再清晰，没落地，又能怎样？

作者: snow888 时间: 2015-02-15 20:15
其实，我现在更关注于两点。

1、大数据的应用的具体场景是什么？

2、大数据的技术架构如何实现？

作者: tangxin991 时间: 2015-02-25 11:31
提示: 作者被禁止或删除内容自动屏蔽

作者: b98103032b 时间: 2015-03-01 16:44
提示: 作者被禁止或删除内容自动屏蔽

作者: innovate511 时间: 2015-03-08 00:17

snow888 发表于 2015-02-15 20:15
其实，我现在更关注于两点。

1、大数据的应用的具体场景是什么？

这两者都得具体情况来看，应用场景从预测、实时推荐/搜索的应用，再到历史数据解析帮助决策，同样，不同应用所需要的技术架构也会不同

作者: chcws 时间: 2015-04-17 14:44
说的真好，顶一个是必须的

作者: oaderibm 时间: 2015-04-22 16:42
龙剑飞的如来神掌最后一式改为万佛朝顶

作者: soyo8888 时间: 2015-04-23 13:55
死机了？？？？

作者: innovate511 时间: 2015-05-22 00:06
一晃又是1年半，目前不玩单纯的大数据了，而是用大数据创业新的业务模式

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)