大数据崛起时代，命令行技术的价值在哪里？

wangyb

批量处理数据和文件，命令行，高效简介速度快方便，GUI远不能比。
grep sed常备 awk现查 python终极武器。

zsszss0000

的确，预处理这块需求变化太快，需要具有非常大的灵活性，高级语言开发的话，可能的确不够灵活 回复 12# reallyfly_1


   

刺客阿地

支持下活动。

zsszss0000

刺客君，期待你的高论啊 回复 14# 刺客阿地


   

wenhq

1、您是否喜欢用命令行？请谈谈你眼中命令行工具或者技术的魅力所在或者不足之处。
我比较喜欢cli，因为我很习惯用这个，也方便。不足之处暂时感觉没有。
2、您接触过哪些命令行工具，解决什么类型的问题。
perl,shell,python cli都可以，用的最多的就是shell了，感觉所有工作都可以用shell搞定吧，虽然python也很牛，但究其原因是胶水的本质。所以不是很喜欢。
3、有种观点认为数据科学可以分为如下五个部分： a)数据获取 b)数据清洗 c)数据探索 d)数据建模 e)数据解释。可否挑选上面的一个方面或者几个方面谈谈你的理解。
遇到过的就是etl,python scrapy, regex 感觉思路一样，最主要是对工具的认识以及基本功。
4、您认为对于解决3中各类问题，命令行过时了吗？命令行工具和技术是否仍然能够发挥自己的作用呢？
命令行没过时，脚本的基础都是在cli上实现的。
5、在处理html、xml、json，csv这里数据的时候，除了grep、sed、awk等通用的工具以为，是否还有其他使用起来更加简单易学的命令行技术或者工具大家分享一下。
egrep算不?regex.

我很喜欢这本书，版主算我一份吧。

niao5929

现在多数情况下我更喜欢使用BASH来玩我的LINUX系统。

thinkeasy

命令行的优点就是操作直接，输入命令，可即执行操作。
如果远程服务器出了问题，正好人在外面，那么用手机ssh到服务器进行故障处理，这比windows的远程桌面可靠多了。
命令行习惯后，没感觉有什么缺点。

rickcafe

讨论话题
本期话题让我们畅想一下命令行技术在数据科学中的应用（可任选下面的一个或者几个问题谈谈自己的观点和看法）。
1、您是否喜欢用命令行？请谈谈你眼中命令行工具或者技术的魅力所在或者不足之处。

喜欢啊，命令行工具使每一个具体操作简单化、明确化，透明度很高，故障排查比图形化界面简单很多。

当然，略显不足的是，需要培养一下使用习惯，和需要一点脚本编程能力。

2、您接触过哪些命令行工具，解决什么类型的问题。

unix/linux的shell，windows的命令窗口、Oracle的sqlplus、rman等，及相关脚本，主要是用于自动化工作和批量处理数据。

3、有种观点认为数据科学可以分为如下五个部分： a)数据获取 b)数据清洗 c)数据探索 d)数据建模 e)数据解释。可否挑选上面的一个方面或者几个方面谈谈你的理解。

我主要是运维方面用过命令行工具，主要用于以下方面

a) 数据获取
通过批处理脚本快速采集数据，包括操作系统、数据库、应用系统的数据。

b)数据清洗
主要在采集的数据基础上，提取、格式化有用的数据，如操作系统状态，数据库状态、话单数据等。

c)数据探索
不懂。

d)数据建模
不懂，不明觉厉。

e)数据解释
就是数据的分析吧，是要加一些业务逻辑判断在里面。

4、您认为对于解决3中各类问题，命令行过时了吗？命令行工具和技术是否仍然能够发挥自己的作用呢？

没过时。用于可格式化、批处理数据是很方便的。 c、d没用过，不懂。

5、在处理html、xml、json，csv这里数据的时候，除了grep、sed、awk等通用的工具以为，是否还有其他使用起来更加简单易学的命令行技术或者工具大家分享一下。

如果是批处理数据的话，我用过perl，感觉功能很强大的，特别是在正则表达式方面。这也解释性语言，不需要编译的，但现在好象不是太流行。

woxizishen

命令行是it人用的，图形化是用户使用的。解读完毕！

heguangwu

1、您是否喜欢用命令行？请谈谈你眼中命令行工具或者技术的魅力所在或者不足之处。
命令行方式简单高效，不足之处是可视化不好，只适合工程师，领导需要看高大上的界面

2、您接触过哪些命令行工具，解决什么类型的问题。
主要是awk，grep，wc等，主要解决简单的统计或问题定位

3、有种观点认为数据科学可以分为如下五个部分： a)数据获取 b)数据清洗 c)数据探索 d)数据建模 e)数据解释。可否挑选上面的一个方面或者几个方面谈谈你的理解。
命令行工具最大的用途是数据探索，其实数据的价值与否可以先用命令行大致看看，就好比沙子里面的大颗粒黄金，用命令行工具可以快速的得到，如果价值不明显就放到大数据平台，让大数据去做淘金的工作

4、您认为对于解决3中各类问题，命令行过时了吗？命令行工具和技术是否仍然能够发挥自己的作用呢？
暂时还未过时，一些数据不大，又需要快速出结果的地方就是命令行的天下

5、在处理html、xml、json，csv这里数据的时候，除了grep、sed、awk等通用的工具以为，是否还有其他使用起来更加简单易学的命令行技术或者工具大家分享一下。
如果hadoop的命令行也算命令行的话就这个了