awk如何获得hadoop streaming中的map_input_file环境变量

silentfly1987

awk如何获得hadoop streaming中的map_input_file环境变量？

laliheyi

回复 1# silentfly1987


    LZ能解释一下hadoop streaming是啥么么？好高级的东西撒

jason680

回复 1# silentfly1987

1. system environment
$ echo "(shell) HOME=$HOME"; awk 'BEGIN{print "(awk) HOME="ENVIRON["HOME"]}'
(shell) HOME=/home/jason
(awk) HOME=/home/jason


2. user environment

$ export env=123; echo "(shell) env=$env"; awk 'BEGIN{print "(awk) env="ENVIRON["env"]}'
(shell) env=123
(awk) env=123

   

silentfly1987

赞！
回复 3# jason680


   

silentfly1987

回复 2# laliheyi

hadoop是一种分布式处理的框架，本来是需要用java写map-reduce程序的。
我理解的streaming是对hadoopo做了一层封装，让我们可以用shell、python等脚本语言来写map-reduce程序。