sed命令的一个问题

zhiwen1002

首先看一下命令：sed 's/.*"data":"\(.*\)",.*/\1/g' 文件
文件内容大致如下：{"filename":"/local/iso/hello.txt","filesize":"104857600","data":"aaaaaaaaa==","offset":"0"}
命令的目的就是取出data相应字段的值，也就是aaaaaaaaa==
上面这些是不会有问题的，但是如果data相应的字段很长，长到有100M左右的时候，上个命令显示的结果就是全部都显示出来了，而不是data的字段内容。
在这求助大家，希望大家不吝赐教，谢谢大家了！

jason680

回复 1# zhiwen1002

How about those

$ perl -lane '{print $1 if(m/"data":"(.+?)"/)}' FILE
aaaaaaaaa==

$ grep -oP '(?<="data":")[^"]+' FILE
aaaaaaaaa==

   

zhiwen1002

回复 2# jason680

非常感谢你的解答，试了grep是可以的解决问题的，再次感谢。
问题解决了但是还是想知道根源，就是为什么我上面的sed不行，100M的文件也不是很大啊。


   

jason680

回复 3# zhiwen1002

$ echo '{"filename":"/local/iso/hello.txt","data":"aaaaaaaaa==","offset":"0","filesize":"104857600"}' | sed 's/.*"data":"\(.*\)",.*/\1/g'
aaaaaaaaa==","offset":"0

$ echo '{"filename":"/local/iso/hello.txt","data":"aaaaaaaaa==","offset":"0","filesize":"104857600"}' | sed 's/.*"data":"\([^"]*\)".*/\1/g'
aaaaaaaaa==

   

Shell_HAT

但是如果data相应的字段很长，长到有100M左右的时候

1、整个文件只有一行吗？
2、如果文件是从Windows系统里面复制过来的，需要先转换成unix格式：

1. dos2unix test.txt

复制代码

zhiwen1002

回复 4# jason680

嗯，这个是贪婪的问题，但是这是你修改文件内容出现的问题
打印实际上是这样的
......AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA==","offset":"0"}
前面很多A，文件有100M多。即使按照你那样的[^]，最后结果还是一样，就是想不明白，grep是可以的。


   

zhiwen1002

回复 5# Shell_HAT
只有一行，不是windows的文件，里面没有特殊的字符，都是可视的


   

jason680

回复 6# zhiwen1002

Is it sed version issue?
There is no issue with sed version 4.2.1 on Ubuntu LTS 12.04


$ wc FILE
       1        1 10000070 FILE

$ head -c 80 FILE
{"filename":"/local/iso/hello.txt","data":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

$ tail -c 80 FILE
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa==","offset":"0"}

$ sed 's/.*"data":"\(.*\)",.*/\1/g' FILE > NEW

$ wc NEW
       1        1 10000012 NEW

$ head -c 80 NEW
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

$ tail -c 80 NEW
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa==

$ sed --version
GNU sed version 4.2.1
...

tuyajie

只有我没看懂题目吗？