现有400多少G 一个文件

blackold

@yestreenstars@ly5066113
嗯，看错了，LZ是按行分割的。

Kasiotao

一个小时400G数据。。。好像知道为什么存的时候就不先分配好

shreychen

以前也碰到过类似的需求，用dd写了个脚本

1. #!/bin/bash
   
2. 
   
3. file=$1
   
4. file_size=$(du -b $file | cut -f1)
   
5. ((split_size=$2*1024))
   
6. ((split_num=$file_size / $split_size + 1))
   
7. 
   
8. echo "file size:$file_size bytes"
   
9. echo "split to small files of $split_size bytes"
   
10. echo "need split $split_num times"
    
11. 
    
12. echo "do spliting"
    
13. for i in `seq 0 $split_num`
    
14. do
    
15.         of=files/$file.$i
    
16.         ((skip=$split_size * $i))
    
17.         #echo "dd if=$file of=$of bs=1 count=$split_size skip=$skip"
    
18.         test -f $of && continue
    
19.         dd if=$file of=$of bs=1 count=$split_size skip=$skip
    
20. done
    
21. echo "done"

复制代码