免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3004 | 回复: 7
打印 上一主题 下一主题

[文本处理] Linux shell用法和技巧 [复制链接]

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:55:28
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-12-03 09:46 |只看该作者 |倒序浏览
  

使用Linux shell是我每天的基本工作,但我经常会忘记一些有用的shell命令和l技巧。当然,命令我能记住,但我不敢说能记得如何用它执行某个特定任务。于是,我开始在一个文本文件里记录这些用法,并放在我的Dropbox里,现在,向大家分享这个文件。这个文件我会不断的更新。需要注意一点的是,有些用法需要在你的Linux系统里安装额外的软件。

UPDATE: November 25, 2013

检查远程端口是否对bash开放:

echo >/dev/tcp/8.8.8.8/53 && echo "open"
让进程转入后台:

Ctrl + z
将进程转到前台:

fg
产生随机的十六进制数,其中n是字符数:

openssl rand -hex n
在当前shell里执行一个文件里的命令:

source /home/user/file.name
截取前5个字符:

${variable:0:5}
SSH debug 模式:

ssh -vvv user@ip_address
SSH with pem key:

ssh user@ip_address -i key.pem
用wget抓取完整的网站目录结构,存放到本地目录中:

wget -r --no-parent --reject "index.html*" http://hostname/ -P /home/user/dirs
一次创建多个目录:

mkdir -p /home/user/{test,test1,test2}
列出包括子进程的进程树:

ps axwef
创建 war 文件:

jar -cvf name.war file
测试硬盘写入速度:

dd if=/dev/zero of=/tmp/output.img bs=8k count=256k; rm -rf /tmp/output.img
测试硬盘读取速度:

hdparm -Tt /dev/sda
获取文本的md5 hash:

echo -n "text" | md5sum
检查xml格式:

xmllint --noout file.xml
将tar.gz提取到新目录里:

tar zxvf package.tar.gz -C new_dir
使用curl获取HTTP头信息:

curl -I http://www.example.com
修改文件或目录的时间戳(YYMMDDhhmm):

touch -t 0712250000 file
用wget命令执行ftp下载:

wget -m ftp://username:password@hostname
生成随机密码(例子里是16个字符长):

LANG=c < /dev/urandom tr -dc _A-Z-a-z-0-9 | head -c${1:-16};echo;
快速备份一个文件:

cp some_file_name{,.bkp}
访问Windows共享目录:

smbclient -U "DOMAIN\user" //dc.domain.com/share/test/dir
执行历史记录里的命令(这里是第100行):

!100
解压:

unzip package_name.zip -d dir_name
输入多行文字(CTRL + d 退出):

cat > test.txt
创建空文件或清空一个现有文件:

> test.txt
与Ubuntu NTP server同步时间:

ntpdate ntp.ubuntu.com
用netstat显示所有tcp4监听端口:

netstat -lnt4 | awk '{print $4}' | cut -f2 -d: | grep -o '[0-9]*'
qcow2镜像文件转换:

qemu-img convert -f qcow2 -O raw precise-server-cloudimg-amd64-disk1.img \
                                 precise-server-cloudimg-amd64-disk1.raw
重复运行文件,显示其输出(缺省是2秒一次):

watch ps -ef
所有用户列表:

getent passwd
Mount root in read/write mode:

mount -o remount,rw /
挂载一个目录(这是不能使用链接的情况):

mount --bind /source /destination
动态更新DNS server:

nsupdate < <EOF
update add $HOST 86400 A $IP
send
EOF
递归grep所有目录:

grep -r "some_text" /path/to/dir
列出前10个最大的文件:

lsof / | awk '{ if($7 > 1048576) print $7/1048576 "MB "$9 }' | sort -n -u | tail
显示剩余内存(MB):

free -m | grep cache | awk '/[0-9]/{ print $4" MB" }'
打开Vim并跳到文件末:

vim + some_file_name
Git 克隆指定分支(master):

git clone git@github.com:name/app.git -b master
Git 切换到其它分支(develop):

git checkout develop
Git 删除分支(myfeature):

git branch -d myfeature
Git 删除远程分支

git push origin :branchName
Git 将新分支推送到远程服务器:

git push -u origin mynewfeature
打印历史记录中最后一次cat命令:

!cat:p
运行历史记录里最后一次cat命令:

!cat
找出/home/user下所有空子目录:

find /home/user -maxdepth 1 -type d -empty
获取test.txt文件中第50-60行内容:

< test.txt sed -n '50,60p'
运行最后一个命令(如果最后一个命令是mkdir /root/test, 下面将会运行: sudo mkdir /root/test):

sudo !!
创建临时RAM文件系统 – ramdisk (先创建/tmpram目录):

mount -t tmpfs tmpfs /tmpram -o size=512m
Grep whole words:

grep -w "name" test.txt
在需要提升权限的情况下往一个文件里追加文本:

echo "some text" | sudo tee -a /path/file
列出所有kill signal参数:

kill -l
在bash历史记录里禁止记录最后一次会话:

kill -9 $$
扫描网络寻找开放的端口:

nmap -p 8081 172.20.0.0/16
设置git email:

git config --global user.email "me@example.com"
To sync with master if you have unpublished commits:

git pull --rebase origin master
将所有文件名中含有”txt”的文件移入/home/user目录:

find -iname "*txt*" -exec mv -v {} /home/user \;
将文件按行并列显示:

paste test.txt test1.txt
shell里的进度条:

pv data.log
使用netcat将数据发送到Graphite server:

echo "hosts.sampleHost 10 `date +%s`" | nc 192.168.200.2 3000
将tabs转换成空格:

expand test.txt > test1.txt
Skip bash history:

< space >cmd
去之前的工作目录:

cd -
拆分大体积的tar.gz文件(每个100MB),然后合并回去:

split –b 100m /path/to/large/archive /path/to/output/files
cat files* > archive
使用curl获取HTTP status code:

curl -sL -w "%{http_code}\\n" www.example.com -o /dev/null
设置root密码,强化MySQL安全安装:

/usr/bin/mysql_secure_installation
当Ctrl + c不好使时:

Ctrl + \
获取文件owner:

stat -c %U file.txt
block设备列表:

lsblk -f
找出文件名结尾有空格的文件:

find . -type f -exec egrep -l " +$" {} \;
找出文件名有tab缩进符的文件

find . -type f -exec egrep -l $'\t' {} \;
用”=”打印出横线:

printf '%100s\n' | tr ' ' =

[英文原文:Linux shell tips and tricks]
转自 外刊it评论

本文来自ChinaUnix新闻频道,如果查看原文请点:http://news.chinaunix.net/opensource/2013/1202/3029443.shtml

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
2 [报告]
发表于 2013-12-03 10:01 |只看该作者
感谢分享

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
3 [报告]
发表于 2013-12-03 10:01 |只看该作者
支持分享~

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
4 [报告]
发表于 2013-12-03 10:10 |只看该作者
获取test.txt文件中第50-60行内容:

< test.txt sed -n '50,60p'


老外的思维和俺们好大的区别呀,倒着写也行......

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
5 [报告]
发表于 2013-12-03 10:18 |只看该作者
回复 4# 关阴月飞


    把重定向放到前面,在Windows的BAT里面是个比较有用的方法。

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
6 [报告]
发表于 2013-12-03 10:38 |只看该作者
似乎有很多技巧 ,学习了

论坛徽章:
3
金牛座
日期:2013-08-26 10:25:02摩羯座
日期:2013-09-09 15:14:322015年亚洲杯之约旦
日期:2015-05-06 09:33:56
7 [报告]
发表于 2013-12-03 10:42 |只看该作者
开眼界了~~学习

论坛徽章:
0
8 [报告]
发表于 2013-12-04 11:34 |只看该作者
很好很强大
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP