免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3178 | 回复: 7
打印 上一主题 下一主题

[文本处理] 求 shell 脚本解析固定格式的文件导入本地数据库 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-10-29 16:04 |只看该作者 |倒序浏览
本帖最后由 老狼01 于 2014-10-29 16:15 编辑

本地数据库表qx_weblog如:


shell脚本解析出来的文件格式为 q.txt。 文本内容如下,以空格为间隔符:

30/Sep/2014:00:09:48  123.125.71.47  /shentou4/xinwen_105.html  200
30/Sep/2014:00:40:26  123.125.71.124  /jihuang/gonglue_1190.html  200
30/Sep/2014:01:09:48  123.125.71.20  /shentou4/gongju_50.html  200

需求就是 q.txt 通过shell 导入 到本地数据库

本地数据库信息:
类型:mysql
http://localhost/phpmyadmin/ #本地数据库登录
username="root" #数据库用户名
password="root" #数据库密码
dbname="weblog" #数据库名
tablename="qx_weblog" #数据库表名

shell版本(Win 下Cygwin搭建的linux环境)



求高手写个可用的,学习下。谢谢

论坛徽章:
8
戌狗
日期:2014-09-26 16:39:44水瓶座
日期:2014-10-10 02:06:57金牛座
日期:2014-10-11 23:04:042015亚冠之首尔
日期:2015-06-23 15:37:0015-16赛季CBA联赛之天津
日期:2016-01-22 18:58:2915-16赛季CBA联赛之佛山
日期:2016-05-31 19:18:0815-16赛季CBA联赛之同曦
日期:2016-08-10 16:26:3315-16赛季CBA联赛之辽宁
日期:2018-01-10 11:47:40
2 [报告]
发表于 2014-10-29 16:19 |只看该作者
用 mysql的load就可以完成的吧

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
3 [报告]
发表于 2014-10-29 16:19 |只看该作者
回复 1# 老狼01
id列在哪了?

   

论坛徽章:
0
4 [报告]
发表于 2014-10-29 16:24 |只看该作者
回复 3# zxy877298415 id 自增 的,不用插入


   

论坛徽章:
0
5 [报告]
发表于 2014-10-29 16:24 |只看该作者
回复 2# wiliiwin ,能写下不


   

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
6 [报告]
发表于 2014-10-29 16:50 |只看该作者
回复 1# 老狼01
while read a b c d
> do
> let i++
> echo "insert into qx_weblog values ( $i,'$a','$b','$d','$c');"
> done < q.txt



   

论坛徽章:
0
7 [报告]
发表于 2014-10-29 18:02 |只看该作者
回复 2# wiliiwin   load可以实现,想通过腰带,生成数据 文件直接 程序导入。


   

论坛徽章:
1
2015亚冠之柏太阳神
日期:2015-09-29 10:00:55
8 [报告]
发表于 2014-10-30 14:09 |只看该作者
这个用perl写最好了,正则匹配生成字段,链接数据库和数据插入用到DBI。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP