免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2549 | 回复: 9
打印 上一主题 下一主题

[文本处理] 30万行数据windows换行变linux换行如何操作。急!!! [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-04-21 17:18 |只看该作者 |倒序浏览
如题
30万行数据windows换行变linux换行如何操作,
数据文件是以逗号分隔的csv文件。

想要一次性通过命令转换。而不是循环的读每一行去操作。

最好是shell文或是php函数。且shell命令必须是大部分linux支持的。即使不是root也可以执行的。因为这个操作时在bat处理时用的。
不能用安装的工具去执行。

多谢多谢。

论坛徽章:
769
金牛座
日期:2014-02-26 17:49:58水瓶座
日期:2014-02-26 18:10:15白羊座
日期:2014-04-15 19:29:52寅虎
日期:2014-04-17 19:43:21酉鸡
日期:2014-04-19 21:24:10子鼠
日期:2014-04-22 13:55:24卯兔
日期:2014-04-22 14:20:58亥猪
日期:2014-04-22 16:13:09狮子座
日期:2014-05-05 22:31:17摩羯座
日期:2014-05-06 10:32:53处女座
日期:2014-05-12 09:23:11子鼠
日期:2014-05-21 18:21:27
2 [报告]
发表于 2014-04-21 17:29 |只看该作者
dos2unix?

论坛徽章:
0
3 [报告]
发表于 2014-04-21 17:39 |只看该作者
除了这个呢。因为有的系统初始并没有安装这个命令。
我们不能在客户的机器上使用这个命令。

其他的还有别的方法么。

论坛徽章:
769
金牛座
日期:2014-02-26 17:49:58水瓶座
日期:2014-02-26 18:10:15白羊座
日期:2014-04-15 19:29:52寅虎
日期:2014-04-17 19:43:21酉鸡
日期:2014-04-19 21:24:10子鼠
日期:2014-04-22 13:55:24卯兔
日期:2014-04-22 14:20:58亥猪
日期:2014-04-22 16:13:09狮子座
日期:2014-05-05 22:31:17摩羯座
日期:2014-05-06 10:32:53处女座
日期:2014-05-12 09:23:11子鼠
日期:2014-05-21 18:21:27
4 [报告]
发表于 2014-04-21 17:42 |只看该作者
回复 3# dengzhuo
  1. tr -d '\r' <oldfile>newfile
复制代码

论坛徽章:
0
5 [报告]
发表于 2014-04-21 17:49 |只看该作者
等我去试试。

论坛徽章:
0
6 [报告]
发表于 2014-04-21 18:10 |只看该作者
我用的命令:
  1. tr -d '\r' abc.csv
复制代码
貌似不可以,显示,当不进行缩减的操作时,只能是一组字符串。

论坛徽章:
0
7 [报告]
发表于 2014-04-21 18:29 |只看该作者
不好意思。更正一下。我的命令是
  1. cat abc.csv | tr -d '\r' > def.csv
复制代码
这样终端不会显示内容,内容直接就导入到def.csv了。
那么现在我想还是在这个abc.csv中。请问怎么办。
  1. cat abc.csv | tr -d '\r' > abc.csv
复制代码
这样命令显示错误。
谢谢。

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
8 [报告]
发表于 2014-04-21 18:47 |只看该作者
回复 7# dengzhuo

很多事情别老想着一步到位:再加一步就行了
    mv  def.csv abc.csv

论坛徽章:
0
9 [报告]
发表于 2014-04-21 19:02 |只看该作者
本帖最后由 dengzhuo 于 2014-04-21 19:04 编辑

做人不能太贪了。

我这边是没有这个问题。就怕客户那边。

现在就是不知道30万条数据,用来转换的性能是什么样的。

谢谢,各位。

结贴。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-08 06:20:00数据库技术版块每日发帖之星
日期:2015-08-29 06:20:00数据库技术版块每日发帖之星
日期:2015-08-29 06:20:00数据库技术版块每日发帖之星
日期:2015-09-18 06:20:00数据库技术版块每周发帖之星
日期:2015-11-06 19:56:51数据库技术版块每日发帖之星
日期:2016-01-22 06:20:00数据库技术版块每日发帖之星
日期:2016-02-05 06:20:00
10 [报告]
发表于 2014-04-23 16:39 |只看该作者
本帖最后由 asdf2110 于 2014-04-23 16:41 编辑

sed 总有吧
  1. sed -i".bak" 's/\r//' file
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP