免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 如何合并一组Unicode的文本
12下一页
最近访问板块 发新帖
查看: 2767 | 回复: 10
打印 上一主题 下一主题

如何合并一组Unicode的文本 [复制链接]

yuanquan44534

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2011-10-24 10:15 |只看该作者 |倒序浏览
一组名称相似的文本
表.txt 表1.txt  表2.txt 。。。。
编码格式是unicode

想把表1-n的第2到最后一行合并到第一张表
linux下用sed命令
windows下的more命令合并之后都出现了乱码。

把unicode转换成utf8或ansi就可以正常合并， 请问有没有什么好办法？

如附件

A_1.rar

6.54 KB, 下载次数: 27
ziyunfei

论坛徽章:
1
摩羯座 日期:2014-12-29 15:59:36
2楼 [报告]
发表于 2011-10-24 10:49 |只看该作者
第一行的bom没了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yuanquan44534

论坛徽章:
0
3楼 [报告]
发表于 2011-10-24 10:55 |只看该作者
如何解决
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ziyunfei

论坛徽章:
1
摩羯座 日期:2014-12-29 15:59:36
4楼 [报告]
发表于 2011-10-24 10:58 |只看该作者
还有换行符啥的都错了.

utf-16LE 换行符是 0a00
大部分命令都是识别0a为换行符,00添加到下一行的开头了.
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ziyunfei

论坛徽章:
1
摩羯座 日期:2014-12-29 15:59:36
5楼 [报告]
发表于 2011-10-24 10:59 |只看该作者
你为什么要用这种编码.想要什么效果.转码后还是这种编码?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yuanquan44534

论坛徽章:
0
6楼 [报告]
发表于 2011-10-24 11:05 |只看该作者
源文件的编码就是这样的,我只是想把它合并。

后期我要将这些表导入数据库,什么编码对我来说都可以。只要合并后可以用excel打开。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
7楼 [报告]
发表于 2011-10-24 11:31 |只看该作者
回复 1# yuanquan44534


$ awk 'NR==1{print}FNR!=1{print}' A_*.txt > A.txt
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ziyunfei

论坛徽章:
1
摩羯座 日期:2014-12-29 15:59:36
8楼 [报告]
发表于 2011-10-24 11:33 |只看该作者
源文件的编码就是这样的,我只是想把它合并。

后期我要将这些表导入数据库,什么编码对我来说都可以。只要 ...
yuanquan44534 发表于 2011-10-24 11:05



   
建议你先转码再合并,常见的编码各个编辑器都支持.

awk 'NR==1{printf("\xFF\xFE");next}FNR==1{next}{sub(/./,"");printf($0"\x0A\00")}' A_*.txt > file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
9楼 [报告]
发表于 2011-10-24 13:10 |只看该作者
这样可以吗？
  1. @echo off
  2. more A.txt >B.txt
  3. more +1 A_1.txt >> B.txt
  4. more +1 A_2.txt >> B.txt
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yuanquan44534

论坛徽章:
0
10楼 [报告]
发表于 2011-10-24 13:21 |只看该作者
more不行  输出的是ansi
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP