免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 907 | 回复: 4

[文本处理] 如何用grep把韩文和日文筛选出来? [复制链接]

论坛徽章:
0
发表于 2019-02-06 14:15 |显示全部楼层
如题!谢谢!

论坛徽章:
0
发表于 2019-02-06 15:48 |显示全部楼层
这么多人看的,没人会吗?

论坛徽章:
2
15-16赛季CBA联赛之广东
日期:2016-07-17 21:29:0415-16赛季CBA联赛之吉林
日期:2016-12-28 15:54:19
发表于 2019-02-11 19:29 |显示全部楼层
没有特征很难做的到

论坛徽章:
1
2016科比退役纪念章
日期:2018-10-24 08:24:01
发表于 2019-02-12 07:54 |显示全部楼层
本帖最后由 cfwyy 于 2019-02-12 07:59 编辑

回了个帖子,里面插了个链接,帖子就出不来了?
用正则的 Unicode Scripts
应该可以解决你至少一大半的问题,韩文还好说,日文没那么简单的,因为日文里除了平假名和片假名,也有汉字。 中文日文混写的时候怎么判断汉字属于中文还是日文?

匹配韩文:
  1. grep -Po '\p{Hangul}+' file
复制代码


匹配平假名和片假名:
  1. grep -Po '\p{Hiragana}+|\p{Katakana}+' file
复制代码


仅供参考。

论坛徽章:
0
发表于 2019-02-14 18:13 |显示全部楼层
  1. --------------------------------------------
  2. [int][char]$a = '汉'
  3. if ($a -ge 0x4e00 -and $a -le 0x9fa5)
  4. {
  5. Write-Host '是汉字'
  6. }

  7. [int][char]$a = '최'
  8. if ($a -ge 0xAC00 -and $a -le 0xD7A3)
  9. {
  10. Write-Host '是韩文'
  11. }

  12. [int][char]$a = 'ㅸ'
  13. if ($a -ge 0x3130 -and $a -le 0x318F)
  14. {
  15. Write-Host '是韩文'
  16. }

  17. [int][char]$a = 'す'
  18. if ($a -ge 0x0800 -and $a -le 0x4e00)
  19. {
  20. Write-Host '是日文'
  21. }
复制代码


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP