忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 508 | 回复: 10

[文本处理] 如果统计文件中缺失的行? [复制链接]

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2015-08-05 06:20:00数据库技术版块每日发帖之星
日期:2015-08-23 06:20:00数据库技术版块每日发帖之星
日期:2016-04-19 06:20:00
发表于 2017-07-13 09:59 |显示全部楼层
有大量文件,但是某些文件中某些行数据不全。
例如:
正常是
203|abc|192.168.2.1|1499230617963|bsid1
缺失的行类似这样
203|abc|192.168.2.1|1499230617963
203|abc|192.168.2.1

那么我如何从大量文件中找出缺失的行和有缺失行的文件呢?
我觉得可以遍历所有文件的每一行,对比字符数或者列数,值小于多少就算缺失,但是不会写,麻烦大神们给个脚本,谢谢。

论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2017-07-13 11:20 |显示全部楼层
awk -F '|' '{if(NF<5) print NR}' ufile

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2017-07-13 11:23 |显示全部楼层

  1. awk -F\| 'NF<5{print >FILENAME".err"}' *txt
复制代码

论坛徽章:
302
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-07-13 11:42 |显示全部楼层
  1. perl -nle 'print("$ARGV/> $_") if(split(/\|/)<5)' *.txt
复制代码

论坛徽章:
0
发表于 2017-07-13 12:48 |显示全部楼层
powershell用:
if ($行.split('|').count -lt 5) {$行 }

论坛徽章:
302
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-07-13 13:13 |显示全部楼层
回复 5# 本友会机友会摄友会
  1. $wkPath = 'workPath:'
  2. foreach($fn in Get-ChildItem -Filter *.txt -Path $wkPath){
  3.     $lines = Get-Content -Encoding UTF8 -Path $fn | where()
  4.     if($lines.Count -gt 0){
  5.         Write-Host "/>" $fn.FullName
  6.         foreach($line in $lines){
  7.             Write-Host -NoNewline "$line`t"
  8.         }
  9.         Write-Host
  10.     }
  11. }
复制代码

大神帮忙指点下,where 部分该如何填写?

论坛徽章:
0
发表于 2017-07-13 15:09 |显示全部楼层
Where-Object 和所有其他命令,都只支持 字符串 ,和代码。
字符串要是有空格,就要用单双引号,没有,就不用。字符串可以是属性名。
代码必须用{}括起来。
Get-Content a:\pscode\temp225\aaa.txt |Where-Object  {($_ -split '\|' ).length -lt 5}

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2015-08-05 06:20:00数据库技术版块每日发帖之星
日期:2015-08-23 06:20:00数据库技术版块每日发帖之星
日期:2016-04-19 06:20:00
发表于 2017-07-13 17:06 |显示全部楼层
回复 2# vagrant_1220

谢谢

论坛徽章:
302
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-07-13 17:49 |显示全部楼层
本帖最后由 sunzhiguolu 于 2017-07-13 17:50 编辑

回复 7# 本友会机友会摄友会
谢大神,
有个地方不明白,请指点一下。
  1. foreach($fn in Get-ChildItem -Filter *.txt -Path 'wkPath:'){
  2.     $lines = Get-Content -Encoding UTF8 -Path $fn | Where-Object {($_ -split "\|").Count -lt 5}
  3.     if(@($lines).Count -gt 0){
  4.         Write-Host (($fn.FullName, $lines | Out-String) -join "`n")   #section1


  5.         <#section2
  6.             Write-Host $fn.FullName
  7.             Write-Host ($lines -join "`n")
  8.         #>
  9.     }
  10. }
复制代码

section2 中的 -join 为何不需要 Out-String, 其中有什么讲究吗?


论坛徽章:
0
发表于 2017-07-14 14:24 |显示全部楼层
1 $lines  是一个数组,含有文件的部分行。
2 数组有.count,length属性。顾 if ($lines.count -gt 5)      即可。
3 几乎任何对象,都有.tostirng()方法。
4($lines -join "`n") 后,成了字符串对象。
5两个字符串相加用 $fn.FullName +  ($lines.tostring() -join "`n")

总之,对于对象类型,必须很清晰。perl 不是面像对象的?

另外我觉得你这个代码格式比较乱。我建议你:
1 安装vscode + powershell插件。
2ftp-sync插件。用于在win上写脚本,通过ssh的sftp,同步到linux。
3把我的配置,给你:(文件,首选,项设置)需安装雅黑mono字体
  1. // 将设置放入此文件中以覆盖默认设置
  2. {
  3.         "editor.fontFamily": "Microsoft YaHei Mono",
  4.         "editor.fontWeight": "bold",
  5.         "editor.fontSize": 25,
  6.         "editor.insertSpaces": false,
  7.         "editor.tabSize": 4,
  8.         "editor.emptySelectionClipboard": false,
  9.         "window.title": "${activeEditorLong}",
  10.         "files.encoding": "utf16le",
  11.         "files.eol": "\r\n",
  12.         "files.defaultLanguage": "powershell",
  13.         "window.reopenFolders": "all",
  14.         "editor.formatOnSave": true,
  15.         "editor.formatOnPaste": true,
  16.         "editor.formatOnType": true,
  17.         "editor.wrappingIndent": "indent", //回车后缩进
  18.         "editor.renderIndentGuides": true, //显示缩进竖线
  19.         "files.insertFinalNewline": true,
  20.         "files.trimTrailingWhitespace": true, //保存时去除行尾空格
  21.         //"powershell.codeFormatting.preset": "Allman",
  22.         "powershell.codeFormatting.openBraceOnSameLine": false, //大花括号后换行。
  23.         "powershell.codeFormatting.newLineAfterOpenBrace": true, //大花括号后换行。
  24.         "powershell.codeFormatting.newLineAfterCloseBrace": true, //大花括号后换行。
  25.         "powershell.codeFormatting.whitespaceBeforeOpenBrace": true, //大花括号左面插入空格。
  26.         "powershell.codeFormatting.whitespaceBeforeOpenParen": true, //圆括号左面插入空格。
  27.         "powershell.codeFormatting.whitespaceAroundOperator": true, //运算符之间插入空格。
  28.         "powershell.codeFormatting.whitespaceAfterSeparator": false, //逗号,分毫后插入空格。
  29.         "powershell.codeFormatting.ignoreOneLineBlock": false, //if true,单行中的if else 不会被格式化。
  30.         "powershell.codeFormatting.alignPropertyValuePairs": true, //哈希表中等号对齐
  31.         "workbench.colorTheme": "Monokai",
  32.         "workbench.iconTheme": "vscode-icons",
  33.         "powershell.integratedConsole.showOnStartup": false,
  34.         "terminal.integrated.shell.windows": "C:\\Windows\\Sysnative\\WindowsPowerShell\\v1.0\\powershell.exe",
  35.         "terminal.integrated.fontSize": 22,
  36.         "terminal.integrated.cursorStyle": "line",
  37.         "terminal.integrated.cursorBlinking": true
  38. }
复制代码


4 文件保存成有bom,utf8,utf16均可。即使含中文的uft16文本,vi也能正确编辑,并显示中文。只要有bom。
5 ps是支持中文最好的脚本。linux中,也是完全如此。我全都用中文开发脚本。  
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP