免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: narcissusLin

[数值计算] 大数据排序提取指定字段对应的指定函数的值 [复制链接]

论坛徽章:
0
发表于 2018-11-04 08:47 |显示全部楼层
本帖最后由 csccyab 于 2018-11-04 08:51 编辑

你看看行不行

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-11-05 10:17 |显示全部楼层
回复 8# narcissusLin


不过请教一下a[$1]=--i是什么意思

代码中所有数组的排序规则都是“值按数字倒序排列”,所以定义a数组的目的是为了在输出中保持源文件第1列的顺序
另外如果想一次性输出第300个值和第400个2个值到一份文件怎么办?


最终结果格式是:名称,第300个最大值,第400个值。
  1. awk -F"|" '{a[$1]=--i;b[$1][$4]=$4}END{PROCINFO["sorted_in"]="@val_num_desc";for(i in a){for(j in b[i]){++k;if(k==300){c=j}else if(k==400){print i,c,j}};k=0}}' 1
复制代码

论坛徽章:
0
发表于 2018-11-05 10:28 |显示全部楼层
回复 10# csccyab

谢谢,谢谢,不过我现在还在初学python,暂时还不会应用,平常工作主要还是靠shell脚本搞

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-11-05 10:28 |显示全部楼层
回复 9# narcissusLin


刚刚复制了代码是了下,发现提示错误这样是表示我的shell没有办法用awk 4.0嘛?

查看awk版本,如果版本过低可以升级到4.0+
  1. awk --version
复制代码

论坛徽章:
0
发表于 2018-11-05 12:26 |显示全部楼层
使用了最新的awk版本 执行也是报错。 感觉是二维数组的问题

  1. /usr/local/Cellar/awk/20180827/bin/awk -F"|" '{a[$1]=--i;b[$1][$4]=$4}END{PROCINFO["sorted_in"]="@val_num_desc";for(i in a){for(j in b[i]){++k;if(k==300){print i,j}};k=0}}' 1
  2. /usr/local/Cellar/awk/20180827/bin/awk: syntax error at source line 1
  3. context is
  4.          >>> {a[$1]=--i;b[$1][ <<<
  5. /usr/local/Cellar/awk/20180827/bin/awk: illegal statement at source line 1
  6. /usr/local/Cellar/awk/20180827/bin/awk: illegal statement at source line 1
复制代码

论坛徽章:
0
发表于 2018-11-05 12:30 |显示全部楼层
本帖最后由 本友会机友会摄友会 于 2018-11-06 14:17 编辑

第300个值,第400个值--------据我所知,sql,nosql数据库,是没有这种的。
假如总数据少于100万。我觉得用win + powershell + excel最合适。因为 excel是天生!就有
第m行,第n列的。第n个格子的。

超过100万也可以通过,PowerPivot,链接数据库。不过这我不熟,不知道是否对数据库有要求。

PowerPivot 是一种前表,后库的技术。特别适合于展示数据,画图表。
在office2013中是外部插件。office2016,2019内置此功能。

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-11-05 16:41 |显示全部楼层
回复 15# dong120d

什么操作系统?如果是linux的话建议用gawk4.0+

论坛徽章:
0
发表于 2018-11-05 17:13 |显示全部楼层
不用非要一行流。
1  awk 统计所有人的总量
awk '{a[$1]+=$4}END{for (i in a){print i":"a[i]}}' file  >sumfile
2  shell 的sort 来排序就好了
sort -k 2 sumfile  > sorted_sum
3将来你自己也随意打印修改
sed -n -'300{p;q}' sorted_sum

4.你的数据到底有多大 。。。不过一次处理不行就多次被  用merge sort 分批整合





论坛徽章:
0
发表于 2018-11-05 17:34 |显示全部楼层
PROCINFO["sorted_in"] = "@val_num_asc"
这个确实方便啊 。

论坛徽章:
0
发表于 2018-11-20 14:19 |显示全部楼层
回复 14# wh7211

我输入awk --vision后 shell页面提示这样

另外:我用window,转了个shell,在上面写的脚本,不过我也是刚入门shell,感觉大神的这个对我来说还有点吃力,求大神指导
-----------------------------------------------------------------------------------
GNU Awk 3.1.5
Copyright (C) 1989, 1991-2005 Free Software Foundation.

This program is free software; you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation; either version 2 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program; if not, write to the Free Software
Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

【CUer福利】柯尼卡美能达2018数字化整合解决方案巡展
智领共创链动价值-2018数字化整合解决方案巡展

2018年11月,柯尼卡美能达携手主流IT网络媒体IT168及旗下ITPUB、ChinaUnix等论坛,特此邀请企业IT管理、运维人员/办公设备采购负责人员共同参与,分享柯尼卡美能达“智领共创链动价值”-2018数字化整合解决方案巡展!现场体验MOBOTIX智能视频监控解决方案!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP