忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 2644 | 回复: 4

第一列相同,计算第二节列不同个数 [复制链接]

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:58:11
发表于 2018-01-27 11:12 |显示全部楼层
20可用积分
本帖最后由 centrify 于 2018-01-28 12:55 编辑

目前有上亿条如下数据,
1517021612555,777
1517021612555,778
1517021612553,777
1517021612555,779
1517021612556,779
....
1517021612557,7778
1517021612558,7790
1517021612558,7790

用什么方法可以可以进行如下计算,速度要快,要用python
1517021612555,3
1517021612553,1
1517021612556,3
1517021612557,1
1517021612558,2

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:58:11
发表于 2018-01-27 11:17 |显示全部楼层
有很多方法都可以实现,目前的问题就是用时间太长

论坛徽章:
130
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2018-01-27 12:17 |显示全部楼层

论坛徽章:
8
戌狗
日期:2013-10-12 11:37:19双子座
日期:2014-05-06 14:40:39巨蟹座
日期:2014-06-14 09:22:18戌狗
日期:2014-09-18 16:05:44巨蟹座
日期:2014-12-27 16:37:26酉鸡
日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯
日期:2015-04-20 22:38:242015亚冠之萨济拖拉机
日期:2015-06-19 16:01:03
发表于 2018-01-27 17:40 |显示全部楼层
楼主找到了效率满意的方法了吗? 测试运行结果如何?

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:58:11
发表于 2018-01-28 12:54 |显示全部楼层
回复 3# jason680 ,那个方法是awk,不是用python


您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP