免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › 内核源码 › 10G文件怎么去重复行？
12下一页
最近访问板块 发新帖
查看: 2944 | 回复: 10
打印 上一主题 下一主题

[文件系统] 10G文件怎么去重复行？ [复制链接]

fly3ds

论坛徽章:
1
综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2015-10-03 14:07 |只看该作者 |倒序浏览
面试问题。我的疑问是，什么文件系统能支持这么大文件？ext2-4行吗？
nswcfd

论坛徽章:
20
程序设计版块每日发帖之星 日期:2015-08-17 06:20:00程序设计版块每日发帖之星 日期:2016-07-16 06:20:00程序设计版块每日发帖之星 日期:2016-07-18 06:20:00每日论坛发贴之星 日期:2016-07-18 06:20:00黑曼巴 日期:2016-12-26 16:00:3215-16赛季CBA联赛之江苏 日期:2017-06-26 11:05:5615-16赛季CBA联赛之上海 日期:2017-07-21 18:12:5015-16赛季CBA联赛之青岛 日期:2017-09-04 17:32:0515-16赛季CBA联赛之吉林 日期:2018-03-26 10:02:16程序设计版块每日发帖之星 日期:2016-07-15 06:20:0015-16赛季CBA联赛之江苏 日期:2016-07-07 18:37:512015亚冠之萨济拖拉机 日期:2015-08-17 12:21:08
2楼 [报告]
发表于 2015-10-08 17:09 |只看该作者
只要文件偏移是64位的理论上就可以吧？

当然也许还有其它层面的限制，没仔细研究过，随便说的。

搜了一个，仅供参考。
http://blog.sina.com.cn/s/blog_5ded2e5b0100gxfu.html
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
流氓无产者

论坛徽章:
208
巨蟹座 日期:2013-09-02 09:16:36卯兔 日期:2013-09-02 20:53:59酉鸡 日期:2013-09-05 21:21:45戌狗 日期:2013-10-15 20:51:17寅虎 日期:2013-10-18 21:13:16白羊座 日期:2013-10-23 21:15:19午马 日期:2013-10-25 21:22:48技术图书徽章 日期:2013-11-01 09:11:32双鱼座 日期:2013-11-01 20:29:44丑牛 日期:2013-11-01 20:40:00卯兔 日期:2013-11-11 09:21:32酉鸡 日期:2013-12-04 19:56:39
3楼 [报告]
发表于 2015-10-09 09:36 |只看该作者
10G算大文件？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fly3ds

论坛徽章:
1
综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00
4楼 [报告]
发表于 2015-10-10 07:27 |只看该作者
那怎么去重复行呢？不要转移话题。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yjh777

论坛徽章:
84
每日论坛发贴之星 日期:2015-12-29 06:20:00每日论坛发贴之星 日期:2016-01-16 06:20:00每周论坛发贴之星 日期:2016-01-17 22:22:00程序设计版块每日发帖之星 日期:2016-01-20 06:20:00每日论坛发贴之星 日期:2016-01-20 06:20:00程序设计版块每日发帖之星 日期:2016-01-21 06:20:00每日论坛发贴之星 日期:2016-01-21 06:20:00程序设计版块每日发帖之星 日期:2016-01-23 06:20:00程序设计版块每日发帖之星 日期:2016-01-31 06:20:00数据库技术版块每日发帖之星 日期:2016-01-16 06:20:00程序设计版块每日发帖之星 日期:2016-01-16 06:20:00程序设计版块每日发帖之星 日期:2016-01-14 06:20:00
5楼 [报告]
发表于 2015-10-13 23:41 |只看该作者
5种算法:
  http://web.jobbole.com/83425
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fly3ds

论坛徽章:
1
综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00
6楼 [报告]
发表于 2015-10-15 13:01 |只看该作者
回复 5# yjh777


    你这和10G文件去重复行有关系么。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
polejo

论坛徽章:
2
天蝎座 日期:2014-07-23 21:17:122015年辞旧岁徽章 日期:2015-03-03 16:54:15
7楼 [报告]
发表于 2015-10-15 14:07 |只看该作者
shell可以么？
awk '!line[$0] {line[$0]++; print}' file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yjh777

论坛徽章:
84
每日论坛发贴之星 日期:2015-12-29 06:20:00每日论坛发贴之星 日期:2016-01-16 06:20:00每周论坛发贴之星 日期:2016-01-17 22:22:00程序设计版块每日发帖之星 日期:2016-01-20 06:20:00每日论坛发贴之星 日期:2016-01-20 06:20:00程序设计版块每日发帖之星 日期:2016-01-21 06:20:00每日论坛发贴之星 日期:2016-01-21 06:20:00程序设计版块每日发帖之星 日期:2016-01-23 06:20:00程序设计版块每日发帖之星 日期:2016-01-31 06:20:00数据库技术版块每日发帖之星 日期:2016-01-16 06:20:00程序设计版块每日发帖之星 日期:2016-01-16 06:20:00程序设计版块每日发帖之星 日期:2016-01-14 06:20:00
8楼 [报告]
发表于 2015-10-19 12:35 |只看该作者
回复 6# fly3ds


题目主要考算法的
链接里面是去重复的算法，把整型值比较换成字符串比较，，应该就可以用，还有比较时字符串怎么存储的问题 需要再想想
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
nswcfd

论坛徽章:
20
程序设计版块每日发帖之星 日期:2015-08-17 06:20:00程序设计版块每日发帖之星 日期:2016-07-16 06:20:00程序设计版块每日发帖之星 日期:2016-07-18 06:20:00每日论坛发贴之星 日期:2016-07-18 06:20:00黑曼巴 日期:2016-12-26 16:00:3215-16赛季CBA联赛之江苏 日期:2017-06-26 11:05:5615-16赛季CBA联赛之上海 日期:2017-07-21 18:12:5015-16赛季CBA联赛之青岛 日期:2017-09-04 17:32:0515-16赛季CBA联赛之吉林 日期:2018-03-26 10:02:16程序设计版块每日发帖之星 日期:2016-07-15 06:20:0015-16赛季CBA联赛之江苏 日期:2016-07-07 18:37:512015亚冠之萨济拖拉机 日期:2015-08-17 12:21:08
9楼 [报告]
发表于 2015-10-21 12:53 |只看该作者
出这个题的人主要想考divide-and-conquer吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
bj161109

论坛徽章:
1
2015年亚洲杯之沙特阿拉伯 日期:2015-04-10 13:59:00
10楼 [报告]
发表于 2015-10-22 14:08 |只看该作者
split/uniq/merge
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP