免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 137G超大txt文件，utf-8格式，共10961771行，请高手们帮 ...
1234
最近访问板块 发新帖
楼主: wenjun3000
打印 上一主题 下一主题

[文本处理] 137G超大txt文件，utf-8格式，共10961771行，请高手们帮忙！ [复制链接]

本友会机友会摄友会

论坛徽章:
0
31楼 [报告]
发表于 2016-08-01 11:56 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
32楼 [报告]
发表于 2016-08-01 12:46 |只看该作者
回复 31# 本友会机友会摄友会


出现以下错误
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
33楼 [报告]
发表于 2016-08-01 13:20 |只看该作者
奇怪，昨天，前天的代码运行正常，我已经看过了，wzsj.txt，wjm.txt，wjj.txt全部为utf-8格式，你的代码我复制下来保存为fg5.py运行后出现上面的错误，在第一行代码前加入 #coding=utf-8后出现以下错误

错误2.jpg (42.09 KB, 下载次数: 70)

错误2.jpg
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
34楼 [报告]
发表于 2016-08-01 14:52 |只看该作者
回复 31# 本友会机友会摄友会

不好意思，搞错了，"本友会机友会摄友会"你帮我写的是powershell
不过运行后出错如下

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
35楼 [报告]
发表于 2016-08-01 15:06 |只看该作者
回复 31# 本友会机友会摄友会


急啊，又睡午觉了吗，"本友会机友会摄友会"，麻烦尽快帮我修改代码，多谢！   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
36楼 [报告]
发表于 2016-08-01 15:07 |只看该作者
其他高手和大神呢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
37楼 [报告]
发表于 2016-08-01 15:15 |只看该作者
我把要求重新完整描述，共有3个txt文件，分别为wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)，能否按wjj.txt里面的顺序生成220个文件夹，然后按wjm.txt里面的文件名顺序生成html文件，还是每个文件夹放50000个文件，每个文件一行代码，少于50000个文件的放在最后一个文件夹里面，测试数据放在百度网盘。放在网盘里面的测试数据，我用中文命名的，实际上三个txt文件名分别为，wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)，三个txt均为utf-8格式，也就是说所有生产的html文件必须为utf-8格式。


所以高手们，希望你们帮我看看，能否用python,vbs等win7（64位）能直接运行的完整代码帮我解答，万分感谢！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
38楼 [报告]
发表于 2016-08-01 17:27 |只看该作者
感谢“本友会机友会摄友会 ”，你写的powershell代码没有问题，是我不小心多加了个单引号，万分感谢！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenjun3000

论坛徽章:
2
程序设计版块每日发帖之星 日期:2016-08-17 06:20:00每日论坛发贴之星 日期:2016-08-17 06:20:00
39楼 [报告]
发表于 2016-08-01 21:41 |只看该作者
新的问题是一百多G数据如何压缩，如何上传到服务器啊？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
本友会机友会摄友会

论坛徽章:
0
40楼 [报告]
发表于 2016-08-01 22:39 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1234
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP