论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-11-05 02:27 |只看该作者 |倒序浏览

有非常大的一批数据，需要从python输出刀一个txt文件，然后用c++运算，结束后输回python，但是输入输出的时间很长，有什么办法把优化以下么？现在用的是readlines，太慢了因为数据非常大

文库|博客

书中蠹鱼

稍有积蓄

论坛徽章:: 0

2楼 [报告]

发表于 2008-11-05 09:27 |只看该作者

弄个管道，流一下？
没试过，瞎说的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

gucuiwen

家境小康

论坛徽章:: 0

3楼 [报告]

发表于 2008-11-05 09:53 |只看该作者

readlines是一下子把文件内容全部读入内存，只适合比较小的文件，如果文件比较大，超过了物理内存的大小，那么就要启用虚拟内存，速度自然会非常慢了。应该用readline一行一行读入，或者用read,制定每次读入的字节数。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xiaoyu9805119

富足长乐

论坛徽章:: 0

4楼 [报告]

发表于 2008-11-05 10:23 |只看该作者

原帖由 gucuiwen 于 2008-11-5 09:53 发表
readlines是一下子把文件内容全部读入内存，只适合比较小的文件，如果文件比较大，超过了物理内存的大小，那么就要启用虚拟内存，速度自然会非常慢了。应该用readline一行一行读入，或者用read,制定每次读入的字 ...

楼上说的好，用while循环按行来读取或者按照字节数。这样会快很多。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

chrisyan

丰衣足食

论坛徽章:: 0

5楼 [报告]

发表于 2008-11-05 10:31 |只看该作者

为啥用c++运算？python不能算？说来听听

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

badboy_x

白手起家

论坛徽章:: 0

6楼 [报告]

发表于 2008-11-05 17:01 |只看该作者

import linecache
   for x in range(s):
      data= linecache.getline('data.txt',x+1)
      print data
这样不知可行否？
s 可自定义，比如先打印前500行for x in range(500):，然后再for x in range(500，1000)？

[ 本帖最后由 badboy_x 于 2008-11-5 17:04 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

pyll 该用户已被删除	7楼 [报告] 发表于 2008-11-06 09:43 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
pyll 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？