免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › C/C++ › 读mysql和读文本文件的性能问题
12下一页
最近访问板块 发新帖
查看: 2952 | 回复: 11
打印 上一主题 下一主题

[算法] 读mysql和读文本文件的性能问题 [复制链接]

kaede_1

论坛徽章:
5
戌狗 日期:2014-06-09 10:29:10酉鸡 日期:2014-12-01 16:05:27处女座 日期:2015-01-07 18:35:262015亚冠之水原三星 日期:2015-06-03 09:26:222015亚冠之布里斯班狮吼 日期:2015-06-15 10:53:54
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2015-06-15 10:52 |只看该作者 |倒序浏览
有两个关于mysql和读文本文件的性能问题，哪位仁兄解答一下，多谢
1.将数据从文件读入内存和从数据库读入内存性能上差多少？（假如数据量是百万级的记录，读字段为两个整形）
2.获取字符串的性能对比：
   a）根据两个整形字段从数据库中select获取一个字符串
   b）现有文件句柄以及字符串所在文件的偏移量，读出这个字符串
这两个性能能查多少？

假如数据库的性能好一些，那么一张表100W条记录和三张表各30W+条记录这两种存储数据方式，是不是三张表的要好一些？

提前谢过！
文本文件, mysql
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
2楼 [报告]
发表于 2015-06-15 11:04 |只看该作者
正常情况下，肯定是自己读文件性能好。
相差多少不好说，可变因素太多
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kaede_1

论坛徽章:
5
戌狗 日期:2014-06-09 10:29:10酉鸡 日期:2014-12-01 16:05:27处女座 日期:2015-01-07 18:35:262015亚冠之水原三星 日期:2015-06-03 09:26:222015亚冠之布里斯班狮吼 日期:2015-06-15 10:53:54
3楼 [报告]
发表于 2015-06-15 11:20 |只看该作者
回复 2# hellioncu


    读记录、查询记录、添加记录都是  文件方式   好？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
4楼 [报告]
发表于 2015-06-15 11:23 |只看该作者
kaede_1 发表于 2015-06-15 11:20
回复 2# hellioncu


一般来说，专用的肯定比通用的性能好，写的人水平太差另说。
当然，自己写费时，用mysql简单。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yulihua49

论坛徽章:
15
射手座 日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛 日期:2017-11-17 13:20:09黑曼巴 日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川 日期:2017-02-07 21:08:572015年亚冠纪念徽章 日期:2015-11-06 12:31:58每日论坛发贴之星 日期:2015-08-04 06:20:00程序设计版块每日发帖之星 日期:2015-08-04 06:20:00程序设计版块每日发帖之星 日期:2015-07-12 22:20:002015亚冠之浦和红钻 日期:2015-07-08 10:10:132015亚冠之大阪钢巴 日期:2015-06-29 11:21:122015亚冠之广州恒大 日期:2015-05-22 21:55:412015年亚洲杯之伊朗 日期:2015-04-10 16:28:25
5楼 [报告]
发表于 2015-06-15 11:23 |只看该作者
kaede_1 发表于 2015-06-15 11:20
回复 2# hellioncu

不一定。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fender0107401

论坛徽章:
89
水瓶座 日期:2014-04-01 08:53:31天蝎座 日期:2014-04-01 08:53:53天秤座 日期:2014-04-01 08:54:02射手座 日期:2014-04-01 08:54:15子鼠 日期:2014-04-01 08:55:35辰龙 日期:2014-04-01 08:56:36未羊 日期:2014-04-01 08:56:27戌狗 日期:2014-04-01 08:56:13亥猪 日期:2014-04-01 08:56:02亥猪 日期:2014-04-08 08:38:58程序设计版块每日发帖之星 日期:2016-01-05 06:20:00程序设计版块每日发帖之星 日期:2016-01-07 06:20:00
6楼 [报告]
发表于 2015-06-15 11:32 |只看该作者
自己弄的话，要想快速查询，不得也放在某个数据结构里面吗，还不如直接用数据库的，方便，而且可靠。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
linux_c_py_php

论坛徽章:
4
水瓶座 日期:2013-09-06 12:27:30摩羯座 日期:2013-09-28 14:07:46处女座 日期:2013-10-24 14:25:01酉鸡 日期:2014-04-07 11:54:15
7楼 [报告]
发表于 2015-06-15 15:27 |只看该作者
夸网络读一个文件和本地读一个文件，在速度上没有什么差异，只是延迟高一点罢了。

楼主应该从将来的扩展性方面（存储量，性能）考虑这个事情。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kaede_1

论坛徽章:
5
戌狗 日期:2014-06-09 10:29:10酉鸡 日期:2014-12-01 16:05:27处女座 日期:2015-01-07 18:35:262015亚冠之水原三星 日期:2015-06-03 09:26:222015亚冠之布里斯班狮吼 日期:2015-06-15 10:53:54
8楼 [报告]
发表于 2015-06-15 19:22 |只看该作者
回复 7# linux_c_py_php


    能简单说一下扩展性方面吗？多谢！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
linux_c_py_php

论坛徽章:
4
水瓶座 日期:2013-09-06 12:27:30摩羯座 日期:2013-09-28 14:07:46处女座 日期:2013-10-24 14:25:01酉鸡 日期:2014-04-07 11:54:15
9楼 [报告]
发表于 2015-06-15 19:26 |只看该作者
kaede_1 发表于 2015-06-15 19:22
回复 7# linux_c_py_php


把数据摘出来放到存储服务里，对将来的架构调整肯定是更有利的，例如你说的拆分成3个表，将3个表部署到3台服务器上来扩展性能，都很方便。


更何况你的数据量是百万条，还有索引的需求，单单使用文件肯定不能满足，至少是在文件上做一个小存储系统，那还不如有点先见之明，选择一个适合你的存储，当然不一定是mysql了，可以考虑文档型数据库例如mongodb。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kaede_1

论坛徽章:
5
戌狗 日期:2014-06-09 10:29:10酉鸡 日期:2014-12-01 16:05:27处女座 日期:2015-01-07 18:35:262015亚冠之水原三星 日期:2015-06-03 09:26:222015亚冠之布里斯班狮吼 日期:2015-06-15 10:53:54
10楼 [报告]
发表于 2015-06-16 11:38 |只看该作者
回复 9# linux_c_py_php


    好的，多谢指点
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP