免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › 请教mysql处理大数据量，需要改配置文件的哪些参数？
12下一页
最近访问板块 发新帖
查看: 3748 | 回复: 10
打印 上一主题 下一主题

请教mysql处理大数据量，需要改配置文件的哪些参数？ [复制链接]

zoegl

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2006-03-14 11:33 |只看该作者 |倒序浏览
在linux操作系统下，用c开发的程序需要处理mysql的数据，有两百万，处理到一百二十七万的时候报Out of memory (Needed 8164 bytes)，请问mysql的数据库配置文件里啊有什么参数限制的？
macrodba

论坛徽章:
0
2楼 [报告]
发表于 2006-03-14 11:37 |只看该作者
内存益处了。可以加大内存参数和sort排序参数
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zoegl

论坛徽章:
0
3楼 [报告]
发表于 2006-03-14 12:26 |只看该作者
可以再具体说下内存参数和sort参数具体怎么加吗？在哪个文件里加的？谢谢！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yejr

论坛徽章:
0
4楼 [报告]
发表于 2006-03-14 13:11 |只看该作者
先说说你都需要怎么处理，平均一条记录大概多大？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zoegl

论坛徽章:
0
5楼 [报告]
发表于 2006-03-14 13:58 |只看该作者
一条记录不超过200个字节，有两个表，表A有96万条记录，表B有2百多万条记录，所有记录格式都是一样的。现在就是要把表A里有而表B里没有的记录插到表B里，现在就是每次表B里插到有127万条数据的时候就死了，报上面那个错。我用的机器是HP的服务器，装的是DEBIAN LINUX 3。1，mysql 4.0.24
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
北京野狼

论坛徽章:
62
2016科比退役纪念章 日期:2016-06-28 17:45:06奥兰多魔术 日期:2015-05-04 22:47:40菠菜神灯 日期:2015-05-04 22:35:07菠菜神灯 日期:2015-05-04 22:35:02NBA季后赛大富翁 日期:2015-05-04 22:33:34NBA常规赛纪念章 日期:2015-05-04 22:32:032015年亚洲杯纪念徽章 日期:2015-04-14 16:54:452015年亚洲杯之朝鲜 日期:2015-03-19 23:03:16明尼苏达森林狼 日期:2015-03-16 21:51:152015小元宵徽章 日期:2015-03-06 15:57:202015年迎新春徽章 日期:2015-03-04 09:55:282015年辞旧岁徽章 日期:2015-03-03 16:54:15
6楼 [报告]
发表于 2006-03-14 14:14 |只看该作者
和mysql没关系， 自己的应用程序的问题
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zoegl

论坛徽章:
0
7楼 [报告]
发表于 2006-03-14 14:21 |只看该作者
我也怀疑过，但检查了一下该释放的都释放掉了，所以怀疑啊是有什么地方的配置限制了，制造了瓶颈
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
北京野狼

论坛徽章:
62
2016科比退役纪念章 日期:2016-06-28 17:45:06奥兰多魔术 日期:2015-05-04 22:47:40菠菜神灯 日期:2015-05-04 22:35:07菠菜神灯 日期:2015-05-04 22:35:02NBA季后赛大富翁 日期:2015-05-04 22:33:34NBA常规赛纪念章 日期:2015-05-04 22:32:032015年亚洲杯纪念徽章 日期:2015-04-14 16:54:452015年亚洲杯之朝鲜 日期:2015-03-19 23:03:16明尼苏达森林狼 日期:2015-03-16 21:51:152015小元宵徽章 日期:2015-03-06 15:57:202015年迎新春徽章 日期:2015-03-04 09:55:282015年辞旧岁徽章 日期:2015-03-03 16:54:15
8楼 [报告]
发表于 2006-03-14 14:26 |只看该作者
原帖由 zoegl 于 2006-3-14 14:21 发表
我也怀疑过，但检查了一下该释放的都释放掉了，所以怀疑啊是有什么地方的配置限制了，制造了瓶颈


即便有瓶颈也是，速度和效率的问题，不会coredown.

可以采用写日志, gdb跟踪等方式。 明确Out of memory 到底是mysql的api抱的错误，还是gcc抱的错误
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
北京野狼

论坛徽章:
62
2016科比退役纪念章 日期:2016-06-28 17:45:06奥兰多魔术 日期:2015-05-04 22:47:40菠菜神灯 日期:2015-05-04 22:35:07菠菜神灯 日期:2015-05-04 22:35:02NBA季后赛大富翁 日期:2015-05-04 22:33:34NBA常规赛纪念章 日期:2015-05-04 22:32:032015年亚洲杯纪念徽章 日期:2015-04-14 16:54:452015年亚洲杯之朝鲜 日期:2015-03-19 23:03:16明尼苏达森林狼 日期:2015-03-16 21:51:152015小元宵徽章 日期:2015-03-06 15:57:202015年迎新春徽章 日期:2015-03-04 09:55:282015年辞旧岁徽章 日期:2015-03-03 16:54:15
9楼 [报告]
发表于 2006-03-14 14:38 |只看该作者
你的程序逻辑简单，应该不是没有释放数据库句柄或者内存的问题，否则不可能127万次才死。也许是字符或数字越界。

想区分是不是mysql问题，可以简单的dump出数据，再把200万条灌回去。如果没问题，那就是你程序问题
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
sickcat2004

论坛徽章:
0
10楼 [报告]
发表于 2006-03-14 14:42 |只看该作者
原帖由 北京野狼 于 2006-3-14 14:38 发表
你的程序逻辑简单，应该不是没有释放数据库句柄或者内存的问题，否则不可能127万次才死。也许是字符或数字越界。

想区分是不是mysql问题，可以简单的dump出数据，再把200万条灌回去。如果没问题，那就是你程序 ...

赞一个,有经验就是爽啊
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP