免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › MYSQL写入数据问题
12下一页
最近访问板块 发新帖
查看: 5488 | 回复: 17
打印 上一主题 下一主题

MYSQL写入数据问题 [复制链接]

dancebear

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2006-02-17 20:30 |只看该作者 |倒序浏览
现有一个数据100W条的表！
表有两个字段；id，content。
id被设置为了主键。
表大小约6G！
现在插入一条数据大约需要20多秒！
所以拟采取分表保存！
即将以后要写入的数据放入另外一个同样结构的表中保存。
但是测试发现在新表中写入数据居然和旧表没有什么区别！
新表的id和旧表的id是连续的~~
请问各位大虾这到底是怎么回事！
有什么解决办法没有
likuku

论坛徽章:
0
2楼 [报告]
发表于 2006-02-18 13:46 |只看该作者
id连续，是否是保存的程序使用自动序号功能？
速度慢，主键默认会建立索引，记录多了，每次增删纪录，会更新索引。

有条件，可否把数据目录放到RAID0或者0+1 的阵列上？

实在不行，推荐尝试Postgresql 实验？Mysql 一般情况10万条记录最快，再多，性能下降。Postgresql 在巨量数据时性能下降不明显(我所知，早存在32TB的Postgresql数据库)。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dancebear

论坛徽章:
0
3楼 [报告]
发表于 2006-02-18 16:59 |只看该作者
原帖由 likuku 于 2006-2-18 13:46 发表
id连续，是否是保存的程序使用自动序号功能？
速度慢，主键默认会建立索引，记录多了，每次增删纪录，会更新索引。

有条件，可否把数据目录放到RAID0或者0+1 的阵列上？

实在不行，推荐尝试Postgresql 实验 ...

没有使用自动序号！否则序号也就没办法连续了啊~~现在是分成两个表保存了在新表里写入数据依然很慢！~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
北京野狼

论坛徽章:
62
2016科比退役纪念章 日期:2016-06-28 17:45:06奥兰多魔术 日期:2015-05-04 22:47:40菠菜神灯 日期:2015-05-04 22:35:07菠菜神灯 日期:2015-05-04 22:35:02NBA季后赛大富翁 日期:2015-05-04 22:33:34NBA常规赛纪念章 日期:2015-05-04 22:32:032015年亚洲杯纪念徽章 日期:2015-04-14 16:54:452015年亚洲杯之朝鲜 日期:2015-03-19 23:03:16明尼苏达森林狼 日期:2015-03-16 21:51:152015小元宵徽章 日期:2015-03-06 15:57:202015年迎新春徽章 日期:2015-03-04 09:55:282015年辞旧岁徽章 日期:2015-03-03 16:54:15
4楼 [报告]
发表于 2006-02-18 23:26 |只看该作者
理论上说,无论表多大.不影响插入数据的速度 ,只是影响查询的速度. 我的表400多G,插入也相当快.

100W条的表, 表大小就有6G不太应该,除非 表字段相当大 .

看mysql 的 log有没有报错,表是否坏了, 这点数据量,绝对不会有问题.  最好dump重新导入一次,重新建立索引等
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dancebear

论坛徽章:
0
5楼 [报告]
发表于 2006-02-19 12:30 |只看该作者
表的content字段为text类型！每条数据为约3000-5000个汉字
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
bigmeg

论坛徽章:
0
6楼 [报告]
发表于 2006-02-20 13:40 |只看该作者
这么大啊
晕
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
北京野狼

论坛徽章:
62
2016科比退役纪念章 日期:2016-06-28 17:45:06奥兰多魔术 日期:2015-05-04 22:47:40菠菜神灯 日期:2015-05-04 22:35:07菠菜神灯 日期:2015-05-04 22:35:02NBA季后赛大富翁 日期:2015-05-04 22:33:34NBA常规赛纪念章 日期:2015-05-04 22:32:032015年亚洲杯纪念徽章 日期:2015-04-14 16:54:452015年亚洲杯之朝鲜 日期:2015-03-19 23:03:16明尼苏达森林狼 日期:2015-03-16 21:51:152015小元宵徽章 日期:2015-03-06 15:57:202015年迎新春徽章 日期:2015-03-04 09:55:282015年辞旧岁徽章 日期:2015-03-03 16:54:15
7楼 [报告]
发表于 2006-02-20 13:45 |只看该作者
原帖由 dancebear 于 2006-2-19 12:30 发表
表的content字段为text类型！每条数据为约3000-5000个汉字



这也不会导致写入慢。

直接在命令行里面试试insert时间，看log
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
likuku

论坛徽章:
0
8楼 [报告]
发表于 2006-02-20 15:55 |只看该作者
磁盘繁忙？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chuchadf

论坛徽章:
0
9楼 [报告]
发表于 2006-02-20 17:09 |只看该作者
使用什么类型engine？试试增加内存调整缓冲池大小_buffer_pool_size
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dancebear

论坛徽章:
0
10楼 [报告]
发表于 2006-02-20 20:27 |只看该作者
MyISAM类型的表~~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP