免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3654 | 回复: 9
打印 上一主题 下一主题

mysql 大量数据导入的问题--已解决--附解决方法 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-10-21 16:50 |只看该作者 |倒序浏览
我有一个.sql文件,2.3G,里面是建表然后导入数据 大约4000万的sql语句。
现在的问题是,我执行source x.sql 的时候,执行大约半个小时后,显示
Query OK, 15981 rows affected (0.31 sec)
Records: 15981  Duplicates: 0  Warnings: 0

Query OK, 12979 rows affected (0.24 sec)
Records: 12979  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.30 sec)

然后就钉在这里了,不跑了。
这时我查询数据库对应的表里面的数据,长时间查不出来。
ctr+c 终止掉 source x.sql 后。然后服务器重启,然后查询数据。
得到的结果数表数据损坏!!

连续两次导入都是这样的问题,
表结构不复杂,建了分区。
是纯粹的数据导入。
中间执行的过程没有错误报出来。
请问 兄弟姐妹们,这是什么原因造成的表损坏,我应该用什么方式解决掉这个问题呢??

http://3 Q Q

[ 本帖最后由 cxr1217 于 2008-10-23 09:45 编辑 ]

论坛徽章:
0
2 [报告]
发表于 2008-10-21 17:18 |只看该作者


论坛徽章:
0
3 [报告]
发表于 2008-10-22 07:43 |只看该作者
她在重建索引

论坛徽章:
0
4 [报告]
发表于 2008-10-22 11:33 |只看该作者
原帖由 yueliangdao0608 于 2008-10-22 07:43 发表
她在重建索引

哦?你的意思是说,它还没跑完呢,在重建索引呢,是么

论坛徽章:
0
5 [报告]
发表于 2008-10-22 11:45 |只看该作者
i think so.

论坛徽章:
0
6 [报告]
发表于 2008-10-22 11:54 |只看该作者
导大数据的时候,先把索引去掉,结束后再添加索引

论坛徽章:
0
7 [报告]
发表于 2008-10-22 12:02 |只看该作者
原帖由 sdsuper 于 2008-10-22 11:54 发表
导大数据的时候,先把索引去掉,结束后再添加索引


非常感谢 我试试

[ 本帖最后由 cxr1217 于 2008-10-22 12:03 编辑 ]

论坛徽章:
0
8 [报告]
发表于 2008-10-22 12:59 |只看该作者
repair 一下这个表。

论坛徽章:
0
9 [报告]
发表于 2008-10-22 15:10 |只看该作者
原帖由 112sniper 于 2008-10-22 12:59 发表
repair 一下这个表。



与这个有关系吗??

论坛徽章:
0
10 [报告]
发表于 2008-10-23 09:45 |只看该作者
这个问题解决了。谢谢兄弟姐妹们,是这样解决的:

昨天我source  ×.sql 文件 ,持续了5个多小时。仍然没有把索引建完(当然我并不确定它是不是在建立索引)。
后来想了别的办法,将2.3G的sql文件,split成几个小文件,没100行是一个文件,然后把表建好,一开始执行第一个sql
的时候,是建表,建索引,建分区,导数据。由于文件小,只有几百万。速度很快,而且表没有损坏。查询速度也很快(在直接source大文件的时候查询不出来东西的)。之后的每个小文件source一下就可以了。

当然,这样操作麻烦的就是source好几个文件,挨个source。不像之前的操作source一个大文件。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP