12 / 2 页下一页

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-12-05 15:56 |只看该作者 |倒序浏览

请问有没有办法用perl将大量数据直接复制到数据库而不是一条一条的插入?
类似bulkcopy的功能

文库|博客

longbow0

家境小康

论坛徽章:: 0

2楼 [报告]

发表于 2012-12-05 16:21 |只看该作者

应该是数据库系统提供的功能

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sjdy521

富足长乐

论坛徽章:: 0

3楼 [报告]

发表于 2012-12-05 16:23 |只看该作者

同意楼上，这个要问数据库，不能问perl吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xi0ws

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2012-12-05 16:45 |只看该作者

我用c#可以实现，只是现在在我的perl程序中也需要，但不知怎么用

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sjdy521

富足长乐

论坛徽章:: 0

5楼 [报告]

发表于 2012-12-05 17:19 |只看该作者

回复 4# xi0ws

这个意思是不知道perl怎么和数据库交互？模块 DBI

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

kejiake

白手起家

论坛徽章:: 0

6楼 [报告]

发表于 2012-12-05 17:25 |只看该作者

bind_param_array

可以用这个。。。不过要注意，如果数据量太大的话，可能导致内存不足的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xi0ws

白手起家

论坛徽章:: 0

7楼 [报告]

发表于 2012-12-05 19:11 |只看该作者

本帖最后由 xi0ws 于 2012-12-05 19:12 编辑

用bind_param_array貌似性能提升不明显，插入100,000条数据用时157.624秒
直接用$sth->execute(), 自己控制commit用时156.930秒

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

laputa73

巨富豪门

论坛徽章:: 42

8楼 [报告]

发表于 2012-12-06 08:46 |只看该作者

仅对oracle而言，perl的数组批量插入比proc的慢很多，还不如单条，批量提交的
这个应该是DBD实现的问题
追求性能，还是考虑其他方法吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zuerrong

版主

论坛徽章:: 0

9楼 [报告]

发表于 2012-12-08 12:51 |只看该作者

回复 1# xi0ws

maatkit是perl写的，里面有个db sync的工具。
perl用来写了大量的mysql DBA工具，maatkit, MHA, mysqlreport, ZRM, mycheckpoint, MySQLTuner等。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

芙蓉女侠芙蓉女侠当前离线禁止发言好友博客消息论坛徽章: 0	10楼 [报告] 发表于 2012-12-10 11:35 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
芙蓉女侠芙蓉女侠当前离线禁止发言好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Perl › perl将大量数据复制到数据库

芙蓉女侠芙蓉女侠当前离线禁止发言好友博客消息论坛徽章: 0	10楼 [报告] 发表于 2012-12-10 11:35 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
芙蓉女侠芙蓉女侠当前离线禁止发言好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

perl将大量数据复制到数据库 [复制链接]