向数据库内导入数据问题

angeler

我有大概200w的数据需要导入到pg内，如何实现在导入数据时，忽略那些错误行，将所有有效行导入。我查了一下copy，发现它没有忽略错误行的选项，求大家帮忙解决一下

yueliangdao0608

原帖由 angeler 于 2008-3-20 18:50 发表
我有大概200w的数据需要导入到pg内，如何实现在导入数据时，忽略那些错误行，将所有有效行导入。我查了一下copy，发现它没有忽略错误行的选项，求大家帮忙解决一下

你要确保你的没有问题再导吧

angeler

原帖由 yueliangdao0608 于 2008-3-21 08:54 发表


你要确保你的没有问题再导吧

这个应该很难保证吧，因为涉及到的数据量比较大，很有可能出现几条有问题的数据。我就是想了解一下pg有没有类似于oracle的sqlldr可以设置允许错误行上限这样的功能

yueliangdao0608

原帖由 angeler 于 2008-3-21 09:46 发表


这个应该很难保证吧，因为涉及到的数据量比较大，很有可能出现几条有问题的数据。我就是想了解一下pg有没有类似于oracle的sqlldr可以设置允许错误行上限这样的功能

那你可以导到测试库或者表里，然后把正确的导出再导入。

angeler

原帖由 yueliangdao0608 于 2008-3-21 12:52 发表



那你可以导到测试库或者表里，然后把正确的导出再导入。

谢谢你的回复，你的意思是先导入到测试库中，那测试库是pg还是oracle，如果是oracle可以直接sqlldr，可是如果是pg的话又会涉及到如何忽略错误行的问题

yueliangdao0608

原帖由 angeler 于 2008-3-21 13:53 发表


谢谢你的回复，你的意思是先导入到测试库中，那测试库是pg还是oracle，如果是oracle可以直接sqlldr，可是如果是pg的话又会涉及到如何忽略错误行的问题

你导入到PG。不要忽略错误行。这个要用SHELL来做一下相关处理才行！

cxczqfrx

还有个替换的办法，就是自己写个东东，从源读取，再写入postgresql