1000w数据量表做接口问题

yanjin0304

需求：1000w数据量表做接口问题，字段数量在20左右，没有text（不仅仅一张表，还有其他表只不过数据量相对小一些）
可能要和其他表做一定关联操作。要做一组接口，最强的用户几乎需要全部数据，
目前想法是把数据先计算出保存到单独新建库中的一张表中，建立索引什么的。
问题：在做数据插入时log太大，而这张表是做配置的表也没有主键。
有没有牛人给个好的建议----
现在有点蒙-----老大也给不出什么好的办法
注：目前 log空间为400M左右（能容忍的范围为小于1G）,不想在括log上做文章

1017of

没说明白，是要复制数据吗？select into行吗？

tyrone.dev

1、可以用bcp out 然后 bcp in
2、分段select into , 表中肯定有数据可以将1000万分成几份的，比如时间，比如机构代码,或者交易号。

yanjin0304

“分段select into , 表中肯定有数据可以将1000万分成几份的，比如时间，比如机构代码,或者交易号。”这中方法也想过这个表主要是是做 资源关联的 都没有什么 区分度太好的字段，
“可以用bcp out 然后 bcp in”的话可能不错，我试试先

yanjin0304

是要把数据 倒换到一个新建的库中做基础表，然后
做一些权限控制，然后将这些数据以建不同逻辑的view的形式给各个用户访问，
用户会定时取相应权限的view中的数据，不具有修改删除权限，只是做接口。不同用户取不同类型的数据。
我们是买数据的

1017of

400M的log空间是在原始库还是在新建库中？把新建库的log放大不行吗？

camham

快速bcp做