从txt文本大量导入mysql问题

tianyige

我的数据库中有一个表（table）结构是这样的
content   conu
内容      计数

txt文本文件中数据只有一列如下
a
b
c
a
.....
现在我要把txt中的内容导入或者说插入数据库的table中，一行一条记录
但有个条件就是重复的数据只要 coun++就行，不要再新增加一条数据。运行后的结果为：
content    conu
a              2
b              1
c              1

如何有效实现
谢谢
注意，我的txt文本中有 几百万条数据.

yejr

写程序实现吧

tianyige

关键是怎么写才能最快实现.
我是这样写的.先搜索,如果能搜到就update这条数据,如果没有就insert
假如文本里有一万条数据就要执行一万乘以3次的数据库访问,太慢了.

chlinux

可先load data到一张临时表tmp_name,只一个字段content，然后
insert into table_name select content  ,count(*) from tmp_table name group by content

table_name就是你自己建的那个表

[ 本帖最后由 chlinux 于 2008-5-25 10:46 编辑 ]

eGenius

干嘛不用awk先分类汇总一下再倒入呢

cat DATAFILE | awk '{a[$1]+=1}END{for(i in a)print i,a}'

yueliangdao0608

原帖由 chlinux 于 2008-5-25 10:44 发表
可先load data到一张临时表tmp_name,只一个字段content，然后
insert into table_name select content  ,count(*) from tmp_table name group by content

table_name就是你自己建的那个表

就这个了。