shell一行一行的导入数据文件的数据，每次insert都要建立一次mysql连接，有没有可以提

holetohole

又来提问了。shell中通过mysql 的load命令或者mysqlimport都没有精确的对每行数据进行格式类型的检查（有set 命令，但是没办法返回错误的信息，包括返回错误的行，错误的字段）。
现在通过shell循环读取数据文件，之后按照分隔符，读取变量一行一行的检查，之后insert进入数据库，根据数据库的sql_mode决定这一行的处理结果。这样每次建立mysql连接，很浪费···

伪代码如下,文件名字filename
while read row
do
  /**检测列数目***/
  column=echo $row|awk -F '|' '{print NF}'
  if [ column == 20 ];then
     a1=echo $row|awk -F '|' '{print $1}'
     a2=echo $row|awk -F '|' '{print $2}'
     ···
     a20=echo $row|awk -F '|' '{print $20}'

     /**格式check**/
    ..............................
    /**格式check**/

    /**插入数据**/
    mysql -uroot -proot -e "insert into test values($a1,$a2,...,$a20)"
   
end if

done < filename

这里面每一行数据都要 mysql -u一下。这样肯定浪费资源。
有没有好的方法，先建立mysql连接，之后在这个连接里面进行文件的读取操作？

求各位指点！

waker

1. 
   
2. awk -vFS=\| -vOFS=, 'NF==20{$1=$1;print "insert into test values("$0")"}' filename|mysql -uroot -proot
   

复制代码

holetohole

回复 2# waker


    貌似有点理解你的思想了。就是将文件生成一个可执行的sql,之后通过管道连接数据库，谢谢大神了

holetohole

回复 2# waker


    但是如果这样做的话，是不是就丧失了知道那一行报错的具体信息？以前的思路本质上是要统计那一行没有成功导入，做一个统计用的。。。。