多线程中用write对u盘写数据速率极低，如何解决？

jianghong_023

开发环境：  ubuntu 12.04
开发目的：  通过usb提供的接口函数，对u盘进行实时写入数据；
u盘：        usb2.0
操作顺序： 先挂载，而后对挂载点进行数据的写入
usb驱动： 支持三种速率，而我用的是高速模式
目前问题： 通过write函数对u盘写数据，并实时写入数据到设备，发现其速率非常底，每秒只有6.5M左右，请问各位大侠有什么方法让写入速度大大提高呢？

MMMIX

回复 1# jianghong_023


    你用多大的块写数据的?

jianghong_023

回复 2# MMMIX
谢谢……
为了减少u盘的读写次数， 每次写20M

   

MMMIX

回复 3# jianghong_023


    每次写完都要把数据 flush 到 U 盘么?

如果写个小例子单纯测试写入呢, 速度如何?

jianghong_023

回复 4# MMMIX


是的，每次都会flush 到 U盘，写小程序测试过，写20m的时间在2.654583秒~3.783128秒之间，这个时间仅仅只是计算write写入20M到u盘的时间

MMMIX

回复 5# jianghong_023


    去掉 flush 呢? 例如写个 2G 的文件, 只在最后 flush 一次. 如果没有大变化, 那估计就是硬件本身的原因了.

jianghong_023

回复 6# MMMIX

刚才做了一下实验，在写完后才fsync,用两个usb做测试，发现连续写入时，随写入的次数不断增加，写入设备时间就越长
最长可达7.200431秒
   

jianghong_023

回复 6# MMMIX

实例：
// write into usb device
void *writre_devU(void *arg){
        int cntw,cpsize;
        cpsize = BUFFER_CACHE_20M;
        float timeuse;
       
        struct timeval tpstart,tpend;
        // from cache_buff write into usb device ...
        pthread_setcancelstate( PTHREAD_CANCEL_ENABLE, NULL);
        pthread_setcanceltype(PTHREAD_CANCEL_ASYNCHRONOUS, NULL);
       
        while(1){
                       
                        printf("first  cuont %d \n",tmp_size_cuont);
                        pthread_mutex_lock(&shareMem_lock);
                        pthread_cond_wait(&cache_cond,&shareMem_lock);
                       
                        if(integer_val == tmp_size_cuont)
                        {
                                cpsize = modulo_val*BUFFER_SIZE_1M;
                                pthread_cancel(threadWriteUdev_2cpy);
                                printf("finish 1\n");
                                initial_bus_map->map_base[(bus_intf_BASE + 6)/sizeof(unsigned char)] = initial_bus_map->bus_inttt.usb_dir; // 停止操作
                                pthread_cancel(thread_cache_Copy);
                                write(fdw, cache_buff, cpsize);
                                fsync(fdw);
                                pthread_mutex_unlock(&shareMem_lock);
                                break;
                               
                        }else{
                       
                        gettimeofday(&tpstart,NULL); // 开始计算程序运行时间

#if 1
                                while((cntw = write(fdw, cache_buff, cpsize)) != 0){
                                        if(cntw < 0)
                                        {
                                                 perror("write error");
                                                 pthread_mutex_unlock(&shareMem_lock);
                                                 break;
                                        }
                                        else if(cpsize == cntw)  
                                                break;
                                        else if(cntw > 0)        
                                        {
                                                cache_buff += cntw;        
                                                cpsize -= cntw;
                                                                                       
                                        }
                                }
#endif
                }
                pthread_mutex_unlock(&shareMem_lock);
                        gettimeofday(&tpend,NULL);  
                        timeuse=1000000*(tpend.tv_sec-tpstart.tv_sec)+ (tpend.tv_usec-tpstart.tv_usec);
                        timeuse/=1000000;
                        printf("\t Time : %f   \n",timeuse);
                //fsync(fdw);
                tmp_size_cuont++;
                printf("end frist \n");       
        }// end while
        fsync(fdw);
        tmp_size_cuont = 0;
        resultKey = 1;
        pthread_exit(NULL);
}// end void *writre_devU(void *arg)


   

MMMIX

回复 8# jianghong_023


    建议你还是弄个单纯点的测试用例, 把多线程, 锁之类的因素排除掉, 单纯的测试一下你的 USB 设备的写入速度.

jianghong_023

回复 9# MMMIX
谢谢，我直接用 time if=/dev/zero of=/dev/sda1 bs=1M count=20 重复写数据1000次，时间在2.5700~5.7340秒之间，这个设备确实速度很慢慢