免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: huang6894

【问题】对N个相似文本进行计算分析?5000积分求解决~ [复制链接]

论坛徽章:
8
技术图书徽章
日期:2013-08-22 11:21:28未羊
日期:2015-01-19 22:22:25巳蛇
日期:2014-08-11 16:53:08子鼠
日期:2014-05-29 09:04:44摩羯座
日期:2014-04-11 14:15:07丑牛
日期:2014-01-24 12:41:28金牛座
日期:2013-11-21 17:38:28射手座
日期:2015-01-21 08:50:32
发表于 2014-08-11 16:52 |显示全部楼层
回复 2# q1208c


    0是有可能的,就上面举的例子是很特殊的,一般的例子可能是:

同样四个文本:
chr1 1-11
对比条件后是:
1.txt:

flag2 flag1 flag2 flag2 flag2  flag1  flag3  flag3  flag3   flag3  flag3  


2.txt:

flag3 flag3 flag3 flag2 flag2  flag2  flag2  flag3  flag3   flag3  flag3  #1-5:flag3===6-11:flag3(4-8:flag2 ?)===>优先判断为flag1,然后是flag2,最后才是flag3,也就是说我们需要首先认同4-8是flag2,然后再认为1-3是flag3,9-11是flag3

3.txt:

flag3 flag1 flag3 flag1 flag1  flag3  flag1  flag1  flag1   flag1  flag1  

4.txt:

flag3 flag3 flag3 flag3 flag3  flag3  flag3  flag3  flag3   flag3  flag3  
-------------------------------------
于是我们得到结果是:
1.txt    chr1  1-5  flag2
1.txt    chr1  6-11  flag3
2.txt    chr1  1-3  flag3
2.txt    chr1  4-8  flag2
2.txt    chr1  9-11  flag3
3.txt    chr1  1-11  flag1
3.txt    chr1  1-11  flag3
---------------------------------------------------
说实话,我一个人研究,估计一年也搞不出来。。。。只能跪求各位大神了。。。。。

论坛徽章:
8
技术图书徽章
日期:2013-08-22 11:21:28未羊
日期:2015-01-19 22:22:25巳蛇
日期:2014-08-11 16:53:08子鼠
日期:2014-05-29 09:04:44摩羯座
日期:2014-04-11 14:15:07丑牛
日期:2014-01-24 12:41:28金牛座
日期:2013-11-21 17:38:28射手座
日期:2015-01-21 08:50:32
发表于 2014-08-11 16:54 |显示全部楼层
回复 9# xiumu2280


    谢谢xiumu大哥~哈希切片还是第一次听说,我也去补充一下这方面的知识,谢谢你谢谢~

论坛徽章:
5
丑牛
日期:2014-01-21 08:26:26卯兔
日期:2014-03-11 06:37:43天秤座
日期:2014-03-25 08:52:52寅虎
日期:2014-04-19 11:39:48午马
日期:2014-08-06 03:56:58
发表于 2014-08-11 17:15 |显示全部楼层
谢谢 $师傅解释一下 ~{:2_172:}

回复 5# xiumu2280


   

论坛徽章:
5
丑牛
日期:2014-01-21 08:26:26卯兔
日期:2014-03-11 06:37:43天秤座
日期:2014-03-25 08:52:52寅虎
日期:2014-04-19 11:39:48午马
日期:2014-08-06 03:56:58
发表于 2014-08-11 19:40 |显示全部楼层
说实话,我估计看一年也看不懂问题 ~ {:2_176:}

3.txt:
flag3 flag1 flag3 flag1 flag1  flag3  flag1  flag1  flag1   flag1  flag1  

得到结果是:{:2_170:}
3.txt    chr1  1-11  flag1
3.txt    chr1  1-11  flag3


LZ 帮解释一下 what + why ?

A:
f1 f2 f1 f2 f1 f2 f1 f2 f3 f2 f3 f3 f1
B:
f1 f1 f2 f1 f1 f1 f2 f2 f1

得到结果是? and how ?

论坛徽章:
8
技术图书徽章
日期:2013-09-30 08:51:28技术图书徽章
日期:2013-12-11 09:26:39白羊座
日期:2013-12-27 15:27:13金牛座
日期:2014-01-06 09:13:05天蝎座
日期:2014-01-21 14:23:28酉鸡
日期:2014-05-09 16:51:12卯兔
日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一
日期:2017-08-14 23:24:57
发表于 2014-08-11 20:42 |显示全部楼层
不是5个一组嘛  
3.txt    chr1  1-11  flag1
3.txt    chr1  1-11  flag3
又是什么意思

论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-10-07 06:20:00
发表于 2014-08-11 23:11 |显示全部楼层
bioinfo的表示看懂了,会写,但是没空....
NGS的数据处理,我表示我最关心文件大小....
你的这些文件多大?你的电脑内存多大?

硬件可以的话直接hash,不行的话就分步处理了。
另,LZ考虑看一些BEDtools,应该有用。https://code.google.com/p/bedtools/

To 其他Perler,此种文件一般动辄上Gb,多个文件,我担心Perl的Hash会吃掉很多内存。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
发表于 2014-08-12 00:35 |显示全部楼层
土豪出手就是阔绰!

论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-10-07 06:20:00
发表于 2014-08-12 05:02 |显示全部楼层
给个思路,LZ自己写写代码看看吧... 然后,此思路有用的假设是,你机器内存不足....

1. 将两行变一行,\t 分割。 chr1   1   100    11,22,33,44,55
2. 然后sort -k1 -k2n
4. Loop:
          a. 定义一个sliding window. 例如: chr1:1-10000
          b. 对于每一个文件,只读入一部分reads (sliding window定义范围),建立若干工作hash
              做你需要的per base 的统计,输出flag
                 i. 确保所有的相关reads都被读入了。
                    在这里,Loop 第一次为向下查到起始位置为10001, 因为sort了,之后的不用查了...
                 ii. 你需要一个hash of array
                     key: position, such as: chr1:100
                     value: array of quality values
                 iii. 因为每一个read有长度的限制,两个sliding window 之间的overlap只需要是这个长度就好..
                      这样会产生一定的冗余,但是输出stats该是一样的。计算速度该是可以接受的.
          c. 删除工作hash..
5. 将step 4的输出结果去冗余.

论坛徽章:
8
技术图书徽章
日期:2013-08-22 11:21:28未羊
日期:2015-01-19 22:22:25巳蛇
日期:2014-08-11 16:53:08子鼠
日期:2014-05-29 09:04:44摩羯座
日期:2014-04-11 14:15:07丑牛
日期:2014-01-24 12:41:28金牛座
日期:2013-11-21 17:38:28射手座
日期:2015-01-21 08:50:32
发表于 2014-08-12 06:11 |显示全部楼层
回复 14# xiumu2280


    是五个一组,不过,每组得到结果合并了

论坛徽章:
8
技术图书徽章
日期:2013-08-22 11:21:28未羊
日期:2015-01-19 22:22:25巳蛇
日期:2014-08-11 16:53:08子鼠
日期:2014-05-29 09:04:44摩羯座
日期:2014-04-11 14:15:07丑牛
日期:2014-01-24 12:41:28金牛座
日期:2013-11-21 17:38:28射手座
日期:2015-01-21 08:50:32
发表于 2014-08-12 06:19 |显示全部楼层
回复 13# pitonas


    对不起~我也很纠结啊~
A:
f1 f2 f1 f2 f1 f2 f1 f2 f3 f2 f3 f3 f1
B:
f1 f1 f2 f1 f1 f1 f2 f2 f1

得到结果是:首先a前五个得到f16-10得到f2后面的如果是有三个以上f3的话定义为f3.或者有f2紧跟着6-10的话该点并到6—10区域~
b前五个得到f1由于六七也是f1所以1—7归为f 1,剩下的三个得看后面了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP