免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1700 | 回复: 7

[文本处理] 千万行关键词匹配相关关键词,请大神帮忙! [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-08 16:50 |显示全部楼层
本帖最后由 wenjun3000 于 2016-08-08 16:50 编辑

win7操作系统,超大文本,utf-8格式,关键词文档a.txt(譬如南京旅游,北京旅游,无锡旅游),每行一个关键词,共10961771行,关键词锚文本链接b.txt(格式为<a href="url1">南京一日游</a>,<a href="url3">无锡一日游</a>,<a href="url3">北京一日游</a>),每行一个关键词锚文本链接,共10961771行,要求,读取a.txt中的每个关键词,提取b.txt中的10个(20个,50个,数字可以自己调节)相关(先按词提取,如果不够,可以按字提取)关键词锚文本链接到c.txt中,每个锚文本链接之间用<br>连接,提取完毕后为10961771行。备注:只提取相关匹配,不提取完全匹配(如果a.txt中关键词为南京旅游,就不要提取<a href="url18">南京旅游</a>)。

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-08 16:50 |显示全部楼层

上面网址有误,因为没有权限发网址,所以网址用url代替,win7操作系统,超大文本,utf-8格式,关键词文档a.txt(譬如南京旅游,北京旅游,无锡旅游),每行一个关键词,共10961771行,关键词锚文本链接b.txt(格式为<a href="url1">南京一日游</a>,<a href="url3">无锡一日游</a>,<a href="url36">北京一日游</a>),每行一个关键词锚文本链接,共10961771行,要求,读取a.txt中的每个关键词,提取b.txt中的10个(20个,50个,数字可以自己调节)相关(先按词提取,如果不够,可以按字提取)关键词锚文本链接到c.txt中,每个锚文本链接之间用<br>连接,提取完毕后为10961771行。备注:只提取相关匹配,不提取完全匹配(如果a.txt中关键词为南京旅游,就不要提取<a href="url18">南京旅游</a>)。

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-08 16:50 |显示全部楼层
根据分词匹配,譬如南京旅游可以分成,南京旅游,南京,旅游,

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-08 16:50 |显示全部楼层
如果需要测试数据,回复一下,我传到网盘

论坛徽章:
13
程序设计版块每日发帖之星
日期:2016-06-29 06:20:00每日论坛发贴之星
日期:2016-08-14 06:20:00操作系统版块每日发帖之星
日期:2016-08-14 06:20:00每日论坛发贴之星
日期:2016-08-13 06:20:00数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00程序设计版块每日发帖之星
日期:2016-08-13 06:20:00IT运维版块每日发帖之星
日期:2016-08-13 06:20:00每日论坛发贴之星
日期:2016-08-12 06:20:00数据库技术版块每日发帖之星
日期:2016-08-12 06:20:00程序设计版块每日发帖之星
日期:2016-08-12 06:20:00操作系统版块每日发帖之星
日期:2016-08-12 06:20:00综合交流区版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2016-08-10 20:50 |显示全部楼层
路过帮顶~~~

论坛徽章:
6
15-16赛季CBA联赛之新疆
日期:2016-03-22 22:34:5915-16赛季CBA联赛之山东
日期:2016-04-11 09:08:41程序设计版块每日发帖之星
日期:2016-06-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-19 06:20:00每日论坛发贴之星
日期:2016-07-19 06:20:0015-16赛季CBA联赛之青岛
日期:2016-07-20 22:44:17
发表于 2016-08-11 00:29 |显示全部楼层
wenjun3000 发表于 2016-08-08 16:50
关键词文档a.txt。。。共10961771行,关键词锚文本链接b.txt。。。共10961771行,要求,。。。到c.txt中。。。为10961771行。


行数都一样啊??!!

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-12 17:58 |显示全部楼层
是的,行数都一样

论坛徽章:
1
操作系统版块每日发帖之星
日期:2016-07-05 06:20:00
发表于 2016-08-15 08:42 |显示全部楼层
没看明白要求
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP