作者:阿手站长,发布日期:2016-06-29
阅读:70;评论:0

  网上有不少关于正文提取的算法,有基于dom树,文字长度,投票,视觉信息的,这些都可以简单了解一下,不过对于国内主要搜索引擎百度,我们就得尽量找找他有没有这方面的专利.   百度专利<<一种用于对页面进行主体识别的方法与设备>> 申请于2011年,里面是这样识别主体的   1.对页面进行分块,分块就是对一些标签进行合并,html标签中一般来讲p,span,font等是常见的用于文本的标签,div,table,td等是用于块的标签,通过合并,可以简化页面的结构,便于分析.   2.对块进行合并,当属于同一层级,并且是属于可合并类型(这里类型不限于图片,文本,链接等)的块进行合并,可以简单理解为段落的合并.   3.对合并后的块进行字体格式信息,行数,宽度,位置进行识别   4.对主体进行识别,这里有相应的投票机制和算法,举例:如果块位于网页的中部,行数和宽度大于预设阈值,标题字号和文本字号不同,就识别为主体.   上面是这篇专利主要讲的方法,但要明白,不同的行业其实是有不同的识别规则的,有些行业由于数据结构的特殊性,所以并不是字数多就是主体,比如商品页,字段最多的可能是评论区块.所以对于不同行业要做不同的分析(本文"痞子瑞SEO:正文提取"的责任编辑:雪豹)

你可能感兴趣的文章

评论区

发表评论

必填

选填

选填

必填

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。