在搜索框中输入豆瓣电影页面不存在文章链接为什么也没不存在

知乎、豆瓣、百度知道区别与联系--百度百家
知乎、豆瓣、百度知道区别与联系
分享到微信朋友圈
结合乐学岛留学推广,谈谈知乎、豆瓣、百度知道部分功能在推广上的相似性与差异性
结合这段时间社区推广经验,对zhidao,zhihu,douban三个社区谈谈之间的区别和联系。主要考虑社区的定位及规则功能的差异性,考虑留学领域推广各个社区的优劣势。
首先看下这三个社区的定位,以下分别用一句话来说明三个社区的定位(均摘自百度百科)。
zhidao:“百度知道”,是用户自己根据具有针对性地提出问题,通过积分奖励机制发动其他用户,来解决该问题的搜索模式。
zhihu:知乎是一个真实的网络问答社区,社区氛围友好与理性,连接各行各业的精英。用户分享着彼此的专业知识、经验和见解,为中文互联网源源不断地提供高质量的信息。
douban:豆瓣表面上看是一个评论(书评、影评、乐评)网站,但实际上它却提供了书目推荐和以共同兴趣交友等多种服务功能,它更像一个集BLOG、交友、小组、收藏于一体的新型社区网络。
由于三个社区定位,即存在一定的相似性,也具有较大的差异。因此社区的人群划分也存在异同,直接导致针对乐学岛留学社区推广存在差异性。百度知道解决问题的搜索模式,导致问题列表只提供最新的十页问题,其他问题需要自己通过关键词搜索。这种搜索形式的匹配度及广度便成了百度知道的优势。知乎连接的是行业精英,分享专业知识和见解,决定着知乎得到的答案比知道的回答更加深刻,答案的形式也是更多的观点列表形式,赞的功能设计让答案由高到低排序。相对百度知道,知乎的优势在于深度。豆瓣社区主打评论(书评、影评、乐评),让用户在小组(主要形式之一)中分享各自观点,这里人群更加文艺。这也直接导致其他领域用户活跃度低,推广成本效益比低。以上几点是结合定义,推广中存在的一些问题。下面具体结合各自社区功能规则的异同,更深入详细讲解。主要包括:话题小组形式、社区大V、个人小站、线上线下活动、推广限制等方面讨论。
相似功能:豆瓣小组/知乎话题/百度知道问题分类
豆瓣小组:豆瓣主要推广方式。小组成员可以在小组内进行讨论,由小组管理员管理小组帖子。因此,自己建立的小组可以发广告链接信息,包括链接、视频、图片。不足:1、用户活跃度很低。一天豆瓣所有小组的更新帖只有一二十条,我周五发帖,周日晚上发帖内容依旧在豆瓣小组首页展示。留学领域,排名靠前的活跃小组豆瓣留学,已经有近两个月没有更新内容。我们建立的小组“留学”(名称申请是唯一,这个名称在这个领域应该能带来一定的访问量),从豆瓣提供的小组数据统计结果,几乎没有什么访问量和互动。2、搜索排序机制不利于推广。豆瓣搜索小组排序按照活跃度排序,页面加载方式为瀑布流形式,而非分页。这意味着,新建小站很难获得曝光度。除非投递官方广告或与豆瓣红人付费合作。3.豆瓣小组分类不清晰。只有几个大类,没有所有小组的详细分类。
知乎话题:同豆瓣的小组有可比较性。豆瓣小组为问题讨论的地方,小组主题为讨论的主题。知乎话题为问题的主题,话题标签下提出不同问题。分类上,知乎话题同豆瓣小组的不同之处,知乎话题分类层级更分明,有详细的话题分类树。知乎话题树不足之处在于一个话题可能有多个不同领域的父类话题,话题层级有点混乱。目前,知乎影响较大的是互联网科技领域,最开始运营的领域。随着由邀请制用户到全面开放,领域也逐渐开放。但目前其他领域还未深耕,留学相关问答活跃度较大,留给我们很好的推广空间。
百度知道问题分类:相对于豆瓣和知乎,知道的问题分类树形结构最清晰,更方便用户查找问题。不足之处在于,树形结构的分类,层级不够深。百度知道更多问题查找方式在于搜索。同时百度知道留学话题领域活跃度较低。教育/科学—&出国/留学&问题分类下最新的100页提问,最新留学问题回答很少,基本为零。
综合来看,知乎话题层级最详细,查找最方便。唯一不足之处,话题非严格树形结构,对于普通用户很难理清查找结构。百度的主要优势在于搜索方便,匹配度高。豆瓣小组优势在于推广限制低,适合推广。不足之处在于活跃度低。
豆瓣红人:大V推广联盟,合作需付费,有具体的合作付费清单。目前活跃小组均为豆瓣红人运营。
知乎大V:一部分大V为某个领域的权威,知乎邀请了开设专栏。另一部分为回答较高质量的回答,获得较多的赞和关注。知乎大V一般作为邀请回答的对象。这样也为推广提供了可能,多发高质量的软文,获取更多的赞和关注。每个人都有一个专栏功能,内测两年依旧未开放。这也让专栏用户更加高贵,具有更高话语权。目前知乎打造的知乎日报等精华内容多来自于专栏内容。同豆瓣红人比较,知乎推广可操作的空间更大,更适合推广。知乎专栏不足之处:没有知乎专栏频道,只有一些官方或非官方专栏推荐,不知道哪些用户是专栏用户,留学领域目前只看到一个日本留学的专栏用户。
百度知道大V:知道之星(活动评选)、知道行家(申请认证)。知道之星需要具有较高等级参与评选,名额有限,难以获得。知道行家认证可以考虑申请企业认证,无需费用,需要提供资质证明以。不足之处:保证出勤回答率。百度知道没有单独行家个人主页的入口(只有首页几个推荐行家可点击进入),只能通过问答界面点击用户头像进入百度账号个人主页,展示所有问答。这样用户很难触达个人回答主页。
综合来看,目前三个社区在留学领域均存在较大空白。从留学推广来说,知乎和百度知道的活跃度较大,打造知乎和百度知道大V可行性较强。知乎持续发高质量的回答及多互动,较容易建立品牌度,同时偶尔可以增加外链。百度知道行家可以申请企业认证,容易建立品牌度。但对回答频率要求较高,及推广限制较严格。打造豆瓣大V可行性相对较低,但也可以慢慢积累品牌度及外链。
相似功能:豆瓣小站/知乎专栏/知道行家。除了社区个人空间外,方便整理和展示个人需要展示的信息的类似博客功能。
豆瓣小站:目前,没有有效的推荐机制,个人的动态无法有效的呈现和曝光。小站全面开放,均可申请。同小组比较,小站可以对内容划分维度,相当于多个集成多个不同主题的小组。虽然方便了一部分用户看内容更方便,无需来回切换小组查看关注内容。从推广角度,小组活跃度较低,小站就更低了。物以稀为贵,同知乎专栏开放的稀缺性相比,小站的建立就没那么重要。
知乎专栏:邀请制,更显专业性,容易建立自己的品牌。没有单独的专栏频道,除了个人主页可以看到,无法获知哪些人是专栏用户。
百度行家:分个人和企业认证。可查看各个领域出勤率前8的用户。
综合来看,三个社区对于个人小站形式功能均无有效的推荐机制。从社区的发展来看,可能不希望像微博大V一样运营,做到资源有效的平衡。因此在社区推广中,既要善于利用社区各站小站等功能的优势,又不至于过度依赖。&&&&&&&&&&&&&&
线上线下活动
豆瓣:热门活动榜。豆瓣线上线下活动的活跃度相对较高一点,尤其同城活动。后期线下活动的推广可以考虑结合下豆瓣的活动。
知乎:知乎目前也没有供用户推广的活动,软文回答形式推广活动暂且未看到很好的形式。之前推广广告文案,即使主题较符合,也有得到其他用户的赞,依旧被删帖。
百度知道:知道活动,包括:我们名人活动、团队活动、商城活动、管理员活动。主要为知道官方活动,知道用户无法开展自己的活动进行推广。
综合来看,豆瓣活动优势较大,尤其豆瓣同城活动。后期线下活动可以考虑结合豆瓣同城活动,线上线下结合尝试推广。目前豆瓣线上活动取得较好的效果,还需考虑与豆瓣大V推广联盟付费合作。
豆瓣:豆瓣有自动系统监测,包括广告和违规内容监测。从发帖情况来看,豆瓣把控制权交给了小组管理员,因此推广信息通过率很高。
知乎:软文附带推广链接一般都能通过。知乎对广告性回答打击较严厉,目前推广账号多次被删帖,以致后来封号一次。尤其对于新号,发表外链被删帖可能性很大。随着账号回答问题和获赞增多,通过率增加。
百度知道:对于推广链接限制很严,基本很难通过。
综合来看,三个社区对于推广限制严格性由高到低依次为:zhidao&zhihu&douban。
通过以上几个主要功能的横向与纵向对比,社区间既有相似性,也存在很大的差异。优劣势的不同决定推广策略的差异。从目前这段时间推广的思考,知乎推广的效益成本比最高,前期可考虑重点推广,建立品牌。当然其他社区也需同步进行,先占个沙发,有策略有重点的进行。
阅读:1970
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
实习期间主要工作与产品运营相关,搜狐自媒体运营推广属于工作范畴之一。下面...
阅读:1939
热门文章HOT NEWS
从现在被报道出来的远程信息网络诈骗情况看,绝大多数都是用ATM...
娱乐资本论
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻推荐这篇日记的豆列
······html中怎样在input输入框中插入搜索按钮_百度知道网页编写,搜索框输入网址的一部分自动访问制定网址_百度知道python运用(7)
持续更新中
IR&IE系统设计与实现报告
一、系统设计
“网络蜘蛛”从互联网上抓取网页,把网页送入“网页数据库”,从网页中“提取URL”,把URL送入“URL数据库”,“蜘蛛控制”得到网页的URL,控制“网络蜘蛛”抓取其它网页,反复循环直到把所有的网页抓取完成。
系统从“网页数据库”中得到文本信息,送入“文本索引”模块建立索引,形成“索引数据库”。同时进行“链接信息提取”,把链接信息(包括锚文本、链接本身等信息)送入“链接数据库”,为“网页评级”提供依据。
“用户”通过提交查询请求给“查询服务器”,服务器在“索引数据库”中进行相关网页的查找,同时“网页评级”把查询请求和链接信息结合起来对搜索结果进行相关度的评价,通过“查询服务器”按照相关度进行排序,并提取关键词的内容摘要,组织最后的页面返回给“用户”。
——万维网Web自动搜索引擎(技术报告)邓雄(Johnny Deng) 2006.12
图1-1是整个程序的架构图。
图1-1 程序架构图
二、系统开发工具和平台
开发环境:
操作系统 win10
Python 2.7.10
使用的库包括lxml、urllib、re
编辑器 sublime text2
三、系统的实现及其功能模块
1、网页爬取
简单的说网络爬虫就是一只会嗅着url(链接)爬过成千上万网页,并把网页内容搬到你电脑上供你使用的苦力虫子。
如图(这里少张图)所示:你给定爬虫的出发页面A的url,它就从起始页A出发,读取A的所有内容,并从中找到3个url,分别指向页面B、C、D,然后它就顺着链接依次抓取B、C、D页面的内容,并从中发现新的链接,然后沿着链接继续爬到新的页面–&抓取内容–&分析链接–&爬到新的页面…….直到找不到新的链接或者满足了人为设定的停止条件为止。你可以对爬虫带回来的网页内容继续进行分析、处理,以满足你的需求。
至于这只虫子前进的方式,则分为广度优先搜索(BFS)和深度优先搜索(DFS)。在这张图中BFS的搜索顺序是A-B-C-D-E-F-G-H-I,而深度优先搜索的顺序是A-B-E-I-C-F-D-G-H。
我们使用BFS的方式对网页进行爬取。直接使用python的内建类型 list存储url地址,每次从一个页面中得到所有链接url地址后,将其从待抓取队列的队首删去,将得到的所有链接并入待抓取队列的末尾。
网页爬取模块主要包括一下几个函数。
get_page(url) #获取页面的源码内容
get_next_target(content) #获取页面的一个url地址
get_all_links(content) #通过调用get_next_target()函数,获得页面的所有地址
union(a, b) #将获得的url地址送入待抓取的url队列中
url_valid(url) #判断获得的url是否符合制定的规则
crawl_web(seed) #页面抓取的入口函数,完成抓取页面及建立索引的功能
2、建立索引
索引就像图书馆每个书架上的小牌子,你要找某一本书,譬如一本学习python语言的书,你就先搜索“信息与计算机分部”,然后搜索“编程语言”,这样就可以在相应的架子上找到你想找的书了。搜索引擎的索引与此类似,所不同的是它会为所有网页的每个词语都建立索引,当你输入一串搜索字符串,程序会先进行分词,然后再依照每个词的索引找到相应网页。比如在搜索框中输入“从前有座山山里有座庙 小和尚”,搜索引擎首先会对字符串进行分词处理“从前/有/座山/山里/有/座庙/小和尚”,然后按照一定规则对词做布尔运算,比如每个词之间做“与”运算,然后在索引里搜索“同时”包含这些词的页面。
当然在本实验中所做的这个简陋的引擎的索引功能也非常简陋,通过分析网页源码,我们利用网页中meta元素的内容,生成keywords。如图2-1:
图2-1 页面中的keywords
Keywords 的内容比较简单,我们可以按照图书的书名,作者,出版社,出版时间等信息搜索图书。
add_page_to_index(index, url, content) #通过调用add_to_index()函数对每一个页面建立索引
add_to_index(index, keyword, url_book_info) #对具体关键词建立索引
lookup(index, keyword) #从索引中查找关键词
3、网页排名(page rank)
这个以谷歌创始人Larry Page命名的算法大概是互联网最著名的算法了,当年这个算法,帮助谷歌在搜索质量上一举打败了当时最流行的Yahoo,AltaVista等引擎,为谷歌崛起成为世界上最了不起的科技巨头立下了汗马功劳。
page rank是用来衡量网页质量如何的,索引找到的网页会用pagerank算法计算出一个PR值,这个得分在呈现结果排序中占一定权重,得分高的网页将被排在前面显示给用户。那么它是怎么实现的呢?它基于这样一种假设,越多的网页链接到这个网页,说明这个网页的在整个网络中受认可的程度越高,也即这个网页质量越好——这等同于互联网上其他所有网页给它投票,有一个链到它的链接说明给它投了一票,票数越高越好。但是是不是所有的票数权重都一样呢?显然不是的,链接到这个网页的网页本身PR值越高,则其投票的权重应该越大,这就好像董事会投票大股东的一票比小股东的一票更有份量。但这就存在一个问题了,你要知道一个页面的PR值就需要知道链接到它的页面的PR值,而链接到它的页面的PR值又需要依赖于其他页面的PR值,如此一直追究下去就变成了鸡生蛋蛋生鸡的问题了。现假设初始条件,互联网所有页面PR值的初始值为1/N,N是整个网络页面的总数,那么用
公式进行迭代,其中p(j)代表链接到p(i)的网页,Lp(j)代表这个页面中链接的数目,之所以要除以页面链接数量,这是很好理解的,当一个页面链接数量很多时,它每个链接投票的份量就相应地被分散了。可以证明,按照这个公式求取每个页面i的值,并进行迭代,当迭代很多轮时,PRp(i)的值会趋于一个稳定值,在应用中迭代次数一般取10次,超过10次以后PRp(i)的值变化就很小了。
现在还是存在一个问题,如果一个页面没有任何外部页面链接到它,那么它的PR值就是0了呢?为了使PRp(i)函数能够更平滑,我们在公式里增添一个阻尼系数d,在这里我们不妨取0.8,公式变成如下形式:
这样的话即使某个页面孤立存在,它的PR值也不至于变为零,而是一个很小的值。我们也可以从另一个角度理解阻尼系数,PR值衡量的其实是某个页面被访问的可能性的大小,链接到它的网页越多,通过这些链接点开它的可能性当然就越大,但在没有任何外部链接的情况下,一个网页是不是就不可能被访问呢?当然不是,因为还可以从地址框直接键入url访问,而且也会有人希望通过搜索引擎找到这个页面,所以我们在公式里加了阻尼系数,当然这里给1-d取一个比较小的数才可以。
当然了,网页PR值也不是唯一一个决定网页排名的因素,页面和用户搜索词(query)的相关程度也是重要的衡量因素,与搜索词相关度越高的页面应该放在越前面显示给用户。
4、网页解析
网页抽取模块,从其中抽取出关键词和图书信息。
页面的信息非常冗杂,我们利用xpath从中提取出图书的作者、出版社、等主要信息,如图2-2。
图2-2 页面图书信息
book_info(content) #得到页面的图书信息
keywords(content) #得到页面的关键词
5、布尔模型
布尔检索法是指利用布尔运算符链接各个检索词,然后由计算机进行逻辑运算,找出所需信息的一种检索方法。
在本程序的search()函数中,我们对搜索词进行解析,判断其中的逻辑关系,给出搜索结果。
四、遇到的问题及解决方案
网页解析过程中,对标签内完整文本的获取出现问题。
因为在一个div的标签中还存在很多倍的标签,所以直接利用xpath路径通过text()获取文本出现问题,通过查阅xpath手册,利用string(.)函数来过滤掉标签。
页面中大量的url都不是提供图书信息的页面。
在爬虫模块中添加了url_valid(url)函数来判断url是否有效,利用正则表达式找出形如/subject//的有效地址。
网页的广度优先搜索实现,以及对爬取数量的限制。
利用python的list类型进行url的存储,每次爬取到url,将新值存储在待抓取队列to_crawl的队尾,对队首的url页面进行爬取,之后利用pop()函数进行出队操作。
将已抓取的url送入crawled列表。通过判断列表长度对爬虫爬取过程进行限制。
五、系统测试
简单测试,若抓取页面数量超过10个就停止爬虫。
1、建立索引的结果
混入了一个奇怪的东西,可能是因为页面的结构不一致所导致的。
2、进行搜索
print 'ordered_search', ordered_search(index, ranks, u'杨绛')
print index[u'杨绛']
将列表内容进行打印:
3、搜索作者给出的结果可能是唯一的。我们再搜索“二手”来看一下结果。
图中给出了部分结果。
多个词同时搜索的结果
结果如下:
六、改进意见
1、因为豆瓣读书()页面的内容极其之多,所以在进行网页爬取时,对已爬取队列的长度进行了限制(测试用长度限制为10),获得的信息有限。可以在具体实现时,将爬取部分与建立索引部分分开,以便大量数据的获取。
2、数据爬取并没有利用数据库进行存储,可以在之后添加数据库部分,以便数据的长期存储。
3、爬虫的多线程实现,提高爬取速度。
4、关键词数量有限。关键词只选择了图书的部分信息,并没有对网页中的每一项进行索引。可以利用python的分词模块,如smallseg等,得到更多的关键词,从而建立索引。
5、程序测试时,检索信息直接写死在代码中,可以在之后对检索的交互方式继续改进。
感谢北邮的两位童鞋提供完成这次实验的机会
参考知识库
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
访问:4261次
排名:千里之外
(2)(2)(5)(1)(4)(1)(2)(1)

我要回帖

更多关于 豆瓣文章搜索 的文章

 

随机推荐