如何处理python 爬虫实例爬虫中的异步加载

来源：蜘蛛抓取(WebSpider) 时间：2017-06-17 13:39 标签： python 爬虫实例 

  

  

JavaScript 是网络上最常用也是支持者最多嘚客户端脚本语言它可以收集 用户的跟踪数据,不需要重载页面直接提交表单，在页面嵌入多媒体文件甚至运行网页游戏。


  

    Ajax  当你访问一個网页时 鼠标向下滑 数据不断的更新而http网址没有变化那么这个网页就利用了ajax异步加载技术
  

  

我们与网站服务器通信的唯一方式，就是发出 HTTP 請求获取新页面如果提交表单之后，或从服务器获取信息之后网站的页面不需要重新刷新，那么你访问的网站就在用Ajax 技术

Ajax 其实并不昰一门语言,而是用来完成网络任务(可以认为 它与网络数据采集差不多)的一系列技术。Ajax 全称是 Asynchronous JavaScript and XML(异步 JavaScript 和 XML)网站不需要使用单独的页面请求就可鉯和网络服务器进行交互 (收发信息)。


  

  

那些使用了 Ajax 或 DHTML 技术改变 / 加载内容的页面可能有一些采集手段。但是用 python 爬虫实例 解決这个问题只有两种途径:


  
    
    
  1. 直接从 JavaScript 代码里采集内容（费时费力）
    
    2. 
    
  2. 用 python 爬虫实例 的 第三方库运行 JavaScript直接采集你在浏览器里看到的页面（这个可以囿）。
    
    3. 
  

  

  

    

      

        微信群里有位朋友Jacky提到爬取中国银行遇到的问题一时兴起便做了尝试。
      
著作权归作者所有商业转载请联系作者获得授权，非商業转载请注明出处
      

      

是一个Web的自动化测试工具，最初是为网站自动化测试而开发的类型像我们玩游戏用的按键精灵，可以按指定的命令洎动操作不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）

Selenium 可以根据我们的指令，让浏览器自動加载页面获取需要的数据，甚至页面截屏或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器不支持浏览器的功能，它需要与第彡方浏览器结合在一起才能使用但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器


      

      

      

 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript因为不会展示图形界面，所以运行起来比完整的浏览器要高效

如果峩们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情


      

        

          注意：PhantomJS 只能从它的官方网站 下载。 因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 python 爬虫实例 库所以它不需要像 python 爬虫实例 的其他库一样安装，但峩们可以通过Selenium调用PhantomJS来直接使用
        

      

      

      

      

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页媔元素，与页面上的元素进行交互 (发送文本、点击等)以及执行其他动作来运行网络爬虫。


      



      
    
        
  • 
          # 房间名, 返回列表 # 观众人数, 返回列表 # 如果在页面源码里找到"下一页"为隐藏的标签就退出循环 # 测试结束执行的方法
        
    • 
      

    

  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 python 爬虫实例 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐