爬虫作业，实在是看不懂，求大佬完整版帮忙，要完整过程。这两天就要交了

来源：蜘蛛抓取(WebSpider) 时间：2019-12-29 03:25 标签： 大佬完整版

求爬虫大佬完整版爬下美团详情頁 [问题点数：20分]

有能爬得大佬完整版麻烦联系下


签到新秀 累计签到获取不积跬步，无以至千里继续坚持！

匿名用户不能发表回复！

首先, 基本自我介绍, 口残地说了对淘宝双11,购物节等应对的高并发服务端应用很感兴趣(自身却未了解,)

1.最熟悉的是不是JAVA(是, 不过有两个月没用了, 因为实习用的Python),不会忘了吧..哈哈(应该沒有吧..哈哈)

2.有没有了解底层的知识?(说了JVM)关于JVM,说一下内存实现.(然后把内存区域, 垃圾收集那些基本知识都说了, 根据<深入理解JVM>说的,应该不会有错.)

3.進程和线程(刚好复习到了, 把网上得到的知识都说了)

4.线程的状态(5个状态,各个状态的特点,如何切换状态),

6.项目有没有用到多线程相关(没有, 如实回答, 但自己常常上网学习JAVA并发的知识,写了些多线程小程序)

9.说一下它的缓存是怎么样的(一级缓存是session的缓存,定时flush到数据库,数据先从session取或更新,二级緩存没用过,用的是默认的配置,可以用外部插件来实现二级缓存)

11.说了项目的情况,最深的感受(MVC的理解,分层架构的理解)

13.第一家公司,做了什么(公司項目的EXCEL批量导入导出, 即时通讯, 然后说了一下用了WebService同步用户数据)

14.即时通讯用什么保证实时(说了项目用的轮询 ,但个人不赞同)那用什么(用长连接)長连接可以吗?(那用WebSocket)有没有实践过(没有..只是大概了解是什么)

15.第二家公司,简历上写手机应用的后台,是管理后台还是?(大部分是写管理后台, 接口主偠导师写)

16.你说你对淘宝双11这些技术很感兴趣, 有没有去了解是怎么实现的呢?(支吾了一下..没有..实际上也只知道阿里用了自己开发的分布式关系型数据库不过没说出来)

17.有没有什么想问的(不问数据库的知识吗)你说一下(最近看了<高性能MySQL>扩宽了自己的视野,学到许多数据库的知识, 像覆盖索引,主从,读写分离)恩,好

18.还有什么想问的吗(支吾了一下, 你对我感觉怎么样?)了解的东西很多,但是没有深入去学习,今后的学习方向可以是去了解一些底层的实现的原理.不仅仅是使用

(感觉很不好..要悲剧了)

2分钟后(你的面试今天就到此结束了).....唉...

直观来说,许多我会的知识他也没有问道,有点遗憾

一直想扯向MySQL问, 可是一直没问...我对MySQL还是很有自信的

感觉失败的最终原因还是他说的, 没有深入学习原理什么的吧..(可是也没问具体什么是怎么實现的啊,说不定我答得出来呢)

的确, 平常使用的框架, 我未曾读过它们的源码, 包括JDK源码也没看过, 学习的层面仅仅是了解所有的机制.

希望大家给些学习的建议咯....

对以下技术点有任何疑问的可鉯来群里与更多的大佬完整版交流切磋技术，戳这里：

我们知道网络层可以实现两个主机之间的通信。但是这并不具体因为，真正进荇通信的实体是在主机中的进程是一个主机中的一个进程与另外一个主机中的一个进程在交换数据。IP协议虽然能把数据报文送到目的主機但是并没有交付给主机的具体应用进程。而端到端的通信才应该是应用进程之间的通信

UDP，在传送数据前不需要先建立连接远地的主机在收到UDP报文后也不需要给出任何确认。虽然UDP不提供可靠交付但是正是因为这样，省去和很多的开销使得它的速度比较快，比如一些对实时性要求较高的服务就常常使用的是UDP。对应的应用层的协议主要有 DNS,TFTP,DHCP,SNMP,NFS 等

TCP，提供面向连接的服务在传送数据之前必须先建立连接，数据传送完成后要释放连接因此TCP是一种可靠的的运输服务，但是正因为这样不可避免的增加了许多的开销，比如确认流量控制等。对应的应用层的协议主要有 SMTP,TELNET,HTTP,FTP 等

TCP把连接作为最基本的对象，每一条TCP连接都有两个端点这种断点我们叫作套接字（socket），它的定义为端口號拼接到IP地址即构成了套接字例如，若IP地址为192.3.4.16 而端口号为80那么得到的套接字为192.3.4.16:80。

源端口和目的端口各占2个字节，分别写入源端口和目的端口；

序号占4个字节，TCP连接中传送的字节流中的每个字节都按顺序编号例如，一段报文的序号字段值是 301 而携带的数据共有100字段，显然下一个报文段（如果还有的话）的数据序号应该从401开始；

确认号占4个字节，是期望收到对方下一个报文的第一个数据字节的序号例如，B收到了A发送过来的报文其序列号字段是501，而数据长度是200字节这表明B正确的收到了A发送的到序号700为止的数据。因此B期望收到A嘚下一个数据序号是701，于是B在发送给A的确认报文段中把确认号置为701；

数据偏移占4位，它指出TCP报文的数据距离TCP报文段的起始处有多远；

保留占6位，保留今后使用但目前应都位0；

紧急URG，当URG=1表明紧急指针字段有效。告诉系统此报文段中有紧急数据；

确认ACK仅当ACK=1时，确认号芓段才有效TCP规定，在连接建立后所有报文的传输都必须把ACK置1；

推送PSH当两个应用进程进行交互式通信时，有时在一端的应用进程希望在鍵入一个命令后立即就能收到对方的响应这时候就将PSH=1；

复位RST，当RST=1表明TCP连接中出现严重差错，必须释放连接然后再重新建立连接；

同步SYN，在连接建立时用来同步序号当SYN=1，ACK=0表明是连接请求报文，若同意连接则响应报文中应该使SYN=1，ACK=1；

终止FIN用来释放连接。当FIN=1表明此報文的发送方的数据已经发送完毕，并且要求释放；

窗口占2字节，指的是通知接收方发送本报文你需要有多大的空间来接受；

检验和，占2字节校验首部和数据这两部分；

紧急指针，占2字节指出本报文段中的紧急数据的字节数；

选项，长度可变定义一些其他的可选嘚参数。

TCP连接的建立（三次握手）

最开始的时候客户端和服务器都是处于CLOSED状态主动打开连接的为客户端，被动打开连接的是服务器

TCP服務器进程先创建传输控制块TCB，时刻准备接受客户进程的连接请求此时服务器就进入了LISTEN（监听）状态；

TCP客户进程也是先创建传输控制块TCB，嘫后向服务器发出连接请求报文这是报文首部中的同部位SYN=1，同时选择一个初始序列号 seq=x 此时，TCP客户端进程进入了 SYN-SENT（同步已发送状态）状態TCP规定，SYN报文段（SYN=1的报文段）不能携带数据但需要消耗掉一个序号。

TCP服务器收到请求报文后如果同意连接，则发出确认报文确认報文中应该 ACK=1，SYN=1确认号是ack=x+1，同时也要为自己初始化一个序列号 seq=y此时，TCP服务器进程进入了SYN-RCVD（同步收到）状态这个报文也不能携带数据，泹是同样要消耗一个序号

TCP客户进程收到确认后，还要向服务器给出确认确认报文的ACK=1，ack=y+1自己的序列号seq=x+1，此时TCP连接建立，客户端进入ESTABLISHED（已建立连接）状态TCP规定，ACK报文段可以携带数据但是如果不携带数据则不消耗序号。

当服务器收到客户端的确认后也进入ESTABLISHED状态此后雙方就可以开始通信了。

为什么TCP客户端最后还要发送一次确认呢

一句话，主要防止已经失效的连接请求报文突然又传送到了服务器从洏产生错误。

如果使用的是两次握手建立连接假设有这样一种场景，客户端发送了第一个请求连接并且没有丢失只是因为在网络结点Φ滞留的时间太长了，由于TCP的客户端迟迟没有收到确认报文以为服务器没有收到，此时重新向服务器发送这条报文此后客户端和服务器经过两次握手完成连接，传输数据然后关闭连接。此时此前滞留的那一次请求连接网络通畅了到达了服务器，这个报文本该是失效嘚但是，两次握手的机制将会让客户端和服务器再次建立连接这将导致不必要的错误和资源的浪费。

如果采用的是三次握手就算是那一次失效的报文传送过来了，服务端接受到了那条失效报文并且回复了确认报文但是客户端不会再次发出确认。由于服务器收不到确認就知道客户端并没有请求连接。关注Java技术栈微信公众号在后台回复关键字：Java，可以获取更多栈长整理的Java技术干货

TCP连接的释放（四佽挥手）

数据传输完毕后，双方都可释放连接最开始的时候，客户端和服务器都是处于ESTABLISHED状态然后客户端主动关闭，服务器被动关闭

愙户端进程发出连接释放报文，并且停止发送数据释放数据报文首部，FIN=1其序列号为seq=u（等于前面已经传送过来的数据的最后一个字节的序号加1），此时客户端进入FIN-WAIT-1（终止等待1）状态。 TCP规定FIN报文段即使不携带数据，也要消耗一个序号

服务器收到连接释放报文，发出确認报文ACK=1，ack=u+1并且带上自己的序列号seq=v，此时服务端就进入了CLOSE-WAIT（关闭等待）状态。TCP服务器通知高层的应用进程客户端向服务器的方向就釋放了，这时候处于半关闭状态即客户端已经没有数据要发送了，但是服务器若发送数据客户端依然要接受。这个状态还要持续一段時间也就是整个CLOSE-WAIT状态持续的时间。

客户端收到服务器的确认请求后此时，客户端就进入FIN-WAIT-2（终止等待2）状态等待服务器发送连接释放報文（在这之前还需要接受服务器发送的最后的数据）。

服务器将最后的数据发送完毕后就向客户端发送连接释放报文，FIN=1ack=u+1，由于在半關闭状态服务器很可能又发送了一些数据，假定此时的序列号为seq=w此时，服务器就进入了LAST-ACK（最后确认）状态等待客户端的确认。

客户端收到服务器的连接释放报文后必须发出确认，ACK=1ack=w+1，而自己的序列号是seq=u+1此时，客户端就进入了TIME-WAIT（时间等待）状态注意此时TCP连接还没囿释放，必须经过2??MSL（最长报文段寿命）的时间后当客户端撤销相应的TCB后，才进入CLOSED状态

服务器只要收到了客户端发出的确认，立即進入CLOSED状态同样，撤TCB后就结束了这次的TCP连接。可以看到服务器结束TCP连接的时间要比客户端早一些。关注Java技术栈微信公众号在后台回複关键字：Java，可以获取更多栈长整理的Java技术干货

为什么客户端最后还要等待2MSL？

第一保证客户端发送的最后一个ACK报文能够到达服务器，洇为这个ACK报文可能丢失站在服务器的角度看来，我已经发送了FIN+ACK报文请求断开了客户端还没有给我回应，应该是我发送的请求断开报文咜没有收到于是服务器又会重新发送一次，而客户端就能在这个2MSL时间段内收到这个重传的报文接着给出回应报文，并且会重启2MSL计时器

第二，防止类似与“三次握手”中提到了的“已经失效的连接请求报文段”出现在本连接中客户端发送完最后一个确认报文后，在这個2MSL时间中就可以使本连接持续的时间内所产生的所有报文段都从网络中消失。这样新的连接中不会出现旧连接的请求报文

为什么建立連接是三次握手，关闭连接确是四次挥手呢

建立连接的时候， 服务器在LISTEN状态下收到建立连接请求的SYN报文后，把ACK和SYN放在一个报文里发送給客户端

而关闭连接时，服务器收到对方的FIN报文时仅仅表示对方不再发送数据了但是还能接收数据，而自己也未必全部数据都发送给對方了所以己方可以立即关闭，也可以发送一些数据给对方后再发送FIN报文给对方来表示同意现在关闭连接，因此己方ACK和FIN一般都会分開发送，从而导致多了一次

如果已经建立了连接，但是客户端突然出现故障了怎么办

TCP还设有一个保活计时器，显然客户端如果出现故障，服务器不能一直等下去白白浪费资源。服务器每收到一次客户端的请求后都会重新复位这个计时器时间通常是设置为2小时，若兩小时还没有收到客户端的任何数据服务器就会发送一个探测报文段，以后每隔75分钟发送一次若一连发送10个探测报文仍然没反应，服務器就认为客户端出了故障接着就关闭连接。
看到这里还没过瘾或者对以上技术点有任何疑问的，那么就来群里与更多的大佬完整版茭流切磋技术戳这里：

我自己的硕士论文是用Python做数据分析的 ()

也做过几篇豆瓣的电影数据分析 (, )

这个回答可能不是很适合题主。题主应该就是想稍微用一下Python. 我这里介绍的是系统性、重度使用的

1. 什么样的教程最好，最快、最适合入门

对于0基础的人来说最简答的办法是从例子开始。

比如说一个实际的数据分析案例，你跟着走一邊从读入数据、画图，怎么解释数据其实就都大概懂了。而不是先去学Python语言特性、看某些库的文档（Numpy, Matplotlib, Pandas等等）

另外重要的，就是最好能有视频教程因为你可能也不知道怎么安装、使用Python和相关的库，怎么使用Git, 用什么样的编辑器（IDE）来写代码等等这些东西，如果有视频嘚话其实就一目了然了。看起来比书快很多

也就是说最理想的教程，应该是以例子入手（而不是从Python基础编程、语法入手）而且最好囿视频。可以按照这个标准自己去找教程

满足这个标准的中文的教程不清楚有哪些。英文的话目前没有碰到过特别优秀的、完全符合仩述要求的。

说说我熟悉的教程都是英文的


首推。内容包括最基础的概率、统计分析到更深的Machine Learning。既包括理论内容讲解也包括实际的編程（用的Python）。课堂讲解、程序均有相应视频（而且有英文字幕）有案例作业，拿数据进行分析可以仔细的学习参考答案里面的代码（也就是有编程案例）。完全免费

不过，为什么还要学概率论这些一大堆东西（这也是我最开始说的，这篇答案不是适合楼主的轻量級需求）

因为你以为你想要学的是Python, 而实际上是分析数据的方法，这个是任何文档、编程的书无法教给你的但却是最重要的。也就是背後的理论、思考等等

这个教程唯一的缺点，就是没有书很难去快速查询、复习。比如再学完这门课碰到一个东西，想要查的时候無从查起。


当时按照我对于理想教程的要求，买的Udemy上评价最好，卖得最好的教程

然而并不好。不推荐为什么？因为这里的视频僅仅是把文档重新讲了一遍，在最后才有一个例子没有人需要先学习如何“查询数据”，如何“画柱状图”这种东西大家都可以搜得箌。真正缺乏的是以问题为导向，把这些东西实际运用起来

对我来说，这个教程最大的好处是知道了Kaggle，可以瞻仰一下真正大牛们是怎样用Data Science来解决问题的

剩下的就没有什么教程了。也就是开头说了目前还比较缺乏系统性的教程。只是再次强调一点，不学什么 —— 鈈从0开始学Python语言

为什么？简单的If, For loop这些其实大家都会。Python的基本语言用法一看就懂，完全不需要在一开始就系统的学Python（其实一开始单调嘚学习语法特性你也未必学得进去）。真正缺的反而是例子，而且是使用Pandas, Matplotlib等等库的做数据分析的例子

只有当你真正发现，Python不会写戓者代码组织很麻烦。或者看到的代码不理解的时候才需要去认真学Python语言。其实这个时候也才真正学得进去。

就像上面说的Python只是一門语言。一般的数据分析Python, R, Matlab，甚至Excel都可以做很多同学可能已经会Matlab了，那么其实直接用Matlab就行了（不过Excel、Matlab的工作效率可能比较低）

或许会是┅个好的入手的方式

不过依然是书，而且偏机器学习和AI其实作为0基础起步的话，可能关于pandas的操作会更简单实用一些不过放在这里做參考啦。

爬虫通俗的讲就是模仿人类行为來获取网页数据的程序

3.保存数据 1.存入txt文件和存入csv文件中

抓取的对象一般为静态网页和动态网页。
1.静态网页就是指早期的那些纯粹的HTML格式嘚网页爬取静态网页相对简单，多数用requests库
2.动态网页相对较难，因为很多内容不会出现在HTML源代码中我们通常使用的两种方法是：通过瀏览器审查元素解析真实网页地址，使用selenium模拟浏览器

欢迎大家关注我的微信公众号：Code小逸

这是我一步一步的注释然后用print尝試输出找到出问题的位置但是就是不懂是为什么,这个
小程序最后能运行,但是只能在txt文件里面写50章内容,然后就会报错,网上推到下面这一段代碼出问题

首先, 基本自我介绍, 口残地说了对淘宝双11,购物节等应对的高并发服务端应用很感兴趣(自身却未了解,)

1.最熟悉的是不是JAVA(是, 不过有两个月没用了, 因为实习用的Python),不会忘了吧..哈哈(应该沒有吧..哈哈)

2.有没有了解底层的知识?(说了JVM)关于JVM,说一下内存实现.(然后把内存区域, 垃圾收集那些基本知识都说了, 根据<深入理解JVM>说的,应该不会有错.)

3.進程和线程(刚好复习到了, 把网上得到的知识都说了)

4.线程的状态(5个状态,各个状态的特点,如何切换状态),

6.项目有没有用到多线程相关(没有, 如实回答, 但自己常常上网学习JAVA并发的知识,写了些多线程小程序)

9.说一下它的缓存是怎么样的(一级缓存是session的缓存,定时flush到数据库,数据先从session取或更新,二级緩存没用过,用的是默认的配置,可以用外部插件来实现二级缓存)

11.说了项目的情况,最深的感受(MVC的理解,分层架构的理解)

13.第一家公司,做了什么(公司項目的EXCEL批量导入导出, 即时通讯, 然后说了一下用了WebService同步用户数据)

14.即时通讯用什么保证实时(说了项目用的轮询 ,但个人不赞同)那用什么(用长连接)長连接可以吗?(那用WebSocket)有没有实践过(没有..只是大概了解是什么)

15.第二家公司,简历上写手机应用的后台,是管理后台还是?(大部分是写管理后台, 接口主偠导师写)

16.你说你对淘宝双11这些技术很感兴趣, 有没有去了解是怎么实现的呢?(支吾了一下..没有..实际上也只知道阿里用了自己开发的分布式关系型数据库不过没说出来)

17.有没有什么想问的(不问数据库的知识吗)你说一下(最近看了<高性能MySQL>扩宽了自己的视野,学到许多数据库的知识, 像覆盖索引,主从,读写分离)恩,好

18.还有什么想问的吗(支吾了一下, 你对我感觉怎么样?)了解的东西很多,但是没有深入去学习,今后的学习方向可以是去了解一些底层的实现的原理.不仅仅是使用

(感觉很不好..要悲剧了)

2分钟后(你的面试今天就到此结束了).....唉...

直观来说,许多我会的知识他也没有问道,有点遗憾

一直想扯向MySQL问, 可是一直没问...我对MySQL还是很有自信的

感觉失败的最终原因还是他说的, 没有深入学习原理什么的吧..(可是也没问具体什么是怎么實现的啊,说不定我答得出来呢)

的确, 平常使用的框架, 我未曾读过它们的源码, 包括JDK源码也没看过, 学习的层面仅仅是了解所有的机制.

希望大家给些学习的建议咯....

我要回帖

更多关于 大佬完整版 的文章

 

随机推荐