作为一名Python爱好者，你懂网络编程吗？

yestreenstars

获奖名单已公布：http://bbs.chinaunix.net/thread-4168068-1-1.html

话题背景

Python是门很棒的语言，它可以用来做系统管理，也可以拿来做网络编程，甚至可以拿来开发网站、运维后台。越来越多的系统管理人员/运维开发人员喜欢用Python来编程，Python可以配合一些监控软件使用（比如Nagios），也可以根据自己的要求来实现某方面的监控。想用Python来做网络编程，那你多多少少应该了解TCP/IP协议和Python基础知识。Python丰富的第三方库使Python编程变得简单，大部分情况下我们都无需再造轮子。

讨论话题
1.说说你对TCP/IP协议的了解有多少。
2.说说你对Python基础知识的了解有多少。
3.说说你读完本章节后的感谢。（图书链接在下方）
4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。

讨论时间
2015-01-07至2015-01-26

活动奖励
活动结束后将选取4名分享精彩的童鞋，每人赠送一本《Python网络编程攻略》作为奖励。

奖品简介

作者：M.O.Faruque Sarker博士
译者：安道
出版社：人民邮电出版社
ISBN：9787115372697
出版时间：2014-12-01
开本：16开
页数：170
版次：1

作者简介

M. O. Faruque Sarker博士，是软件架构师，开发运维工程师，最近几年主持开发了很多Python软件项目。他是多种开源技术方面的专家，对于在线学习平台、Web应用平台、敏捷软件开发等技术有深入的研究。从1999年开始，他一直在部署Linux和开源软件。他应邀参与了2009年和2010年的谷歌编程之夏，为开源项目BlueZ和Tahoe-LAFS做出了贡献。目前他在英国伦敦大学学院工作，研究方向是自组织云架构。

内容简介

《图灵程序设计丛书：Python网络编程攻略》介绍了现实世界中几乎所有网络任务的真实示例，通过简明易懂的形式让读者掌握如何使用Python完成这些网络编程任务。具体说来，书中通过70多篇攻略讨论了Python网络编程的高阶话题，包括编写简单的网络客户端和服务器、HTTP协议网络编程、跨设备编程、屏幕抓取以及网络安全监控，等等。本书可以作为任何一门网络编程课程中培养实践技能的补充材料。《图灵程序设计丛书：Python网络编程攻略》需要读者对Python语言及TCP/IP等基本的网络概念有了解，但即使不精通也能通过本书理解相关概念。

《图灵程序设计丛书：Python网络编程攻略》适合网络程序员、系统/网络管理员及Web应用程序开发人员阅读。

在线试读
http://www.ituring.com.cn/book/1484

tc1989tc

支持！以前看过一些基础

send_linux

tc1989tc 发表于 2015-01-07 11:47
支持！以前看过一些基础

欢迎大家多交流：）

wenhq

1.说说你对TCP/IP协议的了解有多少。
TCP/IP协议族是一个很庞大的协议系统。里面涵盖了好多东西，如常规的UDP，TCP,tcp有限状态机，慢启动，快速恢复，拥塞机制，滑动窗口，各种算法,还有一些多路复用，分组交换。
对于TCP/IP中应用最多的就是LVS。其搭配的工具有tcpdump tshark  snoop
2.说说你对Python基础知识的了解有多少。
python基础还算可以把，个人觉得基础一般般。还有好多个方面需要学习。比如：GIL，私有属性和私有变量，装饰器和生成器，此外还有元编程，这算是比较高级一些的？
3.说说你读完本章节后的感谢。（图书链接在下方）
书写的很不错，编排的循序渐进。很不错，比较喜欢。
但需要有一定的基础才可行。
4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。

1. #!/usr/bin/python           # This is server.py file
   
2. 
   
3. import socket               # Import socket module
   
4. 
   
5. s = socket.socket()         # Create a socket 对象
   
6. host = socket.gethostname() # Get local machine name
   
7. port = 12345                # Reserve a port for your service.
   
8. s.bind((host, port))        # Bind to the port
   
9. 
   
10. s.listen(5)                 # Now wait for client connection.
    
11. while True:
    
12.    c, addr = s.accept()     # Establish connection with client.
    
13.    print 'Got connection from', addr
    
14.    c.send('Thank you for connecting')
    
15.    c.close()                # Close the connection

复制代码

1. 
   
2. # -*- utf-8 -*-
   
3. 
   
4. import urlparse
   
5. import datetime
   
6. import os
   
7. from multiprocessing import Process,Queue,Array,RLock
   
8. 
   
9. """
   
10. 多进程分块读取文件
    
11. """
    
12. 
    
13. WORKERS = 8
    
14. BLOCKSIZE = 2000000
    
15. FSIZE = 0
    
16. 
    
17. def getFilesize(file):
    
18.     """
    
19.         获取文件的大小
    
20.     """
    
21.     global FILE_SIZE
    
22.     fstream = open(file,'r')
    
23.     fstream.seek(0,os.SEEK_END)
    
24.     FILE_SIZE = fstream.tell()
    
25.     fstream.close()
    
26. 
    
27. def process_found(pid,array,file,rlock):
    
28.     global FSIZE
    
29.     global JOB
    
30.     global PREFIX
    
31.     """
    
32.         进程处理
    
33.         Args:
    
34.             pid:进程编号
    
35.             array:进程间共享队列，用于标记各进程所读的文件块结束位置
    
36.             file:所读文件名称
    
37.         各个进程先从array中获取当前最大的值为起始位置startpossition
    
38.         结束的位置
    
39.        endpossition (startpossition+BLOCKSIZE) if (startpossition+BLOCKSIZE)<FILE_SIZE else FILE_SIZE
    
40.         if startpossition==FILE_SIZE则进程结束
    
41.         if startpossition==0则从0开始读取
    
42.         if startpossition!=0为防止行被block截断的情况，先读一行不处理，从下一行开始正式处理
    
43.         if 当前位置 <=endpossition 就readline
    
44.         否则越过边界，就从新查找array中的最大值
    
45.     """
    
46.     fstream = open(file,'r')
    
47.      
    
48.     while True:
    
49.         rlock.acquire()
    
50.         print 'pid%s'%pid,','.join([str(v) for v in array])
    
51.         startpossition = max(array)           
    
52.         endpossition = array[pid] = (startpossition+BLOCKSIZE) if (startpossition+BLOCKSIZE)<FILE_SIZE else FILE_SIZE
    
53.         rlock.release()
    
54.          
    
55.         if startpossition == FSIZE:#end of the file
    
56.             print 'pid%s end'%(pid)
    
57.             break
    
58.         elif startpossition !=0:
    
59.             fstream.seek(startpossition)
    
60.             fstream.readline()
    
61.         pos = ss = fstream.tell()
    
62.         ostream = open('/test/down/tmp_pid'+str(pid)+'_jobs'+str(endpossition),'w')
    
63.         while pos<endpossition:
    
64.             #处理
    
65.             line = fstream.readline()                       
    
66.             ostream.write(line)
    
67.             pos = fstream.tell()
    
68. 
    
69.         print 'pid:%s,startposition:%s,endposition:%s,pos:%s'%(pid,ss,pos,pos)
    
70.         ostream.flush()
    
71.         ostream.close()
    
72.         ee = fstream.tell()      
    
73. 
    
74.     fstream.close()
    
75. 
    
76. def main():
    
77.     global FILE_SIZE
    
78.     print datetime.datetime.now().strftime("%Y/%d/%m %H:%M:%S")
    
79.      
    
80.     file = "/test/download/exampl/access_nginx.log"
    
81.     getFilesize(file)
    
82.     print FSIZE
    
83.      
    
84.     rlock = RLock()
    
85.     array = Array('l',WORKERS,lock=rlock)
    
86.     threads=[]
    
87.     for i in range(WORKERS):
    
88.         p=Process(target=process_found, args=[i,array,file,rlock])
    
89.         threads.append(p)
    
90. 
    
91.     for i in range(WORKERS):
    
92.         threads[i].start()
    
93.      
    
94.     for i in range(WORKERS):
    
95.         threads[i].join()
    
96. 
    
97.     print datetime.datetime.now().strftime("%Y/%d/%m %H:%M:%S")
    
98. 
    
99. if __name__ == '__main__':
    
100.     main()

复制代码

qxhgd

1.说说你对TCP/IP协议的了解有多少。
   深入研读过《深入linux网络技术内幕》《tcp ip详解》，对协议栈的实现有深入的认识；
   开发的产品，与路由器类似，因此对各种协议如ipv4、ipv6、tcp、udp、ftp、dhcp、pppoe、dns、dslite、6rd等都比较熟悉；
2.说说你对Python基础知识的了解有多少。
   学习过两本python入门的书籍，对python的语法、函数式编程等比较熟悉；
   可以使用python写些简单程序，如网络爬虫、邮件相关、socket相关、读写文件、模拟浏览器登录等；
   近期准备在python的网络编程上发力。

3.说说你读完本章节后的感谢。（图书链接在下方）
书写的很好，尤其是原理与实际的编码演练相结合，很多代码可以直接使用，
相信本书可以带领python爱好者进入python网络编程的殿堂；
另外，本人近期有向互联网方向转的意向，希望本书可以助我一臂之力！

4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。
   下面这段代码的功能是发送一个封邮件，标题是“python email test”，内容是“你好”。

1. #!/usr/bin/env python3  
   
2. #coding: utf-8  
   
3. import smtplib  
   
4. from email.mime.text import MIMEText  
   
5. from email.header import Header  
   
6.   
   
7. sender = '***'  
   
8. receiver = '***'  
   
9. subject = 'python email test'  
   
10. smtpserver = 'smtp.163.com'  
    
11. username = '***'  
    
12. password = '***'  
    
13.   
    
14. msg = MIMEText('你好','text','utf-8')#中文需参数‘utf-8’，单字节字符不需要  
    
15. msg['Subject'] = Header(subject, 'utf-8')  
    
16.   
    
17. smtp = smtplib.SMTP()  
    
18. smtp.connect('smtp.163.com')  
    
19. smtp.login(username, password)  
    
20. smtp.sendmail(sender, receiver, msg.as_string())  
    
21. smtp.quit()  

复制代码

非常感谢！

yjphhw

1.说说你对TCP/IP协议的了解有多少。
    我对tcp/ip的了解主要通过 http协议分析来的。因为在做一些网络安全的工作。需要进行Http协议的分析，
以及对构成http 协议的底层tcp/ip协议要了解。特别是进行数据转发，ip路由选路,修改ip包的地址.TCP协议里
因为只是接触了SOCKET通信，建立一个代理服务器，可以做为中间人，话说http协议一点不安全，Https有
优点。

2.说说你对Python基础知识的了解有多少。
    现在的工作都是用python来完成的，所以基础是有的，呵呵。做的很杂，pyQt 做过，
web框架django等也做过，现在接触http协议较多。

3.说说你读完本章节后的感谢。（图书链接在下方）
    以前看过《python网络编程》。看了本书的目录感到比较实用，作者的写作态度较好，很认真。
    希望得到这本书，哈哈
4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。
实现一个简单的http代理服务器

1. #-*- coding: UTF-8 -*-
   
2. import socket,select
   
3. import sys
   
4. import thread
   
5. from multiprocessing import Process
   
6. class Proxy:
   
7.     def __init__(self,client):
   
8.         self.client=client
   
9.         self.target=None
   
10.         self.request_url=None
    
11.         self.BUFSIZE=4096
    
12.         self.method=None
    
13.         self.targetHost=None
    
14.     def getClientRequest(self):
    
15.         request=self.client.recv(self.BUFSIZE)
    
16.         if not request:
    
17.             return None
    
18.         cn=request.find('\n')
    
19.         firstLine=request[:cn]
    
20.         #print firstLine[:len(firstLine)-9]
    
21.         line=firstLine.split()
    
22.         self.method=line[0]
    
23.         self.targetHost=line[1]
    
24.         return request
    
25.     def commonMethod(self,request):
    
26.         tmp=self.targetHost.split('/')
    
27.         net=tmp[0]+'//'+tmp[2]
    
28.         request=request.replace(net,'')
    
29.         targetAddr=self.getTargetInfo(tmp[2])
    
30.         try:
    
31.             (fam,_,_,_,addr)=socket.getaddrinfo(targetAddr[0],targetAddr[1])[0]
    
32.         except Exception as e:
    
33.             print e
    
34.             return
    
35.         self.target=socket.socket(fam)
    
36.         self.target.connect(addr)
    
37.         self.target.send(request)
    
38.         self.nonblocking()
    
39.     def connectMethod(self,request): #对于CONNECT处理可以添加在这里
    
40.         pass
    
41.     def run(self):
    
42.         request=self.getClientRequest()
    
43.         if request:
    
44.             if self.method in ['GET','POST','PUT',"DELETE",'HAVE']:
    
45.                 self.commonMethod(request)
    
46.             elif self.method=='CONNECT':
    
47.                 self.connectMethod(request)
    
48.     def nonblocking(self):
    
49.         inputs=[self.client,self.target]
    
50.         while True:
    
51.             readable,writeable,errs=select.select(inputs,[],inputs,3)
    
52.             if errs:
    
53.                 break
    
54.             for soc in readable:
    
55.                 data=soc.recv(self.BUFSIZE)
    
56.                 if data:
    
57.                     if soc is self.client:
    
58.                         self.target.send(data)
    
59.                     elif soc is self.target:
    
60.                         self.client.send(data)
    
61.                 else:
    
62.                     break
    
63.         self.client.close()
    
64.         self.target.close()
    
65.     def getTargetInfo(self,host):
    
66.         port=0
    
67.         site=None
    
68.         if ':' in host:
    
69.             tmp=host.split(':')
    
70.             site=tmp[0]
    
71.             port=int(tmp[1])
    
72.         else:
    
73.             site=host
    
74.             port=80
    
75.         return site,port
    
76. 
    
77. class ProxyServer:
    
78.     def __init__(self,host,port):
    
79.         self.host=host
    
80.         self.port=port
    
81.         self.server = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    
82.         self.server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
    
83.     def run(self):
    
84.         self.server.bind((host,port))
    
85.         self.server.listen(5)
    
86.         while True:
    
87.             client,_=self.server.accept()
    
88.             thread.start_new_thread(Proxy(client).run,())
    
89.             # p=Process(target=Proxy(server).run, args=()) #多进程
    
90.             # p.start()
    
91. if __name__=='__main__':      
    
92.     host = '0.0.0.0'
    
93.     port = 8088
    
94.     print 'proxy server is  starting at',host,':',port
    
95.     ProxyServer(host,port).run()
    
96.    
    
97.    
    
98.    
    
99.         

复制代码

heritrix

1.说说你对TCP/IP协议的了解有多少。
   

之前做过网络爬虫和im即时通信系统，对tcp/ip有过一段学习，tcp/ip协议栈可以说是互联网的基础吧，整个协议栈非常庞大，对于之前的使用和学习而言，网络爬虫主要是使用应用层上的http协议，需要把http协议的请求响应机制理解好，session，cookies的原理实现。而即时通信系统使用的是tcp/udp协议，tcp实现心跳机制服务器与客户端的长连接，udp协议不保证连接可靠性，用作即时语音协议。

2.说说你对Python基础知识的了解有多少。
   

Python语言是一门脚本语言，具有非常简捷而清晰的语法特点，上手非常快，适合完成各种高层任务，例如网络爬虫，网站开发等。Python的很多功能都是以扩展模块的形式提供的。Python的内核很小巧，语法简单，很容易学习；Python强调代码的可读性，以缩排的方式省去冗余，代码给人的感觉很清爽、美观，python比java等编译型语言节约一半的代码量。但是Python运行时要做动态的类型检查，运行效率不如编译型语言。

3.说说你读完本章节后的感想。
   

看了试读章节，书上主要讲了python在开发应用层面的各种示例，适合python开发者学习，所有的示例都是与各种网络协议关联，基本上囊括了互联网大部分应用场景，可以帮助python开发者迅速掌握到各种实例的制作思路和方法。总体来说对python初学者是非常好也适合的一本书。

4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。
下面是一段爬取视频真事地址的案例：

1. import sys
   
2. import os
   
3. import time
   
4. import urllib2
   
5. import cStringIO, gzip
   
6. import lxml.html
   
7. import re
   
8. import json
   
9. import random
   
10. 
    
11. def createRequest(url, referer = None):
    
12.     req = urllib2.Request(
    
13.         urllib2.quote(url.split('#')[0].encode('utf8'), safe = "%/:=&?~#+!$,;'@()*[]"),
    
14.         headers = {"Accept": "application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5",
    
15.                    "Accept-Charset": "GBK,utf-8;q=0.7,*;q=0.3",
    
16.                    "Accept-Encoding": "gzip",
    
17.                    "Accept-Language": "zh-CN,zh;q=0.8",
    
18.                    "Cache-Control": "max-age=0",
    
19.                    "Connection": "keep-alive",
    
20.                    "User-Agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2",
    
21.         })
    
22.      
    
23.     if referer is not None:
    
24.         req.add_header('Referer', referer)
    
25.     return req
    
26. 
    
27. def getContent(url, referer = None):
    
28.     f = urllib2.urlopen(createRequest(url, referer), timeout = 15)
    
29.     data = f.read()
    
30.     if data[:6] == '\x1f\x8b\x08\x00\x00\x00':
    
31.         data = gzip.GzipFile(fileobj = cStringIO.StringIO(data)).read()
    
32.     f.close()
    
33.      
    
34.     return data
    
35. 
    
36. def getCdnUrl(apiUrl, referer = None):
    
37.     content = getContent(apiUrl, referer)
    
38.     data = json.loads(content)
    
39.     token = data['token']
    
40.     for resource in data['fsps']:
    
41.         fspUrl = resource['url']
    
42.         if resource['clarity'] == 'super-dvd':
    
43.             fspUrl = resource['url']
    
44. 
    
45.     fsp = re.findall("fsp://(\w+)", fspUrl)[0]
    
46.     if fsp == '':
    
47.         return None
    
48.     else:
    
49.         timestamp = int(time.time())
    
50.         cdnUrl = ''.format(fsp, timestamp, token)
    
51.         return cdnUrl
    
52. 
    
53. def getPlayUrl(cdnUrl, referer = None):
    
54.     content = getContent(cdnUrl, referer)
    
55.     data = json.loads(content)
    
56.     if data['return'] == 'succ':
    
57.         playUrls = data['playlist'][0]['urls']
    
58.         return playUrls[random.randint(0, len(playUrls)-1)]
    
59.     return None
    
60. 
    
61. if __name__ == '__main__':
    
62.     if len(sys.argv) < 2 or sys.argv[1].startswith('http') is None:
    
63.         print 'Usage: python '
    
64.         print 'Please input the url to be parse'
    
65.         sys.exit()
    
66. 
    
67.     videoUrl = sys.argv[1]
    
68.     vid = int(re.findall("vplay/m-(\d+)", videoUrl)[0])
    
69.     apiUrl = ''.format(vid)
    
70.     cdnUrl = getCdnUrl(apiUrl, videoUrl)
    
71.     playUrl = getPlayUrl(cdnUrl, videoUrl)
    
72.     print playUrl

复制代码

groundsea

1.说说你对TCP/IP协议的了解有多少。
移动通信行业工作多年，熟悉TCP/IP协议栈，多年TCP/IP开发测试经验。使用过TCP/UDP/RAW三种基本socket。

2.说说你对Python基础知识的了解有多少。
不多，用python做过一些文件处理工作，主要用于分析wireshark抓包文件中的报文，如找出重复报文，分析报文延时等。

3.说说你读完本章节后的感谢。（图书链接在下方）
本书看起来比较务实，应该能作为平常工作中的手册书。

4.请给出一段跟网络编程相关的Python代码并简单说明一下它的功能。
srv.py:
from socket import *
host = ''
port = 15926
addr = (host, port)
bufsize = 1500
s = socket(AF_INET, SOCK_DGRAM)
s.bind(addr)

while True:
        data, addr2 = s.recvfrom(bufsize)
        print data
        s.sendto(data, addr2)
s.close()

cli.py:
from socket import *
host = '127.0.0.1'
port = 15926
addr = (host, port)
bufsize = 1500
s = socket(AF_INET, SOCK_DGRAM)

while True:
        data = raw_input('> ')
        if not data:
                break
        s.sendto(data, addr)
        data2, addr2 = s.recvfrom(bufsize)
        print data2
s.close()

最基本的python客户端服务器程序，客户端输入一串字符，发给服务器，服务器收到后打印并发回客户端，客户端再回显。

欧利斯基

c11v11

回复 10# groundsea

你是怎么把python 跟wireshark结合在一起用的？ 如何分析数据包呢？