Python中使用Threads和Queue给tornado添加客户端
1 Python中使用Threads和Queue给tornado添加客户端
在使用tornado实现web服务器时,遇到需要使用客户端反向发送POST请求。在Handler中直接使用tornado客户端发送请求,服务端性能会受到影响,如果使用异步客户端(AsyncHTTPClient)会有所提高,异步客户端是短连接的,同样不符合需求。于是想到了使用多线程,比较好的解决方式是在Handler中把请求数据放到共享数据段,客户端的发送线程读取共享数据并发送。查了multiprocessing和threading,发现直接使用threading.Thread和Queue最简单。
from threading import Thread
from Queue import Queue
if __name__ == "__main__":
q = Queue()
def client_handler(q, i):
client = httpclient.HTTPClient()
print("client%d handler started "%(i))
while True:
msg = q.get()
try:
resp = client.fetch(settings.get('mms_url', ''), method='POST', user_agent='MMSC Simulator', body=msg, headers={'soapAction': '""', 'x-mmsc-msg-from': 'mm7', 'Mime-Version': '1.0', 'Content-Type': 'text/xml; charset=utf-8', 'Content-Transfer-Encoding':'8bit', 'Connection': 'Keep-alive'})
if resp.error:
print("Error", resp.error)
except:
print("Error Resp: ")
print("client%d handler stopped %d %d"%(i, success, failed))
application = tornado.web.Application([
(settings.get('mmsc_path', r'/mms/'), MainHandler, dict(queue = q)),
( r'/was/', WasHandler, dict(queue = q)),
], **settings)
for i in range(10):
t = Thread(target=client_handler, args = (q,i))
t.daemon = True
t.start()
application.listen(settings.get('mmsc_port', 8000), address="0.0.0.0")
tornado.ioloop.IOLoop.instance().start()
q.join()
发现自己开辟线程中不能使用AsyncHTTPClient,找了下tornado的代码,没找到具体原因,有时间在深入了解下torando。
在tornado web服务器中,为了解决反向POST请求影响性能的问题,本文介绍了如何利用Python的Threads和Queue创建客户端。通过在Handler中将请求数据放入Queue,由独立的线程读取并使用AsyncHTTPClient发送,以实现并发处理,提高服务效率。

582

被折叠的 条评论
为什么被折叠?



