使用Python提供高性能计算服务

前言

成都创新互联公司专注于阳高网站建设服务及定制，我们拥有丰富的企业做网站经验。热诚为您提供阳高营销型网站建设，阳高网站制作、阳高网页设计、阳高网站官网定制、小程序开发服务，打造阳高网络公司原创品牌,更为您提供阳高网站排名全网营销落地服务。

python具有丰富的库，并且很容易作为胶水语言很容易与c/c++进行交互集成。

因此为了适应快速变化的业务和兼顾计算效率，在上层采用python作为server提供service，在底层采用c/c++进行计算是一种对于算法开发者非常适宜的方式。

python flask库提供http接口以及相关demo页面，gunicorn提供多核并行能力，底层c++库提供单线程上的计算。

下面通过一个例子说明这种架构。代码地址：python_hps

准备

在实验开始之前，需要安装flask、gunicorn、apach bench tool等工具。

注：所有实验均在linux系统中进行。测试机器为4核虚拟机。

 
 
 
 
  
  
  
  sudo pip install flask 
  
  
  
  sudo pip install gunicorn 
  
  
  
  sudo apt-get install apache2-utils

计算

计算部分模拟真实计算，因此计算量比较大，在我测试的虚拟机上单核单线程跑400ms左右。

c++核心计算部分，随便写的：

 
 
 
 
  
  
  
  API_DESC int foo(const int val) 
  
  
  
  { 
  
  
  
      float result = 0.0f; 
  
  
  
      for(int c=0;c<1000;c++) 
  
  
  
      { 
  
  
  
          for(int i=0;i
  
  
  
  
        { 
  
  
  
              result += (i); 
  
  
  
              result += sqrt((float)(i*i)); 
  
  
  
              result += pow((float)(i*i*i),0.1f); 
  
  
  
          } 
  
  
  
      } 
  
  
  
      return (int)result; 
  
  
  
  }

python wrapper，采用ctypes：

 
 
 
 
  
  
  
  #python wrapper of libfoo 
  
  
  
  class FooWrapper: 
  
  
  
      def __init__(self): 
  
  
  
          cur_path = os.path.abspath(os.path.dirname(__file__)) 
  
  
  
          self.module = ctypes.CDLL(os.path.join(cur_path,'./impl/libfoo.so')) 
  
  
  
      def foo(self,val):     
  
  
  
          self.module.foo.argtypes = (ctypes.c_int,) 
  
  
  
          self.module.foo.restype = ctypes.c_int 
  
  
  
          result = self.module.foo(val) 
  
  
  
          return result

flask http API：

 
 
 
 
  
  
  
  @app.route('/api/foo',methods=['GET','POST']) 
  
  
  
  def handle_api_foo(): 
  
  
  
      #get input 
  
  
  
      val = flask.request.json['val'] 
  
  
  
      logging.info('[handle_api_foo] val: %d' % (val)) 
  
  
  
      #do calc 
  
  
  
      result = fooWrapper.foo(val) 
  
  
  
      logging.info('[handle_api_foo] result: %d' % (result)) 
  
  
  
      result = json.dumps({'result':result}) 
  
  
  
      return result

单核服务

首先测试python单核服务，同时也是单线程服务(由于python GIL的存在，python多线程对于计算密集型任务几乎起反作用)。

启动服务

在script目录下执行run_single.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  #python 
  
  
  
  export PYTHONIOENCODING=utf-8 
  
  
  
  #start server 
  
  
  
  cd `pwd`/.. 
  
  
  
  echo "run single pocess server" 
  
  
  
  python server.py 
  
  
  
  cd - 
  
  
  
  echo "server is started."

测试服务

另外打开一个终端，执行script目录下的bench.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

测试结果

CPU运转

ab测试结果

可以看出CPU只用了1个核，负载是2.44 request/second。

多核

启动服务

在script目录下执行run_parallel.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  #python 
  
  
  
  export PYTHONIOENCODING=utf-8 
  
  
  
  #start server 
  
  
  
  cd `pwd`/.. 
  
  
  
  echo "run parallel pocess server" 
  
  
  
  gunicorn -c gun.conf server:app 
  
  
  
  cd - 
  
  
  
  echo "server is started."

其中gun.conf是一个python脚本，配置了gunicorn的一些参数，如下：

 
 
 
 
  
  
  
  import multiprocessing 
  
  
  
  bind = '0.0.0.0:4096' 
  
  
  
  workers = max(multiprocessing.cpu_count()*2+1,1) 
  
  
  
  backlog = 2048 
  
  
  
  worker_class = "sync" 
  
  
  
  debug = False 
  
  
  
  proc_name = 'foo_server'

测试服务

另外打开一个终端，执行script目录下的bench.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

测试结果

CPU运转

ab测试结果

可以看出CPU用满了4个核，负载是8.56 request/second。是单核的3.5倍左右，可以任务基本达成多核有效利用的的目的。

总结

使用flask、gunicorn基本可以搭建一个用于调试或者不苛责过多性能的服务，用于算法服务提供非常方便。本文提供该方案的一个简单示例，实际业务中可基于此进行修改完善。

分享题目：使用Python提供高性能计算服务
本文URL：http://www.csdahua.cn/qtweb/news44/493294.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：快上网

成都快上网为您推荐相关内容