1.背景

在python運(yùn)行一些，計(jì)算復(fù)雜度比較高的函數(shù)時(shí)，服務(wù)器端單核CPU的情況比較耗時(shí)，因此需要多CPU使用多進(jìn)程加快速度

2.函數(shù)要求

筆者使用的是：pathos.multiprocessing 庫(kù)，進(jìn)度條顯示用tqdm庫(kù)，安裝方法：

            
pip install pathos
          

安裝完成后

            
from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm
          

這邊使用pathos的原因是因?yàn)?，multiprocessing 庫(kù)中的Pool 函數(shù)只支持單參數(shù)輸入，例如 f(x) = x**2，而不能處理 f (x,y) = x+y 這類的函數(shù)

更不用說一些需要參數(shù)的函數(shù) 例如：F(x , alpha=0.5, gamma = 0.1) 這樣。

3.代碼

定義一個(gè) 函數(shù) F [ X ] ,其中，輸入X是可以在第一個(gè)維度上迭代的array, 大?。篬 num_X, len ] , 在第一維度 num_X 上進(jìn)行迭代。

            
def F(X,lamda=10,weight=0.05):
  res={} 
  res.update(F_1(X,lamda=lamda,weight=weight))
  res.update(F_2(X,lamda=lamda,weight=weight))
  return res
          

x 是 F 的輸出，是一個(gè)dict (字典格式)

這里的兩個(gè)函數(shù)超參數(shù) lamda 和 weight 雖然每次調(diào)用的時(shí)候值是一樣的，但是還是需要放一個(gè)數(shù)組每次用于迭代。

            
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
    for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
      X[i,:] = [x[key] for key in x.keys()]
      Y[i,] = 0
      t.update()
  pool.close()
  pool.join()
          

4.結(jié)果

mutiprocess 加速前

mutiprocess 加速后

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。