1、優(yōu)化算法時(shí)間
算法的時(shí)間復(fù)雜度對(duì)程序的執(zhí)行效率影響最大,在 Python 中可以通過(guò)選擇合適的數(shù)據(jù)結(jié)構(gòu)來(lái)優(yōu)化時(shí)間復(fù)雜度,如 list 和 set 查找某一個(gè)元素的時(shí)間復(fù)雜度分別是 O(n)和 O(1)。不同的場(chǎng)景有不同的優(yōu)化方式,總得來(lái)說(shuō),一般有分治,分支界限,貪心,動(dòng)態(tài)規(guī)劃等思想。
2、循環(huán)優(yōu)化
每種編程語(yǔ)言都會(huì)強(qiáng)調(diào)需要優(yōu)化循環(huán)。當(dāng)使用 Python 的時(shí)候,你可以依靠大量的技巧使得循環(huán)運(yùn)行得更快。然而,開發(fā)者經(jīng)常漏掉的一個(gè)方法是:
避免在一個(gè)循環(huán)中使用點(diǎn)操作。每一次你調(diào)用方法 str.upper,Python 都會(huì)求該方法的值。然而,如果你用一個(gè)變量代替求得的值,值就變成了已知的,Python 就可以更快地執(zhí)行任務(wù)。優(yōu)化循環(huán)的關(guān)鍵,是要減少 Python 在循環(huán)內(nèi)部執(zhí)行的工作量,因?yàn)?Python 原生的解釋器在那種情況下,真的會(huì)減緩執(zhí)行的速度。(注意:優(yōu)化循環(huán)的方法有很多,這只是其中的一個(gè)。例如,許多程序員都會(huì)說(shuō),列表推導(dǎo)是在循環(huán)中提高執(zhí)行速度的最好方式。這里的關(guān)鍵是,優(yōu)化循環(huán)是程序取得更高的執(zhí)行速度的更好方式之一。)
3、函數(shù)選擇
在循環(huán)的時(shí)候使用 xrange 而不是 range;使用 xrange 可以節(jié)省大量的系統(tǒng)內(nèi)存,因?yàn)?xrange() 在序列中每次調(diào)用只產(chǎn)生一個(gè)整數(shù)元素。而 range()將直接返回完整的元素列表,用于循環(huán)時(shí)會(huì)有不必要的開銷。在 python3 中 xrange 不再存在,里面 range 提供一個(gè)可以遍歷任意長(zhǎng)度的范圍的 iterator。
4、并行編程
因?yàn)?GIL 的存在,Python 很難充分利用多核 CPU 的優(yōu)勢(shì)。但是,可以通過(guò)內(nèi)置的模 multiprocessing 實(shí)現(xiàn)下面幾種并行模式:
多進(jìn)程:對(duì)于 CPU 密集型的程序,可以使用 multiprocessing 的 Process,Pool 等封裝好的類,通過(guò)多進(jìn)程的方式實(shí)現(xiàn)并行計(jì)算。但是因?yàn)檫M(jìn)程中的通信成本比較大,對(duì)于進(jìn)程之間需要大量數(shù)據(jù)交互的程序效率未必有大的提高。
多線程:對(duì)于 IO 密集型的程序,multiprocessing.dummy 模塊使用 multiprocessing 的接口封裝 threading,使得多線程編程也變得非常輕松(比如可以使用 Pool 的 map 接口,簡(jiǎn)潔高效)。
布式:multiprocessing 中的 Managers 類提供了可以在不同進(jìn)程之共享數(shù)據(jù)的方式,可以在此基礎(chǔ)上開發(fā)出分布式的程序。
不同的業(yè)務(wù)場(chǎng)景可以選擇其中的一種或幾種的組合實(shí)現(xiàn)程序性能的優(yōu)化。
5、使用性能分析工具
除了上面在 ipython 使用到的 timeit 模塊,還有 cProfile。cProfile 的使用方式也非常簡(jiǎn)單:python-mcProfilefilename.py,filename.py 是要運(yùn)行程序的文件名,可以在標(biāo)準(zhǔn)輸出中看到每一個(gè)函數(shù)被調(diào)用的次數(shù)和運(yùn)行的時(shí)間,從而找到程序的性能瓶頸,然后可以有針對(duì)性地優(yōu)化。
6、set 的用法
set 的 union,intersection,difference 操作要比 list 的迭代要快。因此如果涉及到求 list 交集,并集或者差的問(wèn)題可以轉(zhuǎn)換為 set 來(lái)操作。
7、PyPy
PyPy 是用 RPython(CPython 的子集)實(shí)現(xiàn)的 Python,根據(jù)官網(wǎng)的基準(zhǔn)測(cè)試數(shù)據(jù),它比 CPython 實(shí)現(xiàn)的 Python 要快 6 倍以上??斓脑蚴鞘褂昧?Just-in-Time(JIT)編譯器,即動(dòng)態(tài)編譯器,與靜態(tài)編譯器(如 gcc,javac 等)不同,它是利用程序運(yùn)行的過(guò)程的數(shù)據(jù)進(jìn)行優(yōu)化。由于歷史原因,目前 pypy 中還保留著 GIL,不過(guò)正在進(jìn)行的 STM 項(xiàng)目試圖將 PyPy 變成沒有 GIL 的 Python。如果 python 程序中含有 C 擴(kuò)展(非 cffi 的方式),JIT 的優(yōu)化效果會(huì)大打折扣,甚至比 CPython 慢(比 Numpy)。
所以在 PyPy 中最好用純 Python 或使用 cffi 擴(kuò)展。