爱彩网

干貨:如何從系統層面優化深度學習計算?

問說網 · 發布于 2018-05-21 · 字數12160 · 瀏覽 1114 · 評論 0

在圖像、語音識別、自然語言處理、強化學習等許多技術領域中,深度學習已經被證明是非常有效的,并且在某些問題上已經達到甚至超越了人類的水平。然而,深度學習對于計算能力有著很大的依賴,除了改變模型和算法,是否可以從系統的層面來優化深度學習計算,進而改善計算資源的使用效率?本文中,來自微軟亞洲研究院異構計算組資深研究員伍鳴與大家分享他對深度學習計算優化的一些看法。

深度學習在近幾年里取得了巨大的進步,它已經或者是有望成功地被應用在我們許多生活場景中,比如自動駕駛、安防、翻譯、醫療等等。可以說,計算機的計算和通信能力的大幅提升是促使深度學習成功的重要因素。

深度學習為什么依賴于超大的計算能力?

首先,深度學習本質上是基于統計的科學,所以大規模的樣本數據對于深度學習的效果是至關重要的。其次,更大規模和更復雜的神經網絡模型已經被證明非常有效,并在產品中有廣泛的使用,這同時也產生了對計算能力的更大要求和消耗。舉個例子,具有8層神經元的AlexNet網絡2012年在ImageNet數據集上取得16%的錯誤率,該網絡的一次迭代運行大約需要1.4 GFLOP的計算量。而微軟提出的使用152層神經元的殘差網絡(ResNet)于2015年在該數據集上取得3.5%的錯誤率,其一次迭代的計算量大約是22.6GFLOP,是AlexNet的16倍。在當今的生產環境中,圖像、語音以及自然語言處理相關的模型,例如人臉識別、語音轉文字、機器翻譯等,即使給予相當多的計算資源,很多仍需要幾周的時間才能完成訓練。

再次,深度學習模型是迅速迭代的。在AI領域,每年學術界和工業界都會提出大量的新模型。對每一個實際的問題,開發者需要不斷嘗試不同的模型和算法,甚至對于同一種模型算法,也需要去反復調試超參數以獲得最好的預測效果。可想而知,如果模型的每次訓練都要幾周的時間,那么尋找最優模型的過程會非常漫長和痛苦。

另外,模型的線上推理具有更加極致的性能要求。線上的服務具有硬性的服務等級協議(SLA),所以在實際部署大型模型時,需要手工重新優化在深度學習框架(如TensorFlow)上已經訓練好的模型,導致大量額外工程開銷的產生。

由此可見,進一步優化深度學習計算對于深度學習的快速發展和成功應用起著至關重要的作用。

深度學習計算優化的挑戰和機會

目前,優化深度學習的計算存在以下幾個主要的挑戰:

1)單機單計算單元(如GPU)的資源限制往往不能滿足對大規模數據和模型的處理要求,那么就需要使用多機多計算單元來橫向擴展計算的規模。如何才能最大限度地減少通信的開銷從而最大化多機的并行度?

2)如何優化神經網絡的計算使得它能夠把單個硬件計算單元的效率發揮到極致?

3)雖然許多硬件計算單元(GPU、FPGA等)的計算能力很強大,但是它們的內存資源(即設備內存)非常稀缺。當它們不能提供模型運行所需要的內存資源時,要么運算不能夠進行下去,要么就需要將計算所需的數據在主存和設備內存之間倒來倒去,帶來很大的運行開銷。如何才能更好地利用有限的設備內存資源從而不給計算效率帶來負面的影響?

4)深度學習開發者和研究人員通常只想關注神經網絡模型和算法本身,并不想被復雜的優化問題分散精力。這意味著深度學習框架這樣的系統軟件最好能夠實現自動優化,而對模型開發者透明。那么,如何對特定的優化做合理的抽象使其更加靈活通用、更加容易地集成在系統框架中便是需要認真考慮的問題。

事實上,任何方面的優化問題都可以從模型算法和系統兩個角度來看待。一方面,我們可以通過改變模型和算法來優化其對計算資源的使用效率從而改進其運行速度。這樣的優化對特定的算法往往非常有效,但卻不容易擴展應用到其它算法中。而另一方面,也就是微軟亞洲研究院異構計算組正在進行的研究,則是在系統中實施模型算法無關的優化,這樣的優化,通常可以為更多的應用帶來性能的好處,同時也符合我們在前文提到的透明性的要求。

以系統優化助力深度學習計算

為了能夠更好地理解系統這一層面的優化,我們先來簡單介紹一下深度學習框架系統的背景知識。當今工業界流行的深度學習系統(包括TensorFlow、PyTorch、CNTK、MxNet、Caffe等)大都采用分層的體系結構設計。在前端提供高級語言(例如Python)的接口抽象,允許用戶方便地描述神經網絡結構,也就是深度學習的模型。描述好的模型在被系統運行前,首先會被轉換成數據流圖(Data-flow Graph)。在這個數據流圖中,節點是特定的矩陣操作(也就是Operator,如Sigmoid、Matrix Multiplication等),而連接不同節點的邊則是操作節點的輸入和輸出矩陣。這個數據流圖也可以被看成是深度學習計算的中間表達。然后,深度學習系統的后端將這個數據流圖映射到實際硬件上進行高效地執行,而大部分系統層面的優化就是在這個階段完成的。

加速分布式深度學習訓練

分布式訓練的主要瓶頸在于多機之間的通信開銷。如今計算機網絡的硬件技術已經有了很大的發展,InfiniBand的RDMA網卡(Remote Direct Memory Access,這是一種硬件的網絡技術,它使得計算機訪問遠程的內存時無需遠程機器上CPU的干預)已經可以提供50~100Gbps的網絡帶寬和微秒級的傳輸延遲。目前許多以深度學習為目標應用的GPU機群都部署了這樣的網絡。然而深度學習系統如何才能充分利用好硬件提供的通信能力使分布式的訓練獲得更大的性能提升呢?另外,使用RDMA的軟件接口進行通信能夠繞過TCP/IP協議棧,減少了操作系統內核態的運行開銷。在這樣的網絡通信技術的支持下,任何與通信相關的計算處理的開銷都會變得非常顯著,而這正是許多原先基于TCP/IP而設計的網絡通信機制中所存在的問題。

RPC(Remote Procedure Call,遠程過程調用)是一個被廣泛使用的多機之間的通信抽象原語,它的主要設計目標是通用性。在沒有考慮RDMA的情況下,很多深度學習框架都會采用RPC的機制(例如gRPC)來實現多機之間的通信。然而,RPC需要維護一個內部的私有緩存,從而不得不引入用戶數據的存儲空間和內部緩存之間的數據拷貝。這種內存拷貝的開銷在使用RDMA網絡的情況下會變得非常明顯。我們通過micro-benchmark觀察到,跟使用基于TCP/IP的gRPC相比,直接通過RDMA的接口傳輸消息(對不同的消息大小)可以有2到10倍的性能提升。

那么針對深度學習的應用負載,如何才能更好地利用RDMA硬件的能力?首先,我們來分析一下深度學習應用的幾個特點:

1)Tensor是深度學習計算中最主要的數據結構,大量的計算開銷都是花在對Tensor的處理上。Tensor是一種比較簡單的數據結構,主要由meta-data和payload兩部分組成。Payload就是基本元素的數組,而meta-data就是Tensor的shape信息,也就是維度和每一維的大小。這種簡單的數據結構在傳輸的時候其實不太需要復雜的序列化和反序列化的功能。

2)在相當多的情況下,Tensor是稠密的,并且其大小也是比較大的,也就是說在傳輸這樣的Tensor的時候并不需要對其進行額外的批處理。

3)深度學習的訓練過程是迭代的。每個迭代處理一個mini-batch。在不同的迭代之間,數據流圖和很多Tensor的shape信息并不發生改變,并且其中不少的shape信息是可以在運行時前就靜態決定的。

基于以上幾個特點,我們可以對數據流圖進行分析,找到那些可以靜態決定shape信息的Tensor,以便在運行前,在接收端預先為其分配RDMA可訪問的內存空間,并將其相應的可遠程訪問的地址傳送給發送端。這樣一來,在運行時,發送端可以通過單邊的RDMA請求將Tensor的數據直接傳輸到接收端,從而完全避免了沒有必要的額外內存拷貝,達到零拷貝的通信過程。我們將這種機制在TensorFlow上進行實驗, 和基于TCP/IP的gRPC相比,這一方法在一系列典型模型上均取得了多倍的性能改進。甚至和針對RDMA優化過的gRPC相比,我們的方法仍然能夠取得超過50%的性能提升。

另外,我們在分布式深度學習方向上關注的另一個問題是如何自動地對資源無關的數據流圖做優化的分布式執行,也就是自動劃分數據流圖中的計算任務并為其分配相應的計算資源,以使計算效率最優化。Google的Jeff Dean團隊在這個方向上已經做了很好的先驅性工作。但局限于模型并行和單機多卡的運行環境,目前這仍然是一個非常重要并且大有可為的方向,需要結合數據并行,分布式及異構環境來綜合考慮。

提升單個計算單元的運算效率

前面提到過,使用深度學習框架來實現的模型算法,在運行時前會被轉換成數據流圖。不少具有實際應用價值的模型都非常復雜,由它們所轉換出來的數據流圖通常是由成千上萬的操作節點構成,其中包含了很多運算量非常小的節點,也就是說它們的輸入矩陣的大小很小,或者是其計算邏輯的復雜度相對于對輸入數據訪問的復雜度來說很低。大量這樣的操作節點會引入以下一些運行時開銷,并且這樣的開銷會非常顯著。

1)深度學習系統運行時需要根據數據流圖中節點的依賴關系來調度節點的執行。調度每個節點的系統開銷和操作節點計算量的大小并沒有直接關系,因此對于由許多小的操作節點構成的計算流圖來說,系統調度所帶來的額外開銷就會相對比較大;

2)對于在GPU上運行的計算來說,每個操作節點的實現都對應著一個GPU的內核函數,而這個內核函數的每一次執行需要CPU調用顯卡驅動來啟動,因此也帶來了常數量級的額外開銷。這個開銷相對于計算量小的內核函數的執行來說是非常明顯的;

3)計算量小的操作節點往往難以挖掘出足夠的數據并行性,因此不能充分利用處理器硬件中的計算資源。

解決這一問題的主要思路是內核融合(Kernel Fusion)。一些手工的優化方法就運用了這一思想,比如NVIDIA基于CuDNN的RNN庫函數。它把整個循環神經網絡實現成一個GPU的內核函數,因此獲得了非常好的性能。然而它的缺點也非常明顯,那就是不夠靈活和通用,無法應用在其它網絡或一些變種的循環神經網絡中。而我們更加關注的是如何在深度學習的系統中自動地對任意的網絡模型實施優化。

目前在學術界和工業界已經存在一些系統采用編譯的方法生成融合的內核代碼,比如TVM、Halide和Taco等。這些系統使用Tensor Algebra作為前端表示方法,每個Tensor Algebra表達式進而可以被編譯成相應的內核代碼。而Tensor Algebra可以作為更低一層的中間表達被集成到深度學習系統中,也就是說高層的數據流圖可以先轉換成由Tensor Algebra表達式組成的代碼塊,再被編譯成可執行的代碼。然而,這些系統對于可以進行融合的操作節點有很多限制,不能很好地融合多個非pointwise的操作,例如多個矩陣乘操作。然而,我們發現如果打破這一限制從而融合更多操作節點是可以帶來更多顯著的性能提升的。

在GPU的運行環境下融合多個非pointwise的操作具有一定的挑戰性,因為非pointwise的操作中輸入矩陣的每個元素都可能依賴于前一個操作的輸出矩陣中的許多不同位置的元素值,所以在這兩個操作之間需要插入Barrier同步原語。而在GPU中實現Barrier需要保證該內核的所有線程塊在運行時都是保持活動狀態的,這意味著我們必須要求融合后的內核采用有限個數的線程塊,但同時又能夠處理遠超過線程塊數量的數據塊。

為了解決這一問題,我們嘗試采用persistent-thread的線程塊模型,也就是說在融合后的內核的整個生命周期啟動固定數目的線程塊并讓它們保持活動狀態。我們的優化系統在產生融合的內核代碼的過程中類似于解決一個裝箱(bin-pack)問題,即把待融合的子數據流圖中的每一個操作節點所要處理的數據塊分派給適當的活動線程塊,從而使得每個線程塊的負載盡可能均衡,并且保持操作節點的運算在原數據流圖中的并行性。

為了生成優化的GPU內核函數,一個重要的考慮因素是線程塊和數據塊的合理劃分。然而這又依賴于一些非常復雜的因素,比如操作節點運算中計算和訪存復雜度的比率、GPU的shared memory的大小、寄存器文件的大小及分配方法等等。因此一個最優的選擇是很難通過靜態的方法決定的。幸運的是,深度學習的迭代性以及需要相當多的迭代才能收斂的特性使得我們可以利用早期的迭代過程來收集運行時的動態信息以幫助優化系統做更明智的決定。

克服設備內存資源限制

設備內存的大小往往限制了可以處理的模型規模,解決這一問題的一個思路是對模型進行壓縮和量化。如今學術界和工業界已經有大量的研究工作提出不同的壓縮和量化的方法,然而,在實際的應用場景中使用壓縮和量化仍然是個繁瑣的迭代過程。在這個過程中,用戶可能會進行以下幾個方面的嘗試。

1)不同的壓縮方法。比如,是根據模型的參數值是否趨近于零,還是將其轉換成某種貢獻值之后趨近于零?壓縮時是不是考慮一定的結構化(如果是面向GPU,可能需要壓縮成塊狀稀疏矩陣來提高運行效率)?量化的值點是根據值域平均劃分還是基于某種聚類來劃分?

2)不同的壓縮程度。要考慮在哪些層的神經元參數上做壓縮,因為并不是所有層對壓縮后模型效果的敏感程度是一樣的;選擇不同的壓縮率或量化的比特數。

3)為了保持在大的壓縮率下仍然取得好的模型效果,壓縮過程可能需要是漸進的,比如一次壓縮10%,然后重新訓練,重復此過程直到取得目標的壓縮率。那么每次漸進過程的壓縮率就是一個需要調整的參數。

顯然,這樣一個繁瑣的過程需要一個好的工具來使之變得方便。這也是我們組正在關注的一個問題。我們正在嘗試擴展TensorFlow的API來使用戶可以在模型腳本中直接控制量化和壓縮的方法、對象、程度和過程。

壓縮和量化通常是用來解決模型部署時的性能和內存資源不足的問題,而解決模型訓練時內存不夠的問題的思路之一是用計算來換內存。比如,如果數據流圖中某一個操作節點的計算量很小,但是輸出的中間結果數據量很大,一個更好的處理方式是不在內存中保存這個中間結果,而在后面需要用到它的時候再重新執行這個操作節點的計算。當然,重新計算還是引入了一定的額外開銷。

事實上,還存在另外一種解決這個問題的思路,就是將大的輸入數據就保存在CPU端的主存里,并將操作節點實現成流式的處理,將大的輸入數據分段拷貝進GPU的設備內存,并通過異步的拷貝使得對每一分段的計算時間和下一分段的拷貝時間能夠重疊起來,從而掩蓋住數據拷貝的開銷。對于矩陣乘法這樣的操作,由于計算復雜度相對于訪存復雜度較高,當分段較大的時候,計算時間和拷貝時間是可以達到完美重疊的。然而,如果所要進行的操作不是矩陣乘法,而是一些簡單的pointwise操作,計算的復雜度就沒有辦法和內存拷貝的開銷相抵消。所以這種做法還需要跟內核融合相結合。比如將矩陣乘法和后續的pointwise操作相融合,每一個分段的計算都會把該分段的矩陣乘和pointwise操作都做完,然后再處理下一個分段。

本文系作者 問說網 授權問說網發表,并經問說網編輯,轉載請注明出處和 本文鏈接

相關文章

  • 2016-09-24紫色背景扁平化iPhone5手機樣機素材
  • 2016-10-03Blogify簡約扁平化博客主題PSD模板
  • 2016-12-26恒創主機2017跨年盛典 主機/云服務器/獨立服務器買就送
  • 2017-02-17問說網站長分享提升WordPress訪問速度優化
  • 2017-04-01Wordpress固定鏈接偽靜態的設置方法
  • 2017-04-04java中的Runable和Thread
  • 2017-04-05解決mysql無法遠程訪問的問題
  • 2017-04-19ASP.NET MVC 4 中的JSON數據交互的方法
  • 發布評論

    為您推薦

    Blogify簡約扁平化博客主題PSD模板

    Blogify簡約扁平化博客主題PSD模板,Blogify是博客風格的完美小主題。利用Blogify是干凈的,審美和簡單的功能,確保你的博客有別于簡約精致的休息…

    • Blogify簡約扁平化博客主題PSD模板
    • Blogify簡約扁平化博客主題PSD模板
    • Blogify簡約扁平化博客主題PSD模板
    • Blogify簡約扁平化博客主題PSD模板
    問說網 · 發布于 2016-10-03 · 瀏覽 1948 · 評論 0
    多彩好看的淘寶銷售標簽箭頭EPS素材
    問說網 · 發布于 2016-10-21

    多彩好看的淘寶銷售標簽箭頭EPS素材

    恒創主機2017跨年盛典 主機/云服務器/獨立服務器買就送
    問說網 · 發布于 2016-12-26

    恒創主機2017跨年盛典 主機/云服務器/獨立服務器買就送

    恒創這次跨年促銷,活動力度大,活動產品多。國內/香港/韓國/美國所有節點,新購/續費多重福利,滿390元送小米VR眼鏡。還可以免費抽獎,藍牙耳機,小米充電寶等。

    問說網 · 發布于 2017-02-17

    問說網站長分享提升WordPress訪問速度優化

    問說網創建也有5年了,最開始并不是使用的WordPress,是使用國內的DedeCMS開源程序,中間被黑客入侵了就換成了WordPress一直用到現在,隨著文章…

    問說網 · 發布于 2017-04-01

    WordPress固定鏈接偽靜態的設置方法

    今天,想著在我機器上測試一下wordpress,雖然之前也有這個開源的程序,可是一直沒有安裝呢,再加上最近一直忙于其他的工作,也忽略了不少,突然想建立一個屬于自…

    問說網 · 發布于 2017-04-04

    java中的Runable和Thread

    在java中可有兩種方式實現多線程,一種是繼承Thread類,一種是實現Runnable接口;Thread類是在java.lang包中定義的。一個類只要繼承了T…

    問說網 · 發布于 2017-04-05

    解決mysql無法遠程訪問的問題

    問題描述 1.windows 2003 server 32bit+IIS+護衛神+安全狗+navicat [email protected]%已配置 3.干掉護衛神,安全狗,防火墻…

    問說網 · 發布于 2017-04-19

    ASP.NET MVC 4 中的JSON數據交互的方法

    前臺Ajax請求很多時候需要從后臺獲取JSON格式數據,一般有以下方式: 拼接字符串 1 return Content("{\"id\":\"1\",\"nam…

    問說網手機版

    躺著 站著 跪著輕松訪問

    更多詳情 關于作者

    問說網

    問說網分享與設計有關的文章素材界面和作品,提供設計教程、素材分享、界面欣賞、編程設計、設計書籍、設計師導航等內容,你可以在這里閱讀、學習、分享、交流。

    13177 文章
    493 評論
    2123 人氣

    更多 熱門話題

    APP界面

    關注 APP界面

    文章 41506 · 瀏覽 3722

    APP欣賞

    關注 APP欣賞

    文章 41427 · 瀏覽 3518

    APP手機界面

    關注 APP手機界面

    文章 41417 · 瀏覽 3760

    圖片素材

    關注 圖片素材

    文章 29463 · 瀏覽 2992

    高清圖片

    關注 高清圖片

    文章 26530 · 瀏覽 3234

    更多 推薦作者

    關注 秋末殘雪

    文章 106 · 評論 0

    關注 秋天的孤寂

    文章 99 · 評論 0

    關注 傾聽寂寞

    文章 83 · 評論 0

    關注 溫柔的溫柔

    文章 91 · 評論 0

    關注 走了留下什么

    文章 110 · 評論 0

    關注 莪很迷茫

    文章 97 · 評論 0

    ?
    頂部 反饋 評論 底部

    意見反饋

    感謝您對問說網的支持,提出您在使用過程中遇到的問題或寶貴建議,您的反饋對我們產品的完善有很大幫助。

    您的反饋我們已收到!

    感謝您提供的寶貴意見,我們會在1-2個工作日,通過您留下的聯系方式將處理結果反饋給您!

    爱彩网