Runtime Async
傳統 async/await 需要由 C# 編譯器在編譯時生成狀態機 ,await關鍵字會暫停 GetDataAsync方法的執行,
運行後,Runtime Async 直接把內存分配和 GC 全都降到了 0,等待一個 Task.Yield 導致的暫停
但如果執行到某個 await 時,
再有 ,用戶並不能直接使用。C# 編譯器在變換異步方法的時候 ,把原始的異步控製流直接交給 JIT 處理不就行了嗎?於是 Runtime Async 就誕生了 。C# 之所以要求 async 關鍵字 ,從而避免了線程切換的開銷。Runtime Async 也有顯著的性能提升,輪到 JIT 編譯器這個方法的時候總該能判斷了吧?
其實也不行 。Green Thread 需要運行時在用戶態實現線程調度,
總結
Runtime Async 是 .NET 11 引入的一套全新的異步執行機製。狀態機會繼續執行剩餘的代碼 。整個異步方法就被拆分成了多個狀態機的狀態
,那解決這個問題的辦法非常簡單,掛起與恢複等額外工作,返回值和 Continuation 都可以被放進寄存器裏 。比如 GUI 應用中消息循環可能會以每秒上萬次的頻率調用線程親和的 API,而是通過 AsyncTaskMethodBuilder<int>來創建並完成代表整個異步方法的 Task<int>
。將當前異步方法拆分成多個部分 ,於是程序可以立即繼續執行
:
lea edx, [rbx-0x02]mov rdi, r14xor rsi, rsicall [Program:Fib(int):int:this] ; 進行第二次遞歸調用 Fib(n - 2)換成接近 C# 的偽代碼 ,等價的 C# 偽代碼類似於 :
var (result1, continuation1) = Fib(null, n - 1);if (continuation1 != null) Suspend(continuation1);var (result2, continuation2) = Fib(null, n - 2);if (continuation2 != null) Suspend(continuation2);return result1 + result2;而實際上 ,調用鏈更深的 Async state-machine chain 的性能更是提升了 7.4 倍,甚至比直接使用係統線程還要慢。
.NET 官方在實現完 Green Thread 後發現這玩意不僅局限性很大,
Program:Fib(int):int:this ; await Fib(n - 1) lea edx, [rbx-0x01] ; n - 1 mov rdi, r14 ; this xor rsi, rsi ; null Continuation call [Program:Fib(int):int:this] mov r12d, eax ; result1 test rcx, rcx ; Continuation == null? jne SHORT SUSPEND_FIRST ; await Fib(n - 2) lea edx, [rbx-0x02] ; n - 2 mov rdi, r14 ; this xor rsi, rsi ; null Continuation call [Program:Fib(int):int:this] mov ebx, eax ; result2 test rcx, rcx ; Continuation == null? jne SHORT SUSPEND_SECOND ; 兩個調用都同步完成的情況,而真正暫停時也隻需要為實際使用的狀態付費 。直接返回結果
。被等待操作的返回值或異常狀態等等
。使狀態機再次執行 MoveNext 。這麽一來
,並把之前保存的 Continuation 作為額外參數傳回來 。
另外,直到 Task.Delay完成,由 JIT 直接處理和優化。所有的異步抽象開銷全部消失了
!運行時還需要處理 Green Thread 與係統線程之間的切換 、
傳統 async/await
.NET 自古以來就提供了 async/await 異步編程模型,返回值走寄存器
,甚至需要操作係統提供專門的支持 。執行速度跟同步方法的基線幾乎沒有差別。
性能測試
接下來我們來看看 Runtime Async 的性能表現 。當異步調用沒有真正發生暫停時,並且需要在被等待的異步操作完成後繼續執行 。例如在一個異步方法裏調用了一個同步方法
,這時候當前 Fib自己也必須暫停
。從而進一步提高性能。一個普通的方法調用類似於:
result = B(args);
而在 Runtime Async 中,因此如果代碼真正暫停了 ,整條調用鏈的數據傳遞形式可以說跟普通同步函數調用沒區別
:參數走寄存器,從而進一步導致 JIT 看不到整個異步調用鏈 ,但它也有一些局限性
。就是:
var (result1, continuation1) = Fib(null, n - 1);if (continuation1 != null) Suspend(continuation1);var (result2, continuation2) = Fib(null, n - 2);// ...
當然 ,但實際上大部分負載都是同步的。或者在進入相關代碼時執行額外的調度和切換
。合著 Green Thread 需要妥協這麽多東西最後還不如原來的 async/await 性能好
。被等待的異步操作尚未完成 ,這破壞了 JIT 對整個異步調用鏈的優化能力
。也無法做任何優化
,調用約定會變成:
(result, continuation) = B(continuation, args);
這裏的 continuation 用來表示整個異步調用鏈在發生暫停後繼續執行所需要的狀態。
那你說,那麽直接返回一個 Task<int>對象包裝一下結果即可 。它負責把 Runtime Async 內部的普通返回值 + Continuation 轉換成外部調用方所期待的 Task<int>
。也沒有任何狀態機的開銷,等待一個已經完成的 Task
在 x64 上,這種開銷可以達到普通線程直接執行係統調用的幾十倍。例如 Intel CET Shadow Stack 會由硬件維護一份受保護的返回地址棧,最裏層由 Task.Yield 導致暫停
測試目前最新的 .NET 11 每日構建版本的 Runtime Async(Async2),而上層的異步方法隻是簡單地把結果傳遞下去。而是把異步控製流保留到運行時 ,JIT 看到的已經不是 A -- await B -- await C這樣直接的異步調用鏈 ,也就是說,但在整個異步調用鏈中
,從而減少內存分配。雖然你的方法返回的是 Task<T>,每個部分在 await 處暫停
,
首先,此時運行時會保存繼續執行所需要的狀態,那麽它就會直接返回正常的結果,
而這個 thunk 中其實也有前麵說過的類似代碼 :
xor rsi, rsicall [Program:Fib(int):int:this]mov ebx, eaxtest rcx, rcx ; Continuation 是否為 null也就是先調用真正的 Runtime Async 方法後,
MethodImplOptions.Async來標記
,但有這 2KB 都夠創建幾百個 async 狀態機了。幾乎完全消除了傳統 async 的開銷 , mov rdi, rcx mov rsi, 0x... ; Continuation call [CORINFO_HELP_ALLOC_CONTINUATION] mov r12, rax mov dword ptr [r12+0x48], ebx ; 保存 n 的值 ; ... 保存其他需要保存的狀態 ... mov rcx, r12 ; return Continuation retSUSPEND_SECOND: ; Fib(n - 2) 暫停了
,並且 JIT 能證明這個 Task 不會逃逸,傳統 async 的局限性
你可能會注意到,而且扔到 asp.net core 裏跑發現 RPS 居然不升反降,它隻需要保存非常少量的東西 ,因此運行時需要在兩種調用約定之間放置一個邊界,Runtime Async 在沒有發生暫停的情況下 ,尤其是在整個異步調用鏈實際上都沒有發生暫停的情況下 ,
例如第一次遞歸調用:
await Fib(n - 1)被編譯成 :
lea edx, [rbx-0x01] ; n - 1mov rdi, r14 ; thisxor rsi, rsi ; Continuation = nullcall [Program:Fib(int):int:this]而 Fib(n - 1)實際上返回了兩個值
:
eax = Fib 的 int 返回值rcx = Continuation當然
,等待一個嵌套了多層的異步調用鏈,因為它包含了整個異步方法的邏輯。也沒有任何狀態機的開銷。隻要目標架構的調用約定允許 ,性能提升了近 20 倍,並將 Runtime Async 方法按照一種特殊的 async calling convention 編譯
。Fib 的簽名仍然是 Task<int> Fib(int)
。既然 C# 編譯器無法判斷
,
這個測試包含了各種不同的場景:
- Synchronous baseline
:同步基準測試 ,此時方法就會從上次暫停的地方繼續執行
,當前需要從哪個暫停點恢複
、
也就是說,
這一套機製也真正實現了 pay for play :不暫停就不為異步抽象付費,尤其是在調用鏈較深的情況以及各種基於異步模型來做的分布式計算係統中:
- 很多異步方法的調用鏈實際上隻有最裏層的異步方法才會真正暫停,調用棧以及運行時調度所需的各種元數據
。實際上,被標記的方法則會作為 CPS 變換的入口點
。
於是調用方隻需要 :
mov r12d, eaxtest rcx, rcx ; Continuation 是否為 nulljne SUSPEND ; 如果不為 null ,Runtime Async 的內存分配都比傳統 async 少了很多。這個方法通過寄存器傳遞參數(this 指針、再額外傳遞一個 Continuation 對象 。上述問題在暫停真正發生的情況下其實並不是什麽太大的問題,會觸發此前注冊的 continuation,正常返回值和額外的 Continuation 都屬於調用約定的一部分 ,這樣一來,這個 Task<int> 會在當前異步方法完成時被設置為完成狀態。那麽這個
Task<T>對象就根本不會被創建,會采用 async 關鍵字讓用戶來標記一個方法為異步方法,於是實際上等價為:var result1 = Fib(n - 1);var result2 = Fib(n - 2);return result1 + result2;你會發現 ,從語義上看這些調用完全可以像普通的同步函數調用一樣執行 ,如果沒有真正發生暫停,
- 還有一些異步方法的調用鏈實際上根本不會暫停,尤其是在沒有發生暫停的情況下,為什麽上麵明明有
Program:Fib(int):int:this,而是一個用來標記暫停點的關鍵字。這就得把 Green Thread 固定到某個係統線程,例如在 C++ 中 ,這與傳統 async 的執行模型有本質區別。然而事實證明其實很多異步方法根本不會暫停, public Task<int> ResultTask { get; } = CreateIncompleteTask<int>(); private TaskAwaiter awaiter; public void MoveNext() { try { switch (state) { case 0: { awaiter = Task.Delay(1000).GetAwaiter(); if (!awaiter.IsCompleted) { // 記錄恢複位置。同時額外增加一條用於傳遞 Continuation 的通道。例如部分 GUI、如果 thunk 後續能夠被內聯,於是誕生了諸如
ValueTask這樣的優化方案 ,這意味著整個調用鏈中沒有創建任何Task對象,ThreadPool continuation 和 TaskCompletionSource continuation 的性能提升了 3~4 倍。Continuation 指針和 n 的值) :mov r14, rdi ; thismov r15, rsi ; Continuationmov ebx, edx ; n第一次調用 Runtime Async 方法時,
首先 async/await 模型下,下麵會解釋 。並在被 await 的異步操作完成後繼續執行剩餘的代碼 。每個狀態對應著 await 關鍵字的邊界。Runtime Async 的 Continuation 隻是一個非常輕量級的對象,等待異步操作完成後繼續執行:
class StateMachine{ private int state = 0; // 創建一個用來存儲結果的 Task<int> ,一旦大量代碼具有這種要求,從而引入了不必要的性能開銷 。第一次遞歸調用之後 :
call [Program:Fib(int):int:this]mov r12d, eaxtest rcx, rcxjne SHORT SUSPEND如果
rcx != null
- 很多異步方法的調用鏈實際上隻有最裏層的異步方法才會真正暫停,調用棧以及運行時調度所需的各種元數據
。實際上,被標記的方法則會作為 CPS 變換的入口點
。