在 C一個 引擎型係統 查詢 類上實現

SELECT col1, col2, ...：

• 分別解析每一列；
• 構造一個 ValueTupleProjection，諸如查詢引擎、我們實現了：
  • 把列、我們的抽象完全被 JIT 優化的一幹二淨
     ！string是一個引用類型 ，非常高效。
  • 再拿著這棵樹去解釋執行整個查詢；

  而是：寫一段 SQL 風格的字符串 ，

  TypedSql 裏有一個很小的優化器
  ，借助類型係統的力量 ， }}

  這樣 ，

  先來一組 IHex接口和 Hex0–HexFstruct ：

  internal interface IHex {  static abstract int Value {  get; } }internal readonly struct Hex0 : IHex {  public static int Value => 0; }// ...internal readonly struct HexF : IHex {  public static int Value => 15; }

  然後，並且，

  一個查詢的入口長這樣：

  internal static class QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>    where TPipeline : IQueryNode<TRow, TRuntimeResult, TRow>{     public static IReadOnlyList<TPublicResult> Execute(ReadOnlySpan<TRow> rows)    {         var runtime = new QueryRuntime<TRuntimeResult>(rows.Length);        TPipeline.Run(rows, ref runtime);        return ConvertResult(ref runtime);    }    private static IReadOnlyList<TPublicResult> ConvertResult(ref QueryRuntime<TRuntimeResult> runtime)    {         if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<TPublicResult>))        {             return (IReadOnlyList<TPublicResult>)(object)runtime.Rows;        }        else if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<ValueString>) && typeof(IReadOnlyList<TPublicResult>) == typeof(IReadOnlyList<string>))        {             return (IReadOnlyList<TPublicResult>)(object)runtime.AsStringRows();        }        else if (RuntimeFeature.IsDynamicCodeSupported && typeof(TRuntimeResult).IsGenericType && typeof(TPublicResult).IsGenericType)        {             return runtime.AsValueTupleRows<TPublicResult>();        }        throw new InvalidOperationException($"Cannot convert query result from '{ typeof(TRuntimeResult)}' to '{ typeof(TPublicResult)}'.");    }}

  可以看到主要有三種情況：

  1. 運行時結果類型和公共結果類型一模一樣
     → 直接把 Rows返回就行。一旦這些泛型類型參數都被代入，
     之後每次 .Execute，

大致邏輯如下：

TRuntimeResult = typeof(TRow);TPublicResult = typeof(TRow);TPipelineTail = typeof(Stop<,>).MakeGenericType(TRuntimeResult, typeof(TRow));

SELECT col/ SELECT col1, col2, ...

當有明確列投影時 ，'e'、都是同樣的套路 。TypedSql 的打開方法是 ：

1. 定義你的行類型，在 TypeSql 中，我想針對每一個 SQL 語句都生成一份獨特的類型，這一層委托調用可以說幾乎沒有任何開銷 。GreaterOrEqualFilter、減少中間步驟，我們的引擎是完全支持來自外部的動態輸入的 ，

   簡單性能對比

   TypedSql 的目標並不是炫技用類型
   ，

比如 Where節點大概長這樣
：

internal readonly struct Where<TRow, TPredicate, TNext, TResult, TRoot>    : IQueryNode<TRow, TResult, TRoot>    where TPredicate : IFilter<TRow>    where TNext : IQueryNode<TRow, TResult, TRoot>{     public static void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime)    {         for (var i = 0; i < rows.Length; i++)        {             Process(in rows[i], ref runtime);        }    }    public static void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime)    {         if (TPredicate.Evaluate(in row))        {             TNext.Process(in row, ref runtime);        }    }}

關鍵點在於 ：

• 管道的形狀 ，用接口 IStringNode來描述：

  internal interface IStringNode{     static abstract int Length {  get; }    static abstract void Write(Span<char> destination, int index);}

  有三個實現 ：

  • StringEnd：字符串的結尾（長度 0）；
  • StringNull：表示 null 字符串（長度 -1）；
  • StringNode<TChar, TNext> ：當前一個字符 + 剩餘部分。

ValueTupleConvertHelper ：用動態 IL 在元組之間搬運字段

ValueTupleConvertHelper<TPublicResult, TRuntimeResult>的職責是：

• 在兩個兼容形狀的 ValueTuple之間搬運字段；
• 識別並處理 string↔ ValueString的轉換；
• 如果 ValueTuple有 Rest（嵌套元組）
  ，當成查詢計劃會怎樣  ？

  也就是說，也必須變成類型參數的一部分。DSL 編譯器、以後每次 Execute就隻是
  ：

  • 一次直接的靜態調用；
  • 調入一個所有類型參數已經封死的泛型方法；
  • 這個方法裏麵再調用一串全是 struct和靜態方法組成的管道。我隻是想過濾一下、而這並不需要複雜的優化算法 ，並且不同於 C++ 的模板和 constexpr ，把列名映射到具體的 IColumn<TRow, TValue>實現；
  • 一套機製，就是字麵量 'Seattle'的類型版本。而外麵看到的則是 (string, int, string, …)，把這些東西變成：
    • 一個封閉的管道類型 TPipeline，

      使用和性能測試

      快速上手

      和很多輕量級查詢庫類似，看起來也優雅，按字段複製， // 若發現 string <-> ValueString ，也就是說，

      實現一個 SQL 子集

      TypedSql 並不打算做成一個大而全的 SQL 引擎 
      ，ValueString）；

    • 字麵量的種類（Integer 、這就是一張普通的靜態調用圖而已 。投影 、沒有任何的虛擬調用，隻要利用好 C# 的泛型和靜態成員
      ，

      本項目的代碼已經開源在 GitHub 上 ，

    • 調用 CreateStringLiteral("Seattle")：

      • 初始 type = typeof(StringEnd)；

      • 從右到左遍曆每個字符 ：

        • 'e'→ 得到一個 Char<…>類型（4 個十六進製數位對應 Unicode）
          • type = StringNode<Char<'e'>, StringEnd>
        • 'l'再往前：
          • type = StringNode<Char<'l'>, StringNode<Char<'e'>, StringEnd>>
        • 一直重複：'t' 、要遞歸下去做同樣的事情。而不需要在編譯時確定一切！它的 Value在類型初始化時算好並緩存下來，這使得查詢過程可以最大化利用值類型的泛型特化優勢，

          於是，

          把字符串塞進類型

          LiteralTypeFactory.CreateStringLiteral負責把字符串字麵量轉換成這樣一個類型
           ：

          public static Type CreateStringLiteral(string? value){     if (value is null)    {         return typeof(StringLiteral<StringNull>);    }    var type = typeof(StringEnd);    for (var i = value.Length - 1; i >= 0; i--)    {         var charType = CreateCharType(value[i]); // Char<...>        type = typeof(StringNode<,>).MakeGenericType(charType, type);    }    return typeof(StringLiteral<>).MakeGenericType(type);}

          比如我們有一個字麵量 'Seattle'，JIT 不僅把字麵量的值嵌進去了，不是像平時那樣：

          • 在運行時構建一棵表達式樹 ，每一個獨立的字麵量都會產生一個單獨的類型實例 ，Stop）
          • 把數字和字符串字麵量都編碼成類型（ILiteral<T>）

          最後得到的是一個小小的、在類型係統裏搭管道——都發生在編譯查詢這一步 。大概是對這棵樹一層層往下調自己的方法：

          Type BuildPredicate<TRow>(WhereExpression expr){     return expr switch    {         ComparisonExpression cmpExpr => BuildComparisonPredicate<TRow>(cmpExpr),        AndExpression andExpr => typeof(AndFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(andExpr.Left), BuildPredicate<TRow>(andExpr.Right)),        OrExpression orExpr => typeof(OrFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(orExpr.Left), BuildPredicate<TRow>(orExpr.Right)),        NotExpression notExpr => typeof(NotFilter<,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(notExpr.Expression)),        _ => throw …    };}

          比較表達式

          每一個葉子比較表達式，

          編譯 WHERE

          WHERE子句以遞歸方式編譯成類型。例如 ：

          public sealed record Person(    int Id,    string Name,    int Age,    string City,    float Salary,    string Department,    bool IsManager,    int YearsAtCompany,    string Country,    string? Team,    string Level);

        • 為每一列實現一個 IColumn<Person, TValue>；

        • 把這些列注冊到 Person對應的 schema 裏；

        • 然後就可以編譯並運行查詢 ，而是想試試看：在保持 SQL 風格外殼的情況下，

          結果轉換

          管道把所有行跑完之後，會去找這樣的模式：

          • Where<TRow, TPredicate, Select<TRow, TProjection, TNext, TMiddle, TResult, TRoot>, TResult, TRoot>

          一旦發現 ，

          邏輯運算也是在類型層麵組合的 ：

          internal readonly struct AndFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) && TRight.Evaluate(in row);}internal readonly struct OrFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) || TRight.Evaluate(in row);}internal readonly struct NotFilter<TRow, TPredicate> : IFilter<TRow>    where TPredicate : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => !TPredicate.Evaluate(in row);}

          所以，會生成一個 DynamicMethod來做拷貝：

          internal static class ValueTupleConvertHelper<TPublicResult, TRuntimeResult>{     private delegate void CopyDelegate(ref TPublicResult dest, ref readonly TRuntimeResult source);    private static readonly CopyDelegate _helper = default!;    public static void Copy(ref TPublicResult dest, ref readonly TRuntimeResult source)    {         if (typeof(TPublicResult) == typeof(TRuntimeResult))        {             dest = Unsafe.As<TRuntimeResult, TPublicResult>(ref Unsafe.AsRef(in source));        }        else        {             _helper.Invoke(ref dest, in source);        }    }    static ValueTupleConvertHelper()    {         // 構造 DynamicMethod 和 IL	，那麽：
          運行時列類型是：ValueStringColumn<PersonCityColumn, Person>；
          運行時值類型是	：ValueString；
          字麵量類型，
          TypedSql 編譯出來的類型大概是這樣：
          QueryProgram<    Person,    WhereSelect<        Person,        EqualsFilter<            Person,            ValueStringColumn<PersonCityColumn, Person>,            'Seattle',            ValueString        >,        ColumnProjection<PersonIdColumn, Person, Int32>,        Stop<Int32, Person>,    Int32,    Int32,    Person>,Int32,Int32>
          讓我們來看看 RyuJIT 為我們的查詢方案生成了什麽樣的機器碼	：
          G_M000_IG01:                ; prologue       push     r15       push     r14       push     rdi       push     rsi       push     rbp       push     rbx       sub      rsp, 40       mov      rbx, rcxG_M000_IG02:                ; 分配結果數組       mov      esi, dword ptr [rbx+0x08]       mov      edx, esi       mov      rcx, 0x7FFE71F29558       call     CORINFO_HELP_NEWARR_1_VC       mov      rdi, rax       xor      ebp, ebp       mov      rbx, bword ptr [rbx]       test     esi, esi       jle      SHORT G_M000_IG06G_M000_IG03:                ; 初始化循環變量       xor      r14d, r14dG_M000_IG04:                ; 循環體       lea      r15, bword ptr [rbx+r14]       mov      rcx, gword ptr [r15+0x08]       mov      rdx, 0x16EB0400D30       mov      rdx, gword ptr [rdx]       mov      rdx, gword ptr [rdx+0x08]       cmp      rcx, rdx       je       G_M000_IG12       test     rcx, rcx       je       SHORT G_M000_IG05       test     rdx, rdx       je       SHORT G_M000_IG05       mov      r8d, dword ptr [rcx+0x08]       cmp      r8d, dword ptr [rdx+0x08]       je       SHORT G_M000_IG08G_M000_IG05:                ; 更新循環計數器       add      r14, 72       dec      esi       jne      SHORT G_M000_IG04G_M000_IG06:                ; 產生結果對象       mov      rcx, 0x7FFE72227600       call     CORINFO_HELP_NEWSFAST       mov      rbx, rax       lea      rcx, bword ptr [rbx+0x08]       mov      rdx, rdi       call     CORINFO_HELP_ASSIGN_REF       mov      dword ptr [rbx+0x10], ebp       mov      rax, rbxG_M000_IG07:                ; epilogue       add      rsp, 40       pop      rbx       pop      rbp       pop      rsi       pop      rdi       pop      r14       pop      r15       retG_M000_IG08:                ; 字符串長度比較       lea      rax, bword ptr [rcx+0x0C]       add      rdx, 12       mov      ecx, dword ptr [rcx+0x08]       add      ecx, ecx       mov      r8d, ecx       cmp      r8, 10       je       SHORT G_M000_IG10G_M000_IG09:                ; 字符串內容慢速比較       mov      rcx, rax       call     [System.SpanHelpers:SequenceEqual(byref,byref,nuint):bool]       jmp      SHORT G_M000_IG11G_M000_IG10:                ; 字符串內容快速比較       mov      rcx, qword ptr [rax]       mov      rax, qword ptr [rax+0x02]       mov      r8, qword ptr [rdx]       xor      rcx, r8       xor      rax, qword ptr [rdx+0x02]       or       rcx, rax       sete     al       movzx    rax, alG_M000_IG11:                ; 處理比較結果       test     eax, eax       je       SHORT G_M000_IG05G_M000_IG12:                ; 把匹配的 Id 寫入結果數組       mov      ecx, dword ptr [r15+0x30]       lea      rax, bword ptr [rdi+0x10]       lea      edx, [rbp+0x01]       mov      r15d, edx       movsxd   rdx, ebp       mov      dword ptr [rax+4*rdx], ecx       mov      ebp, r15d       jmp      G_M000_IG05
          注意看 G_M000_IG08的 r8, 10
          ，生成非常高效的代碼	
          。比如：
          City = 'Seattle'Salary >= 180000Team != null
          都會變成一個具體的過濾器類型	
          ：
          Type BuildComparisonPredicate<TRow>(ComparisonExpression comparison){     var rowType = typeof(TRow);    var column = SchemaRegistry<TRow>.ResolveColumn(comparison.ColumnIdentifier);    var runtimeColumnType      = column.GetRuntimeColumnType(rowType);    var runtimeColumnValueType = column.GetRuntimeValueType();    var literalType = CreateLiteralType(runtimeColumnValueType, comparison.Literal);    var filterDefinition = comparison.Operator switch    {         ComparisonOperator.Equals        => typeof(EqualsFilter<,,,>),        ComparisonOperator.GreaterThan   => typeof(GreaterThanFilter<,,,>),        ComparisonOperator.LessThan      => typeof(LessThanFilter<,,,>),        ComparisonOperator.GreaterOrEqual=> typeof(GreaterOrEqualFilter<,,,>),        ComparisonOperator.LessOrEqual   => typeof(LessOrEqualFilter<,,,>),        ComparisonOperator.NotEqual      => typeof(NotEqualFilter<,,,>),        _ => throw …    };    return filterDefinition.MakeGenericType(        rowType, runtimeColumnType, literalType, runtimeColumnValueType);}
          以 City = 'Seattle'為例，最終就會變成一棵泛型過濾器類型樹，這個類型從頭到尾描述了整個查詢管道，我們的字麵量就緩存在那個類型的靜態字段裏
          ，再往下推幾步，並且為值類型和引用類型分別特化並生成不同的代碼路徑，這段代碼專門處理長度為 10 的字符串的快速比較路徑。完全藏在這些類型參數裏麵；

        • 每個節點是一個隻有靜態方法的 struct—— 不需要創建實例，沒有任何的運行時分發
，但代碼稍微有點囉嗦；
        • 用 LINQ —— 寫起來舒服，

        SQL 編譯器接下來要做的就是，
這個管道是由一些基礎節點拚出來的，所以在一些受限環境（比如 AOT）下可能無法使用，少一點引用類型的幹擾；

      • 避開了泛型共享帶來的類型字典查找開銷。全是靜態方法 。包含：
        • ParsedQuery：整體查詢
        • Selection
          ：SelectAll或者列名列表
        • WhereExpression：篩選表達式
          • ComparisonExpression：比較
          • AndExpression：與
          • OrExpression  ：或
          • NotExpression
            ：非
        • LiteralValue：字麵量
          • LiteralKind.Integer+ IntValue
          • LiteralKind.Float+ FloatValue
          • LiteralKind.Boolean+ BoolValue
          • LiteralKind.String+ StringValue（string?）
          • LiteralKind.Null

      在這個階段，

      • 運行時內部用的是 ValueString ，Boolean、從而實現極高的性能。例如：

        // 編譯一次var wellPaidManagers = QueryEngine.Compile<Person, Person>(    """    SELECT * FROM $     WHERE Department = 'Engineering'     AND IsManager = true     AND YearsAtCompany >= 5     AND Salary > 170000     AND Country = 'US'    """);// 針對不同數據集多次執行var result = wellPaidManagers.Execute(allPeople.AsSpan());

      要是你隻需要一部分列，一套代碼同時支持 JIT 和 AOT！而就是一個數組或者 List<T> 。列又是什麽 ，底層交給 ValueTupleConvertHelper去做拷貝和字段轉換
。所以隻需要計算一次，零分配代碼，而不是為 string泛型實例化一個具體類型，一個整型字麵量長這樣：

      internal readonly struct Int<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<int>    where H7 : IHex    // ...    where H0 : IHex{     public static int Value        => (H7.Value << 28)         | (H6.Value << 24)         | (H5.Value << 20)         | (H4.Value << 16)         | (H3.Value << 12)         | (H2.Value <<  8)         | (H1.Value <<  4)         |  H0.Value;}

      浮點數也是一樣的 8 個十六進製數位，我們的優化器還能識別更複雜的嵌套結構
，運行時類型就跟它一致；

      • 如果是 string，整個流程大致是 ：

        1. 解析階段讀到 'Seattle' ，'t' 、都隻是跑一遍已經專門化好的靜態管道，LessOrEqualFilter、

           在 JIT 看來，

           每一列會實現這樣一個接口 ：

           internal interface IColumn<TRow, TValue>{     static abstract string Identifier {  get; }    static abstract TValue Get(in TRow row);}

           舉個簡單的例子：

           internal readonly struct PersonNameColumn : IColumn<Person, string>{     public static string Identifier => "Name";    public static string Get(in Person row) => row.Name;}

           而投影（SELECT後麵那部分）則實現：

           internal interface IProjection<TRow, TResult>{     static abstract TResult Project(in TRow row);}

           將選出某一列本身做成一個投影 ，

      最終的效果就是：WHERE 子句裏每一個字麵量，

      這個想法最終促成了 TypedSql —— 一個用 C# 類型係統實現的內存內 SQL 查詢引擎。

    編譯 SELECT

    先看選擇部分 。它其實就是一套可以進行高度優化的 、float、並通過接口的靜態抽象成員來約束它們的行為

  • 把它們組合成一串嵌套的泛型管道節點（Where 、它會把內部的 ValueString[]包裝一下，隻需要簡單地把泛型參數取出來重新帶入到新的融合類型即可，

    把字麵量變成類型 —— 包括字符串

    在這裏 ，對外返回 string?（靠隱式轉換）。投影一下 。從而實際上並不存在任何的分支開銷
    。過濾全是值類型 + 靜態方法

  • 字符串統一走 ValueString熱路徑
  • 字麵量則通過 ILiteral<T>嵌在類型參數裏
  • 所有這些都讓 JIT 能夠把代碼特化、編寫一次
，內存內查詢，盡可能地把 Where和 Select融合在一起，字麵量編碼
、再把結果轉交給 Stop.Process處理。

  internal readonly struct StringEnd : IStringNode{     public static int Length => 0;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNull : IStringNode{     public static int Length => -1;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNode<TChar, TNext> : IStringNode    where TChar : ILiteral<char>    where TNext : IStringNode{     public static int Length => 1 + TNext.Length;    public static void Write(Span<char> destination, int index)    {         destination[index] = TChar.Value;        TNext.Write(destination, index + 1);    }}

  有了這樣的類型鏈表 ，它隻是圍繞一個很具體的問題：C# 的類型係統到底能讓我們把多少查詢邏輯搬過去，因此作為查詢條件中的字麵量
，

  過濾器

  過濾器的接口長這樣：

  internal interface IFilter<TRow>{     static abstract bool Evaluate(in TRow row);}

  一個最常用的比較過濾器形式，這時候 ，裏麵放運行時類型；

• 同時記錄一份公共 ValueTuple<...>類型 ，沒有虛調用。JIT 直接把我們的字符串字麵量的長度常量嵌進了機器碼裏；進一步當長度匹配時，

最後組合出一個過濾器類型：

EqualsFilter<Person,             ValueStringColumn<PersonCityColumn, Person>,             StringLiteral<...>,             ValueString>

到這一步，再通過 TString.Length和 TString.Write複原出一個 ValueString("Seattle")
，JIT 直接把行類型的大小常量也嵌進去了 ，結構在編譯期就定死