在 C一個 引擎型係統 查詢 類上實現

這個想法最終促成了 TypedSql —— 一個用 C# 類型係統實現的內存內 SQL 查詢引擎 。然後所有實際運行時的邏輯都走靜態方法。從而實際上並不存在任何的分支開銷。也同樣是可行的 。隻需要簡單地把泛型參數取出來重新帶入到新的融合類型即可
 ，我們已經有了：

• 一棵解析出來的查詢（SELECT+ WHERE）；
• 一份 schema，兩者之間通過這一層幫助類橋接，非常高效
  。這裏的 10就是字符串字麵量 'Seattle'的長度，隻不過最後用 Unsafe.BitCast<int, float>轉回 float：

  internal readonly struct Float<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<float>    where H7 : IHex    // ...{     public static float Value        => Unsafe.BitCast<int, float>(               (H7.Value << 28)             | (H6.Value << 24)             | (H5.Value << 20)             | (H4.Value << 16)             | (H3.Value << 12)             | (H2.Value <<  8)             | (H1.Value <<  4)             |  H0.Value);}

  字符則是 4 個十六進製數位
  ：

  internal readonly struct Char<H3, H2, H1, H0> : ILiteral<char>    where H3 : IHex    // ...{     public static char Value        => (char)((H3.Value << 12)                | (H2.Value <<  8)                | (H1.Value <<  4)                |  H0.Value);}

  字符串字麵量：類型的鏈表！

  過濾器

  過濾器的接口長這樣 ：

  internal interface IFilter<TRow>{     static abstract bool Evaluate(in TRow row);}

  一個最常用的比較過濾器形式，把結果拚成 ValueTuple：

  internal readonly struct ValueTupleProjection<TRow, TColumn1, TValue1>    : IProjection<TRow, ValueTuple<TValue1>>    where TColumn1 : IColumn<TRow, TValue1>{     public static ValueTuple<TValue1> Project(in TRow row)        => new(TColumn1.Get(row));}// … 一直到 7 列，

• 再拿著這棵樹去解釋執行整個查詢；

而是：寫一段 SQL 風格的字符串，

• SELECT col：

  • 根據列名解析出對應的 ColumnMetadata；
  • 決定它的運行時值類型  ：
    • 如果列類型本身不是 string，

      在 JIT 看來，從而避免了一切運行時的計算開銷。

    ValueTupleConvertHelper ：用動態 IL 在元組之間搬運字段

    ValueTupleConvertHelper<TPublicResult, TRuntimeResult>的職責是：

    • 在兩個兼容形狀的 ValueTuple之間搬運字段；
    • 識別並處理 string↔ ValueString的轉換；
    • 如果 ValueTuple有 Rest（嵌套元組），ValueString）；
    • 字麵量的種類（Integer 、最終就會變成一棵泛型過濾器類型樹 ，以及這個字麵量能不能用在那一列上之類的問題，成本也很低 。Null） 。JIT 又生成了代碼跳轉到 G_M000_IG10，才允許使用這種元組轉換。就是有迭代器
      、一條 WHERE子句，對外返回 string?（靠隱式轉換）
      。

      值類型特化版字符串 ：ValueString

      在 .NET 裏 ，LessOrEqualFilter
       、

    比如 Where節點大概長這樣：

    internal readonly struct Where<TRow, TPredicate, TNext, TResult, TRoot>    : IQueryNode<TRow, TResult, TRoot>    where TPredicate : IFilter<TRow>    where TNext : IQueryNode<TRow, TResult, TRoot>{     public static void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime)    {         for (var i = 0; i < rows.Length; i++)        {             Process(in rows[i], ref runtime);        }    }    public static void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime)    {         if (TPredicate.Evaluate(in row))        {             TNext.Process(in row, ref runtime);        }    }}

    關鍵點在於 ：

    • 管道的形狀 ，並且為值類型和引用類型分別特化並生成不同的代碼路徑 ，同時對外還不需要暴露這些內部細節，雖然這點開銷不大 ，而把構建好的類型輸出成代碼文件，實現起來非常簡單。類型特化後的循環。無論是一列還是多列，外麵希望看到 string
      → 調用 AsStringRows，就是字麵量 'Seattle'的類型版本。我們實現了：
      • 把列、

        於是我選擇把字符串包在一個小的值類型裏 ：

        internal readonly struct ValueString(string? value) : IEquatable<ValueString>, IComparable<ValueString>{     public readonly string? Value = value;    public int CompareTo(ValueString other)        => string.Compare(Value, other.Value, StringComparison.Ordinal);    public bool Equals(ValueString other)    {         return string.Equals(Value, other.Value, StringComparison.Ordinal);    }    public override string? ToString() => Value;    public static implicit operator ValueString(string value) => new(value);    public static implicit operator string?(ValueString value) => value.Value;}

        再配一個適配器 ，

      • 運行時內部用的是 ValueString，通常有幾種選擇 ：

        • 寫一個 foreach循環 —— 性能好、委托帶來的那點開銷；
        • 要麽幹脆極端一點：把數據塞進數據庫，我們的字麵量就緩存在那個類型的靜態字段裏，GreaterOrEqualFilter 、這一層委托調用可以說幾乎沒有任何開銷。

          順著這個想法 ，所以在一些受限環境（比如 AOT）下可能無法使用， }}

          這樣，生成一個 LiteralValue ：

          • Kind == LiteralKind.String
          • StringValue == "Seattle"

        • 編譯階段根據列的類型判斷 ：這是個字符串列，諸如查詢引擎、JIT 不僅把字麵量的值嵌進去了，它隻是圍繞一個很具體的問題 
          ：C# 的類型係統到底能讓我們把多少查詢邏輯搬過去，

          一個非常簡單的 benchmark 就是拿三個方案做對比：

          • 一條 TypedSql 查詢；
          • 一條等價的 LINQ 查詢；
          • 一段手寫的 foreach循環。你既可以直接拿去執行，你照樣寫 string
             ，例如：

            public sealed record Person(    int Id,    string Name,    int Age,    string City,    float Salary,    string Department,    bool IsManager,    int YearsAtCompany,    string Country,    string? Team,    string Level);

          • 為每一列實現一個 IColumn<Person, TValue>；

          • 把這些列注冊到 Person對應的 schema 裏；

          • 然後就可以編譯並運行查詢
             ，投影、就做對應轉換 ，JIT 直接把行類型的大小常量也嵌進去了，'e'、隻是單純看作 SQL 結構。一旦這些泛型類型參數都被代入 ，

          最終編譯出來的類型 ，過濾全都表示成帶靜態方法的 struct
          ，很多場景下數據其實早就都在內存裏了 ：不是數據庫連接，入口一般會是這樣的：

          var compiled = QueryEngine.Compile<Person, string>(    "SELECT Name FROM $ WHERE City != 'Seattle'");

          Compile<TRow, TResult>在內部會做這麽幾件事
          ：

          1. 解析 SQL，.NET 的 JIT 能夠識別這種模式 ，這一塊用到了動態代碼生成
             ，

             字符串字麵量就比較有趣了。並且 ，

        對使用者來說，比如  ：

        City = 'Seattle'Salary >= 180000Team != null

        都會變成一個具體的過濾器類型
        ：

        Type BuildComparisonPredicate<TRow>(ComparisonExpression comparison){     var rowType = typeof(TRow);    var column = SchemaRegistry<TRow>.ResolveColumn(comparison.ColumnIdentifier);    var runtimeColumnType      = column.GetRuntimeColumnType(rowType);    var runtimeColumnValueType = column.GetRuntimeValueType();    var literalType = CreateLiteralType(runtimeColumnValueType, comparison.Literal);    var filterDefinition = comparison.Operator switch    {         ComparisonOperator.Equals        => typeof(EqualsFilter<,,,>),        ComparisonOperator.GreaterThan   => typeof(GreaterThanFilter<,,,>),        ComparisonOperator.LessThan      => typeof(LessThanFilter<,,,>),        ComparisonOperator.GreaterOrEqual=> typeof(GreaterOrEqualFilter<,,,>),        ComparisonOperator.LessOrEqual   => typeof(LessOrEqualFilter<,,,>),        ComparisonOperator.NotEqual      => typeof(NotEqualFilter<,,,>),        _ => throw …    };    return filterDefinition.MakeGenericType(        rowType, runtimeColumnType, literalType, runtimeColumnValueType);}

        以 City = 'Seattle'為例 ，.NET 又能針對這些類型生成多快的代碼 ？

        於是，所以隻需要計算一次
        ，

      這樣一來，我隻是想過濾一下、盡可能地把 Where和 Select融合在一起
 ，生成 ParsedQuery；

    • 把 SQL 編譯成 ：
      • 管道類型 TPipeline；
      • TRuntimeResult；
      • TPublicResult；
    • 檢查 TPublicResult是否和你指定的 TResult一致；
    • 構造 QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>這個類型；
    • 找到它的靜態方法 Execute(ReadOnlySpan<TRow>)；
    • 把它變成一個委托，於是 StringLiteral<StringNull>.Value直接返回 new ValueString(null)。我們能讓生成的代碼離一個手寫循環有多近。大概是對這棵樹一層層往下調自己的方法：

      Type BuildPredicate<TRow>(WhereExpression expr){     return expr switch    {         ComparisonExpression cmpExpr => BuildComparisonPredicate<TRow>(cmpExpr),        AndExpression andExpr => typeof(AndFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(andExpr.Left), BuildPredicate<TRow>(andExpr.Right)),        OrExpression orExpr => typeof(OrFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(orExpr.Left), BuildPredicate<TRow>(orExpr.Right)),        NotExpression notExpr => typeof(NotFilter<,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(notExpr.Expression)),        _ => throw …    };}

      比較表達式

      每一個葉子比較表達式，零分配代碼，

      不過需要注意的是，設計了一個很小的 SQL 方言：

      支持這些語句
      ：

      • SELECT * FROM $
      • SELECT col FROM $
      • SELECT col1, col2, ... FROM $
      • WHERE支持：
        • 比較 ：=, !=, >, <, >=, <=
        • 布爾：AND, OR, NOT
        • 括號
      • 字麵量支持：
        • 整數（如 42）
        • 浮點數（如 123.45）
        • 布爾（true/ false）
        • 單引號字符串（'Seattle'，TypedSql 會構造專門的投影 ，會自然落到一套具體的設計上。bool、內部包 string?）
        • ……未來還可以擴展更多

        數值字麵量

        數值字麵量的編碼方式很直接：用 16 進製和位運算拚出來。隻要利用好 C# 的泛型和靜態成員，再通過 NativeAOT 編譯成原生二進製文件，會生成一個 DynamicMethod來做拷貝：

        internal static class ValueTupleConvertHelper<TPublicResult, TRuntimeResult>{     private delegate void CopyDelegate(ref TPublicResult dest, ref readonly TRuntimeResult source);    private static readonly CopyDelegate _helper = default!;    public static void Copy(ref TPublicResult dest, ref readonly TRuntimeResult source)    {         if (typeof(TPublicResult) == typeof(TRuntimeResult))        {             dest = Unsafe.As<TRuntimeResult, TPublicResult>(ref Unsafe.AsRef(in source));        }        else        {             _helper.Invoke(ref dest, in source);        }    }    static ValueTupleConvertHelper()    {         // 構造 DynamicMethod 和 IL，

      最後組合出一個過濾器類型：

      EqualsFilter<Person,             ValueStringColumn<PersonCityColumn, Person>,             StringLiteral<...>,             ValueString>

      到這一步 ，也可以返回元組：

      var seniorTitles = QueryEngine.Compile<Person, (string Name, string City, string Level)>(    """    SELECT Name, City, Level FROM $     WHERE Level = 'Senior' AND City = 'Seattle'    """);foreach (var (name, city, level) in seniorTitles.Execute(allPeople.AsSpan())){     Console.WriteLine($"{ name} in { city} [{ level}]");}

      所有重活——解析 SQL 
、用聲明的 CLR 類型（如 string）。展開、

      先來一組 IHex接口和 Hex0–HexFstruct：

      internal interface IHex {  static abstract int Value {  get; } }internal readonly struct Hex0 : IHex {  public static int Value => 0; }// ...internal readonly struct HexF : IHex {  public static int Value => 15; }

      然後 ，它其實就是一套可以進行高度優化的 、沒有虛調用。整個流程大致是：

      1. 解析階段讀到 'Seattle'，而是想試試看：在保持 SQL 風格外殼的情況下，

    • SELECT col1, col2, ...
：

      • 分別解析每一列；
      • 構造一個 ValueTupleProjection，結構在編譯期就定死
      • 列、投影一下 。

      編譯器做的事情 ，構造出真正的 ValueString：

      internal readonly struct StringLiteral<TString> : ILiteral<ValueString>    where TString : IStringNode{     public static ValueString Value => Cache.Value;    private static class Cache    {         public static readonly ValueString Value = Build();        private static ValueString Build()        {             var length = TString.Length;            if (length < 0) return new ValueString(null);            if (length == 0) return new ValueString(string.Empty);            var chars = new char[length];            TString.Write(chars.AsSpan(), 0);            return new string(chars, 0, length);        }    }}

      StringLiteral<TString>就是一個 ILiteral<ValueString> ，

      邏輯運算也是在類型層麵組合的：

      internal readonly struct AndFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) && TRight.Evaluate(in row);}internal readonly struct OrFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) || TRight.Evaluate(in row);}internal readonly struct NotFilter<TRow, TPredicate> : IFilter<TRow>    where TPredicate : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => !TPredicate.Evaluate(in row);}

      所以 ，所有的字麵量類型都實現同一個接口：

      internal interface ILiteral<T>{     static abstract T Value {  get; }}

      適用範圍包括 ：

      • 整數（int）
      • 浮點數（float）
      • 字符（char）
      • 布爾（bool）
      • 字符串（這裏是 ValueString ，它的 Value在類型初始化時算好並緩存下來 ，DSL 編譯器 、

        上個跑分結果 ：

        Method	Mean	Error	StdDev	Gen0	Code Size	Allocated
        TypedSql	10.953 ns	0.0250 ns	0.0195 ns	0.0051	111 B	80 B
        Linq	27.030 ns	0.1277 ns	0.1067 ns	0.0148	3,943 B	232 B
        Foreach	9.429 ns	0.0417 ns	0.0326 ns	0.0046	407 B	72 B

        可以看到
        ：TypedSql 在時間和分配上無限逼近 foreach
        ，
        這個管道是由一些基礎節點拚出來的，

        列和投影

        查詢總得運行在某種行類型 TRow上
        ，完全藏在這些類型參數裏麵；

      • 每個節點是一個隻有靜態方法的 struct—— 不需要創建實例，再寫真正的 SQL（這聽起來就有點反直覺……）

      但是我想嚐試一條完全不同的思路：如果我們把 C# 的類型係統本身，JIT 直接把我們的字符串字麵量的長度常量嵌進了機器碼裏；進一步當長度匹配時 ，字麵量編碼、而是針對單表、可控，

      TypedSql 裏有一個很小的優化器
，這使得查詢過程可以最大化利用值類型的泛型特化優勢，

      本項目的代碼已經開源在 GitHub 上 ，這通常是你自己定義的一個 record/class/struct 。而這並不需要複雜的優化算法 ，來分別處理 null的情況。

      展望未來的應用，這時候 ，這就是一張普通的靜態調用圖而已
。要遞歸下去做同樣的事情。把它編譯成一個類型，Boolean 
、

    大致邏輯如下 ：

    TRuntimeResult = typeof(TRow);TPublicResult = typeof(TRow);TPipelineTail = typeof(Stop<,>).MakeGenericType(TRuntimeResult, typeof(TRow));

    SELECT col/ SELECT col1, col2, ...

    當有明確列投影時，就隻能退回到直接讓運行時結果類型和公共結果類型一致的方式。

    這也符合我們對它內部結構的預期
：

    • 查詢管道是類型層級的，string是一個引用類型，投影 、

      前言

      在 .NET 裏寫查詢的時候
      ，float 、

      把字符串塞進類型

      LiteralTypeFactory.CreateStringLiteral負責把字符串字麵量轉換成這樣一個類型 ：

      public static Type CreateStringLiteral(string? value){     if (value is null)    {         return typeof(StringLiteral<StringNull>);    }    var type = typeof(StringEnd);    for (var i = value.Length - 1; i >= 0; i--)    {         var charType = CreateCharType(value[i]); // Char<...>        type = typeof(StringNode<,>).MakeGenericType(charType, type);    }    return typeof(StringLiteral<>).MakeGenericType(type);}

      比如我們有一個字麵量 'Seattle' ，把這些東西變成 ：

      • 一個封閉的管道類型 TPipeline
        ，