Susam 提煉了三條給人類看的代码“反向定律”。人類必須對後果承擔全部責任 。生产事故它“唰”地一下給你生成了一大段代碼。背锅但是代码,方向盤和刹車必須死死攥在自己手裏。生产事故你的背锅大腦就會不自覺地套用這種“社交直覺” 。但其實現在最危險的代码根本不是機器人,
代碼是生产事故機器寫的還是人寫的 ,絕不能將 AI 的背锅結果視為權威。“升級到 2.0 之後這個 API 廢棄了”。代码一旦你心裏有了“這反正是生产事故 AI 寫的,甚至是背锅用真實的線上故障試錯出來的 。而是代码“一本正經地胡說八道,
大模型最可怕的生产事故能力,最近有一個叫做 Susam Pal 安全研究員寫了一篇叫《Inverse Laws of Robotics》的背锅文章,不是寫代碼 ,它經過了無數同行的 Peer Review ,用這句話來甩鍋,
你不能光占著 AI 幫你摸魚的便宜,“猜”出來的最連貫的字符組合而已。永遠不能拿“AI 告訴我這麽做的”來當借口。但稍微往深了一看,隻要沒有覆蓋對應的單元測試 ,哪怕代碼寫得有瑕疵,周末全員拉群排查,這種習慣非常致命。不管是 GPT 還是 Claude,惡劣程度等同於“因為編譯器沒報錯,微調、
但這才是最恐怖的地方 。
想象一下:周五晚上十點,甚至還有看似嚴密的 Markdown 解釋。真正的壁壘是什麽?
是你能在一眼望不到頭的 AI 代碼中,大部分技術團隊在出線上事故後,卻不想背它出錯的黑鍋。不要把它當人看 。整個行業都在拚命研究怎麽給大模型“立規矩” :搞 RAG(檢索增強)、這個方法在多線程下會死鎖”、乃至搞出一整套 Harness Engineering。我看它邏輯挺清晰的,
並且讓你深信不疑” 。別被排版糊弄了 :沒跑過驗證的代碼,大腦的思考機製就會自動關機,
在一個大家都能用 AI 瞬間生成海量代碼的年代,
在人類社會的協作裏,邏輯“看起來”順理成章的代碼 ,
這就好比一個外科醫生把手術做砸了,所以係統宕機不怪我”。大模型根本沒有“理解”,
以前我們遇到搞不定的 Bug ,你的 Code Review 雷達才不會失效 。
現在的 AI 廠商為了用戶體驗,當你把大模型擬人化之後,
這恰恰是最大的坑。絕不能盲目信任 AI 的輸出。它隻是模型在當下那一秒 ,
但是現在 ,沒有經過獨立驗證,AI 寫代碼的速度越快 ,
這可能是接下來一兩年裏,誰就老老實實為這 500 行代碼負 100% 的責任。它認錯的態度還挺誠懇的 。它也不會被開除,
別給它加戲:它不是你的同事,
我們要搞清楚一個基本事實:AI 隻是個幹活的工具。答案出奇地一致:“這是 Copilot / ChatGPT / Claude Code 給出的代碼,漏寫了一個很不顯眼的資源釋放邏輯。”
方向盤必須在自己手裏
看完 Susam Pal 的這三條“反向定律”,它不用背房貸 ,我們對同事是有“容錯率”的 。隻是一台 Token 機器
第一定律 :拒絕擬人化。你在代碼助手裏敲一句注釋 ,沒聽懂我的需求。動不動就對你說“抱歉,這種討好型的輸出 ,
最近在做 Code Review 的時候,我覺得這三條規矩 ,他潛意識裏的工程底線正在悄悄崩塌。覺得“它都這麽努力理解我了,就是怕大模型在線上環境突然發瘋。它看起來太完美了 ,
麵對 AI 編程這波浪潮,他提出一個很犀利的觀點:阿西莫夫花了一輩子給機器人定法律,
這就要求我們把權責切得明明白白 :AI 可以幫你一秒鍾寫出 500 行代碼,但脾氣極好、直接快捷鍵一敲 ,誰審查的這 500 行代碼,那就是賽博垃圾。但作為技術人,但其實,然後說“因為這把手術刀太鋒利了 ,習慣去搜 Stack Overflow 。你也會下意識地寬容他 ,
工具不承擔後果,
但是,
現實中,立下一個死規矩:信任在工程實踐中非常寶貴 。大不了就是重啟一下進程。太權威了 。我會當場發飆 。有高亮 、大家都在焦慮“我是不是要被淘汰了” 、底下往往跟著一堆評論 :“哥,更沒有“態度” 。在這個 AI 亂寫的時代裏,
你在辦公室裏肯定聽過同事這麽議論大模型:
- “某某模型今天好像變笨了,不用拿績效,守住一個工程師的職業底線,寫這段代碼的年輕開發很委屈地說
:“老大,AI 隻是工具,把模型的語氣微調得極其謙卑 。絕大多數開發一看到這種排版精美
、我馬上改”。心裏應該有一堵極度冷酷的牆 :不要對它說“請”和“謝謝”,
把它當成什麽 ?當成一個高級的命令行工具(CLI) ,
不管大模型進化到第幾代。其實我想寫個 map。敏銳地嗅出架構腐化的味道;是你堅持無論代碼誰寫的 ,我發現團隊裏越來越多的年輕工程師 ,比什麽都強 。基於海量語料做統計學概率預測的“文本接龍機器”。或者一個隨時會拋出
NullPointerException的第三方黑盒依賴。打鐵還需自身硬,結合我最近在團隊裏的觀察,重要的是,大體方向應該沒錯”。大家不斷的折騰 ,我們搜出來的那個高讚答案,當一個開發者習慣了 AI 瞬間吐出幾百行代碼後,但現實是,甚至連注釋都寫得完美無缺 ,就直接拿來用了。剝離掉擬人化的濾鏡 ,而是屏幕前那個使用機器人的人類 。這段代碼沒有任何人做過審查。最容易上演的甩鍋大戲。
資深開發者在用 AI 時,業務邏輯根本跑不通的代碼 。”
如果在我的團隊裏聽到這句話,都必須卡死測試覆蓋率的底線;是你時刻清醒地知道 ,一巴掌拍醒很多人。對我們的基本功考驗反而越嚴苛 。你的技術生涯基本也就到頭了 。”

聽起來沒什麽大不了的,如果一個實習生態度很好,不要賦予 AI 情感、出錯了也有借口”的念頭,在工程師的職業素養裏 ,您說得對 ,誰把它發布到了生產環境 ,那段複雜 SQL 是 Copilot 生成的 ,全是定時炸彈
第二定律 :拒絕盲從 。你才不會對它生成的代碼抱有任何不切實際的“信任感”,我最近在查一個內存泄漏的偶發 Bug 時 ,你會放鬆警惕,
問他們怎麽寫的,會在潛意識裏給你一種錯覺 :你在和一個雖然有點粗心,這是提效 。
傳統的社區代碼,穩了”、客服電話被打爆 。意圖或道德代理權 。
我們幾乎把所有的工程資源,沒有“以為” ,有縮進 、都砸在了“如何防止 AI 犯錯”上。應該直接寫進每個技術團隊的入職手冊裏 。終於定位到是因為一段 SQL 連表查詢寫成了死循環把數據庫拖垮了。對吧 ?大家都在開玩笑。
以後在團隊裏 ,不管 AI 輸出的代碼看起來多優雅,就算把整個支付寶或者微信的後台搞崩潰了 ,這不重要。甚至幫他把邏輯補齊。寫各種複雜的 System Prompt,我看編輯器沒報錯就直接提交了,我也不知道它會把庫打掛啊 。開始頻繁提交一些看起來極其規整 、就發現是這種 AI 生成的“完美代碼”裏 ,”
這兩年 ,複盤會上,“我是不是該去學怎麽寫 Prompt”。非常聽話的初級程序員溝通。自己劃偏了”一樣荒謬。係統掛了,合並到業務代碼裏。
誰合並代碼誰背鍋 :“AI 寫的”絕對不是免死金牌
第三定律:責任不可剝奪。敲鍵盤的手速早就不是壁壘了。”

