Claude在MLIR代碼分析上完全超越了ChatGPT并表現(xiàn)十分驚艷，請(qǐng)閱讀全文或者自己注冊(cè)感受它的強(qiáng)大。結(jié)論：在本文的任務(wù)中，Claude > ChatGPT >> NewBing

0x0. 前言

這里將以oneflow IR部分中的一個(gè)Codegen任務(wù)（目標(biāo)是在mlir codegen中支持oneflow stream，用oneflow stream替換pass中自己生成的stream，PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149）為例，來(lái)對(duì)比一下newibing(chatgpt)和claude對(duì)mlir的理解能力。claude是Anthropic公司推出的類似于chatgpt的聊天機(jī)器人，這家公司是OpenAI的最大競(jìng)爭(zhēng)對(duì)手之一，因?yàn)閯?chuàng)辦這家公司的人也是OpenAI的前員工。然后Claude是參考這個(gè)issue: https://www.zhihu.com/question/594115372/answer/2988759047 將其直接添加到slack里進(jìn)行對(duì)話。

0x1. PR簡(jiǎn)介

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

這個(gè)PR實(shí)現(xiàn)了3個(gè)Pass (定義在 OneFlowPasses.td)，也就是：

defEliminateAllocOpsPass:Pass<"eliminate-alloc-ops","ModuleOp">{
letsummary="";
letconstructor="mlir::createEliminateAllocOpsPass()";
letdependentDialects=["pdl_interp::PDLInterpDialect","pdl::PDLDialect"];
}

defAppendOneFlowStreamPass:Pass<"append-ofstream","ModuleOp">{
letsummary="appendoneflowstreamtogpufunctionarguments";
letconstructor="mlir::createAppendOneFlowStreamPass()";
}

defMgpuToOneFlowStreamPass:Pass<"mgpu-to-ofstream","ModuleOp">{
letsummary="convertmlirabiaboutmgputooneflowstream,thispassshouldbeinvokedafterappend-ofstreampass";
letconstructor="mlir::createMgpuToOneFlowStreamPass()";
}

EliminateAllocOpsPass用來(lái)消除IR中的無(wú)效memref.alloc指令，AppendOneFlowStreamPass給GPU相關(guān)的函數(shù)添加GPU啟動(dòng)kernel需要的stream參數(shù)，MgpuToOneFlowStreamPass發(fā)生在AppendOneFlowStreamPass執(zhí)行之后(它生成了stream參數(shù))并把mgpu相關(guān)的stream abi替換為oneflow stream abi。

我們分別使用newbing和claude來(lái)讓它們分析一下這幾行OneFlowPasses.td中定義的Pass意圖：

newbing：

newbing直接看不懂，其實(shí)我感覺(jué)claude也應(yīng)該看不懂吧，抱著懷疑的態(tài)度問(wèn)一下。

太瘋狂了，claude不僅讀懂了td文件的代碼，甚至為我們列出了這個(gè)代碼涉及到的MLIR概念。感覺(jué)是訓(xùn)練數(shù)據(jù)考慮了MLIR相關(guān)的預(yù)料？接下來(lái)我們?cè)賹?duì)比下C++實(shí)現(xiàn)的Pass代碼。

0x2. 對(duì)比具體實(shí)現(xiàn)

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

0x2.1 EliminateAllocOpsPass

EliminateAllocOpsPass使用MLIR提供的PDL語(yǔ)言來(lái)完成Pattern的匹配和重寫，具體實(shí)現(xiàn)在 oneflow/ir/lib/OneFlow/PDLL/AllocEliminationPatterns.pdll ：

#include"OneFlow/OneFlowOps.td"

ConstraintIsFuncArguments(value:Value)[{
returnsuccess(llvm::dyn_cast(value));
}];

Pattern{
letalloc=op();
letcopy=op(alloc.0,arg:IsFuncArguments);

rewriteallocwith{
erasecopy;
replaceallocwitharg;
};
}

接下來(lái)，我們分別對(duì)比一下newbing和chatgpt對(duì)它的分析結(jié)果。

newbing并不能解析出這段代碼是MLIR的PDL語(yǔ)言，當(dāng)然也無(wú)法理解代碼內(nèi)容。我們可以再使用Claude試試。

個(gè)人感覺(jué)這個(gè)解釋是非常強(qiáng)大且精準(zhǔn)的，Claude的答案非常驚艷。

0x2.2 AppendOneFlowStreamPass

接下來(lái)我們看一下AppendOneFlowStreamPass的實(shí)現(xiàn)，這個(gè)實(shí)現(xiàn)是在oneflow/ir/lib/OneFlow/Transform/OneFlowStream.cpp這個(gè)文件，具體代碼如下：

structAppendOneFlowStreamPatternfinal:publicOpRewritePattern{
public:
explicitAppendOneFlowStreamPattern(mlir::MLIRContext*context)
:OpRewritePattern(context,/*benefit=*/0){}
mlir::LogicalResultmatchAndRewrite(func::FuncOpop,
mlir::PatternRewriter&rewriter)constoverride{
autoptr_type=LLVM::get(rewriter.getContext(),8));
if(llvm::dyn_cast(op.getFunctionType().getInputs().back()))
returnsuccess();

llvm::SmallVectornew_operand_type;
for(autotype:op.getFunctionType().getInputs()){new_operand_type.push_back(type);}
new_operand_type.push_back(ptr_type);
autofunction_type=
rewriter.getFunctionType(new_operand_type,op.getFunctionType().getResults());

autofunc=rewriter.create(op.getLoc(),op.getName(),function_type);
for(autopair:op->getDialectAttrs()){func->setAttr(pair.getName(),pair.getValue());}
op.getBody().addArgument(ptr_type,func->getLoc());
IRMappingbvm;
op.getRegion().cloneInto(&func.getRegion(),bvm);
rewriter.eraseOp(op);
returnsuccess();
}
};

c++代碼newbing（chatgpt）按道理可以看懂了，我們讓它分析一下：

直接問(wèn)chatgpt，它還是不懂這段代碼。我手動(dòng)提示了下它說(shuō)，這段代碼定義了一個(gè)mlir pattern，然后它先是重復(fù)我的話給出了一段回答。然后接下來(lái)就是胡說(shuō)八道了，在這個(gè)例子中表現(xiàn)很差。接下來(lái)我們拷問(wèn)一下Claude：

我們繼續(xù)問(wèn)一下c++代碼中的一些細(xì)節(jié)：

非常強(qiáng)大，給出的解釋大多比較精準(zhǔn)，并且似乎Claude真的完全理解了這段代碼的邏輯。我們需要注意的是，這段代碼是我同事今天才寫的，模型的泛化性真的很好。

MgpuToOneFlowStreamPass

我們最后再分析下MgpuToOneFlowStreamPass的實(shí)現(xiàn)。

structMgpuToOneFlowStreamPatternfinal:publicOpRewritePattern{
public:
explicitMgpuToOneFlowStreamPattern(mlir::MLIRContext*context)
:OpRewritePattern(context,/*benefit=*/0){}
mlir::LogicalResultmatchAndRewrite(LLVM::CallOpop,
mlir::PatternRewriter&rewriter)constoverride{
autoptr_type=LLVM::get(rewriter.getContext(),8));
autofunc=op->getParentOfType();
autocallee=op.getCallee();
if(!func||!callee)returnfailure();
Valuestream=func.getArguments().back();
if(stream.getType()!=ptr_type){
LOG(ERROR)<"failedtofindstreaminllvm.funcblockarguments";
returnfailure();
}

DenseMapstd::pair<std::function<bool(LLVM::CallOp&,Value&)>,
std::function<void(mlir::PatternRewriter&,LLVM::CallOp&,Value&)>>>
oneflow_abi={
{"mgpuStreamCreate",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.replaceOp(op,{stream});
}}},
{"mgpuLaunchKernel",
{[](LLVM::CallOp&op,Value&stream){
unsignedidx=op->getNumOperands();
returnop.getOperand(idx-3)!=stream;
},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
unsignedidx=op->getNumOperands();
autotarget=op.getOperand(idx-3).getDefiningOp();
rewriter.replaceOp(target,{stream});
}}},
{"mgpuStreamSynchronize",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.eraseOp(op);
}}},
{"mgpuStreamDestroy",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.eraseOp(op);
}}},
};
autoout=oneflow_abi.find(callee.value().str());
if(out!=oneflow_abi.end()&&out->getSecond().first(op,stream)){
out->getSecond().second(rewriter,op,stream);
}
returnsuccess();
}
};

還是先讓chatgpt分析下：

回答還是比較模棱兩可，并且可以確定的事情是chatgpt完全沒(méi)有理解這段代碼。

接下來(lái)還是使用Claude來(lái)測(cè)試下：

這個(gè)地方讓我震驚的點(diǎn)是，它不僅理解了這段代碼，而且知道在MLIR里面這段代碼只是一個(gè)Pattern規(guī)則，如果要應(yīng)用這個(gè)規(guī)則需要在MLIR里面再構(gòu)建一個(gè)Pass。最后我們?cè)僮孋laude給我們一些Review意見(jiàn)：

這里的第4點(diǎn)提示讓我感到有些疑惑，我還請(qǐng)教了下同事，順便讓同事補(bǔ)充一下注釋。

整體來(lái)說(shuō)，在閱讀MLIR代碼方面，Claude已經(jīng)相當(dāng)智能，全面領(lǐng)先Newbing（Chatgpt），感覺(jué)以后可以日常用Claude來(lái)輔助Review IR相關(guān)代碼。

0x3. 總結(jié)

我這里以MLIR的一個(gè)任務(wù)對(duì)比了一下ChatGpt和Claude，我感受到了Calude的強(qiáng)大之處。雖然暫時(shí)還沒(méi)有評(píng)測(cè)過(guò)別的任務(wù)，但我已經(jīng)被Calude表現(xiàn)出來(lái)的代碼分析能力所震撼。我們甚至可以將Claude作為一個(gè)入門AI編譯器的入門工具

--------------------------------分割線-------------------------------------

評(píng)論區(qū)有朋友提出newbing的一些功能被限制了，并不等價(jià)于chatgpt3.5，我借了一個(gè)官方的chatgpt賬號(hào)重新測(cè)試了一下，以下是測(cè)試結(jié)果：

就這個(gè)例子來(lái)說(shuō)，chatgpt的解釋沒(méi)有Claude那么細(xì)節(jié)，Claude的結(jié)果確實(shí)比chatgpt的好一點(diǎn)，不過(guò)chatgpt確實(shí)知道這個(gè)是MLIR的Pass，不像newbing那樣被限制。

EliminateAllocOpsPass

接下來(lái)問(wèn)問(wèn) EliminateAllocOpsPass 的實(shí)現(xiàn)：

我們可以對(duì)比下上面Calude的結(jié)果，感覺(jué)針對(duì)這個(gè)問(wèn)題ChatGPT的描述以及理解是不如Claude那么自然的。從這個(gè)回答里面我們并不能看出ChatGPT理解了這個(gè)實(shí)現(xiàn)的原理，而Claude則完全理解了。

AppendOneFlowStreamPattern

對(duì)比下Claude：

可以看到Claude的分析比ChatGPT好很多，它明確的知道if (llvm::dyn_cast(op.getFunctionType().getInputs().back())) 這行代碼是檢查當(dāng)前函數(shù)是否已經(jīng)有Stream參數(shù)，而ChatGPT的回答則不知道這個(gè)指針類型的參數(shù)就代表Stream。

接下來(lái)是細(xì)節(jié)分析。

對(duì)比下Claude

Claude的解釋再次擊敗了ChatGPT

對(duì)比下Claude

可以看到Claude的結(jié)果顯然也是更優(yōu)的，不僅為我們解釋了所有細(xì)節(jié)還列出了用到的MLIR相關(guān)屬性和接口。

MgpuToOneFlowStreamPass

我們最后再分析下MgpuToOneFlowStreamPass的實(shí)現(xiàn)。

對(duì)比Claude

Claude的結(jié)果也顯著優(yōu)于ChatGPT，并且可以發(fā)現(xiàn)ChatGPT的回答里面還漏掉了一個(gè)mgpuStreamSynchronize ABI。最后，我們?cè)賳?wèn)一下ChatGPT能不能給出一些修改意見(jiàn)。

感覺(jué)和Claude差不多。

結(jié)論2

整體來(lái)看，在這個(gè)Review MLIR代碼的任務(wù)中，Claude > ChatGPT >> NewBing

審核編輯 ：李倩