IDC首發(fā)中國市場(chǎng)代碼生成產(chǎn)品評估報告

國際數據公司（IDC）于近日發(fā)布了《中國市場(chǎng)代碼生成產(chǎn)品評估，1H24》（Doc# CHC51598624，2024年10月），報告分析了整體代碼生成市場(chǎng)情況，對當前主流產(chǎn)品進(jìn)行了多維度評估和實(shí)際測評，從C++和Java兩種語(yǔ)言來(lái)評估AI產(chǎn)品的生成代碼和注釋準確率和可幫助性，旨在為企業(yè)選擇產(chǎn)品時(shí)提供更好的參考。

IDC預測，到2030年，AI會(huì )累計為全球經(jīng)濟帶來(lái)19.4萬(wàn)億的經(jīng)濟收入，每在A(yíng)I解決方案和服務(wù)上花費1美元，就可以產(chǎn)生4.6美元的經(jīng)濟收益，包括直接價(jià)值鏈收益和間接全生態(tài)影響。

代碼生成產(chǎn)品作為生成式AI的主要服務(wù)形式之一，擁有巨大的發(fā)展空間和前景。IDC全球數據顯示，82%的開(kāi)發(fā)人員已經(jīng)使用具有自動(dòng)完成或智能代碼生成功能的IDE或代碼編輯器，其中71%的人表示他們編寫(xiě)的代碼中有40%以上是自動(dòng)生成的。另一項面向中國市場(chǎng)的調研數據顯示，對于已經(jīng)探索和應用GenAI的企業(yè)，其中有31%的人員已經(jīng)使用了代碼生成產(chǎn)品。

本次報告收錄了CodeGeeX、豆包MarsCode、Q Developer、通義靈碼、騰訊云AI代碼助手、文心快碼、小浣熊Raccoon、亞信圖靈程序員共8個(gè)產(chǎn)品（按產(chǎn)品拼音首字母排序），并從產(chǎn)品能力水平（實(shí)測項）、功能豐富度、產(chǎn)品架構、開(kāi)發(fā)者體驗、商業(yè)化水平、工程化落地支持、生態(tài)布局、戰略領(lǐng)先性維度進(jìn)行評估，呈現不同產(chǎn)品的能力水平和優(yōu)勢。

實(shí)測結果如下圖所示

從上述結果可以看出，各代碼生成產(chǎn)品在C++和Java語(yǔ)言上已經(jīng)具備了基本的問(wèn)題解決能力，可以生成有效且可用的代碼和注釋?zhuān)瑤椭_(kāi)發(fā)人員提高效率。

但在實(shí)際測評過(guò)程中IDC發(fā)現產(chǎn)品仍有很大改進(jìn)空間：

●   編程范式支持不足：各家均支持面向過(guò)程、對象的范式，但對于面向組件、服務(wù)、切面、函數、并發(fā)、泛型編程，頭部支持更佳；

●   理解問(wèn)題表面：部分任務(wù)僅停留在處理問(wèn)題的表層描述，系統應根據用戶(hù)輸入識別目的，例如進(jìn)行數據處理、構建算法、實(shí)現接口、性能優(yōu)化，不僅生成任務(wù)框架本身，還需考慮安全性問(wèn)題、狀態(tài)管理；

●   可擴展性不足：生成的代碼不僅是短期有效，還應具備可維護性和擴展性，遵循軟件開(kāi)發(fā)的設計模式、SOLID原則等最佳實(shí)踐；

●   性能優(yōu)化不足：在處理涉及大量數據、復雜計算或實(shí)時(shí)要求的場(chǎng)景時(shí)，系統生成的代碼應考慮效率問(wèn)題，選擇高效的算法和數據結構，例如排序算法應考慮數據規模和場(chǎng)景，而不只是單純返回通用的冒泡排序；

●   健壯性和容錯能力不足：生成的代碼應當能夠處理意外情況、異常輸入和潛在的錯誤，確保在各種場(chǎng)景下都能運行，自動(dòng)生成異常處理邏輯；

●   安全考慮不足：生成的代碼在處理涉及用戶(hù)數據、身份認證、數據庫查詢(xún)等敏感信息時(shí)，系統還應當自動(dòng)加入必要的安全性檢查，防止潛在的安全漏洞，避免直接拼接用戶(hù)輸入。

IDC給技術(shù)供應商的建議：

●   產(chǎn)品應該深入挖掘背后的業(yè)務(wù)邏輯，很多問(wèn)題的解決不僅僅依賴(lài)生成符合語(yǔ)法規范的代碼，還涉及如何高效的訪(fǎng)問(wèn)、處理數據、針對場(chǎng)景進(jìn)行優(yōu)化；

●   代碼注釋和文檔也非常重要，幫助開(kāi)發(fā)者理解思路和決策設計，特別是在復雜邏輯（如并發(fā)處理或異步操作）中，應詳細說(shuō)明各步驟的目的和流程；

●   在面對不同復雜度的問(wèn)題時(shí)，應生成靈活的代碼結構，如模塊化、服務(wù)化的結構，確?？紤]功能實(shí)現、性能優(yōu)化、可擴展性；

●   生成內容要提供擴展性建議，考慮未來(lái)可能的擴展和優(yōu)化；

●   在某些特定場(chǎng)景下，不應僅搭建簡(jiǎn)單的框架，例如還要考慮線(xiàn)程管理、鎖機制、死鎖避免等問(wèn)題；

●   當涉及特定技術(shù)棧時(shí)，系統能識別并生成與該技術(shù)棧相匹配的最佳實(shí)踐代碼，而非通用代碼結構。

李浩然

IDC中國高級分析師

IDC中國新興科技研究組高級分析師李浩然表示，中國市場(chǎng)目前仍有較大培育和發(fā)展的空間，代碼生成產(chǎn)品可以極大幫助企業(yè)提高開(kāi)發(fā)效率、縮短產(chǎn)品更新周期。但企業(yè)也需要注意到，當前生成代碼的采納率普遍在20%-30%之間，近四分之三的開(kāi)發(fā)人員（72%）表示，他們需要大幅修改超過(guò)40%的自動(dòng)生成代碼，這意味著(zhù)大模型產(chǎn)品仍需持續提升準確度，并開(kāi)發(fā)新的代碼審核工具，來(lái)幫助企業(yè)審查和修訂AI生成的內容，這也是產(chǎn)品從探索走向實(shí)際落地的關(guān)鍵。

IDC更多大數據、人工智能領(lǐng)域研究相關(guān)報告：

●   IDC PeerScape：生成式 AI 最佳實(shí)踐案例與探索（IDC CHC51597724，即將發(fā)布）

●   Market Glance：生成式 AI 市場(chǎng)概覽（IDC CHC51597624，即將發(fā)布）

●   Market Presentation：中國生成式 AI 技術(shù)進(jìn)展與趨勢，2024（IDC CHC51597427，即將發(fā)布）

如需進(jìn)一步了解與此研究相關(guān)的信息或對其他相關(guān)項目研究感興趣，請與IDC高級分析師李浩然（郵箱：leli@idc.com）聯(lián)系。

免責聲明

本文中的內容和數據均來(lái)源于IDC所發(fā)布的報告，所有內容及數據均為我公司所有。未經(jīng)IDC書(shū)面許可，任何機構和個(gè)人不得以任何形式翻版、復制、刊登、發(fā)表或引用。