金融大模型應(yīng)用評(píng)測指南編制說明

2《金融大模型應(yīng)用評(píng)測指南》(征求意見稿)編制說明制定金融大模型評(píng)測標(biāo)準(zhǔn)至關(guān)重要，一是能準(zhǔn)確評(píng)估模型在語言理解、邏輯推理、風(fēng)險(xiǎn)預(yù)測等方面的性能，明確優(yōu)勢不足，監(jiān)測性能變化以促進(jìn)改進(jìn)升級(jí)；二是可保障金融安全與合規(guī)，規(guī)范數(shù)據(jù)處理確保數(shù)據(jù)安全，促使應(yīng)用符合監(jiān)管要求降低合規(guī)風(fēng)險(xiǎn)；三是推動(dòng)行業(yè)發(fā)展與創(chuàng)新，實(shí)現(xiàn)標(biāo)準(zhǔn)化規(guī)范化，降低開發(fā)與應(yīng)用成本，激發(fā)創(chuàng)新活力；四是提升用戶信任度，為金融大模型的性能和質(zhì)量提供客觀評(píng)判依據(jù)，促進(jìn)其在金融業(yè)務(wù)中的廣泛應(yīng)用及金融行業(yè)數(shù)字化轉(zhuǎn)型。本項(xiàng)目由上海庫帕思科技有限公司《金融大模型應(yīng)用評(píng)測指南》主要起草單位：上海庫帕思科技有限公司，計(jì)劃應(yīng)完成時(shí)間為為提高標(biāo)準(zhǔn)的普適性和可操作性，標(biāo)準(zhǔn)工作組通過召本標(biāo)準(zhǔn)由上海庫帕思科技有限公司、上海財(cái)經(jīng)大學(xué)、工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心（上海）有限公司、浦江實(shí)驗(yàn)室、銀聯(lián)、商湯、21世紀(jì)經(jīng)濟(jì)報(bào)、東方財(cái)富、太保、中信證券、ITL、聯(lián)通、上海金融科技產(chǎn)業(yè)聯(lián)盟、上海報(bào)業(yè)集團(tuán)、上海立信會(huì)計(jì)金融學(xué)院、青海省大數(shù)據(jù)金融與人工智能應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室、上海萬行道和人工智能科技有限公司、上海移動(dòng)研究院、文因互聯(lián)聯(lián)合編制。主要分工：為工作組組長，主持全面協(xié)調(diào)工作。為本標(biāo)準(zhǔn)主要持筆人，負(fù)責(zé)本標(biāo)準(zhǔn)的起草、編寫。張立文、等為組員負(fù)責(zé)對(duì)金融大模型發(fā)展和應(yīng)用的現(xiàn)狀進(jìn)行全面調(diào)研、研究分析和資料匯總整理等工作，提煉總結(jié)各模塊要點(diǎn)和要求，并進(jìn)行了反復(fù)驗(yàn)證、修改完開展《金融大模型應(yīng)用評(píng)測指南》編撰工作，應(yīng)把握以下原則：包括符合性原則、先進(jìn)性原則和（1）符合性原則，團(tuán)體標(biāo)準(zhǔn)制修訂應(yīng)符合國家有關(guān)團(tuán)體標(biāo)準(zhǔn)的法律法規(guī)、行政先支持符合經(jīng)濟(jì)發(fā)展方向，促進(jìn)科學(xué)技術(shù)進(jìn)步，提高產(chǎn)品質(zhì)量和滿足市場需求的項(xiàng)5符號(hào)等基礎(chǔ)通用方面的內(nèi)容應(yīng)當(dāng)遵守國家標(biāo)準(zhǔn),行業(yè)標(biāo)準(zhǔn),地方標(biāo)準(zhǔn),團(tuán)體標(biāo)準(zhǔn)一般不在制定《金融大模型應(yīng)用評(píng)測指南》團(tuán)體標(biāo)準(zhǔn)的過程中，我們通過檢索資料、走訪調(diào)查、專家咨詢等多種方式，結(jié)合國家標(biāo)準(zhǔn)化管理委員會(huì)關(guān)于國家標(biāo)準(zhǔn)驗(yàn)證點(diǎn)建設(shè)的指導(dǎo)意見，以及團(tuán)體標(biāo)準(zhǔn)管理規(guī)定，進(jìn)行了一系列的實(shí)驗(yàn)和驗(yàn)證工作。針對(duì)模型要求，我們對(duì)金融大模型的基礎(chǔ)能力、長文本處理能力、多模態(tài)數(shù)據(jù)處理能力進(jìn)行了嚴(yán)格的測試和驗(yàn)證，確保模型在實(shí)際金融場景中的應(yīng)用效果和性能指標(biāo)達(dá)到標(biāo)準(zhǔn)要求。針對(duì)金融專業(yè)認(rèn)知能力要求，分為兩個(gè)維度，一是需要具備全面的金融知識(shí)，如會(huì)計(jì)學(xué)、經(jīng)濟(jì)學(xué)、金融學(xué)等，二是金融大模型對(duì)金融信息的解讀能力，包括金融圖表解讀、金融知識(shí)圖譜構(gòu)建、結(jié)構(gòu)化數(shù)據(jù)提取等方面的能力。關(guān)于業(yè)務(wù)輔助拓展維度，從銀行、證券、保險(xiǎn)、基金、信托等金融領(lǐng)域的核心業(yè)務(wù)場景進(jìn)行說明。金融安全與價(jià)值對(duì)齊，是大模型在業(yè)務(wù)活動(dòng)中研判輸出內(nèi)容的合規(guī)和敏感性能力。大模型在金融業(yè)務(wù)活動(dòng)中識(shí)別