傳媒-AI搜索：怎么看Kimi的空間

行業(yè)評(píng)級(jí)強(qiáng)大于市（維持評(píng)級(jí)）AAI搜索：怎么看Kimi的空間？楊曉峰執(zhí)業(yè)證書編號(hào)：S02105240200012摘要1、通過研究Kimi技術(shù)核心基礎(chǔ)論文《Transformer-XL:AttentiveLanguageModelsBeyondaFixed-LengthContext》和《XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding》，發(fā)現(xiàn)Kimi在長(zhǎng)文本能力上采用TransformerXL模型，使用分段級(jí)循環(huán)機(jī)制和相對(duì)位置編碼技術(shù)，解決了Transform模型存在的問題；在整理能力方面，XL-Net模型模型結(jié)合了置換語言建模機(jī)制和兩流自注意力機(jī)制,提高了推理的效率和準(zhǔn)確度。2、對(duì)Kimi、文心一言、通義千問和豆包進(jìn)行搜索實(shí)測(cè)對(duì)比：在長(zhǎng)文本能力的網(wǎng)絡(luò)資源搜索方面，應(yīng)用優(yōu)缺表現(xiàn)不一，Kimi綜合表現(xiàn)較好；在長(zhǎng)文本能力的本地資源搜索方面，對(duì)比可以處理本地文件的kimi和文心一言，kimi搜索較為準(zhǔn)確。和海外AI搜索引擎龍頭Perplexity對(duì)比：資料檢索能力方面，從資料來源方面、答案整理、推理能力來看，Kimi能力范圍約為Perplexity免費(fèi)版與付費(fèi)版之間。同時(shí)，Kimi展示出較大進(jìn)步，在不到一個(gè)月時(shí)間內(nèi)，資料來源更多元化。1、垂類搜索需求增加，逐漸代替?zhèn)鹘y(tǒng)搜索引擎；而通過內(nèi)嵌AI搜索功能或開發(fā)AI搜索應(yīng)用，AI搜索獲得青睞。2、Kimi熱度逐漸消失后，開始進(jìn)入自然增長(zhǎng)時(shí)期，自然增長(zhǎng)仍然強(qiáng)勁。類比海外AI搜索應(yīng)用Perplexity，kimi顯示出APP端增長(zhǎng)落后于網(wǎng)頁(yè)端增長(zhǎng)的規(guī)律。Kimi正在新一輪的廣告投放，將流量導(dǎo)向APP下載，后續(xù)廣告投放有效性還有待確認(rèn)。阿里云對(duì)標(biāo)中國(guó)版“微軟云”，積極布局與第三方AI大模型的合作；Kimi獲得阿里最新一輪參投，可對(duì)標(biāo)海外“OpenAI+微軟”模式。據(jù)IT桔子顯示，目前阿里已投資Minimax、百川智能、零一萬物、智譜AI和Kimi等AI創(chuàng)投公司。Kimi商業(yè)化對(duì)標(biāo)海外Pperplexity：目前perplexity的收入主要來自于會(huì)員收入，未來可能會(huì)引入廣告模式。3投資建議>一、國(guó)產(chǎn)AI應(yīng)用：>二、港股互聯(lián)網(wǎng)公司的布局>風(fēng)險(xiǎn)提示：AI競(jìng)爭(zhēng)激烈，AI發(fā)展不及預(yù)期4目錄目錄>結(jié)合了自回歸（AR）語言建模和自編碼（AE）的優(yōu)點(diǎn)>XLNet通過一種稱為置換語言建模（PermutationLanguageModeling）的機(jī)制，使得模型能夠?qū)W習(xí)到雙向上下文信息，而不需要依賴于像BERT那樣的數(shù)據(jù)損壞（例如,通過遮蔽輸入中的某些位置）TransformerXL是基于TransformeTransformerXL模型1、Kimi技術(shù)核心基礎(chǔ)論文：長(zhǎng)文本（XL）和整理能力（XL-Net）Transformer模型只能獲取單向信息，即只能前向讀取信息并預(yù)測(cè)t位置的單詞或者從后向讀取信息并預(yù)測(cè)t位置的單詞，卻不能同時(shí)獲取雙向信息獲取雙向信息進(jìn)行預(yù)測(cè)，如想要預(yù)測(cè)位置t的單詞，既可以前向獲取信息也可以后向獲取信息資料來源：《Transformer-XL:AtentiveLanguageModelsBeyondaFixed-LengthContext》，戴爾科技集團(tuán)，aman.ai,華福證券研究所5潛在問題潛在問題1.1長(zhǎng)文本：TransformerXL模型——分段級(jí)循環(huán)機(jī)制和相對(duì)位置編碼傳統(tǒng)的Transformer受制于輸入的長(zhǎng)度。這種模式帶來了模塊割裂、時(shí)間混亂、速度慢的問題，TransformerXL模型對(duì)此提出了解決辦法。假設(shè)一個(gè)文本總共有12M的tokens，我們將其分成三個(gè)模塊（S1、S2、S3每個(gè)部分是4Mtoken。用Transformer去進(jìn)行模型的跑動(dòng)，模塊按照S1、S2、S3逐個(gè)跑模型。TransformerTransformerTransformerTransformerXL模型：分段級(jí)循環(huán)機(jī)制和相對(duì)位置編碼1、模塊之間的互相分割：分段級(jí)循環(huán)機(jī)制（Segment-LevelRec,x5和x1的位置就是同樣的。如果所有模塊都能3、加快模型對(duì)同一內(nèi)容的跑動(dòng)速度：由于傳統(tǒng)的T資料來源：《Transformer-XL:AtentiveLanguageModelsBeyondaFixed-LengthContext》，華福證券研究所6流（contentstream）和查詢流流（contentstream）和查詢流1.2整理能力：XL-Net模型——推理效率和準(zhǔn)確度提升XL-Net模型模型結(jié)合了置換語言建模機(jī)制和兩流自注意力機(jī)制，提高了推理的效率和準(zhǔn)確度。置換語言建模機(jī)制訓(xùn)練時(shí)充分融合了上下文特征,同時(shí)也不會(huì)造成掩碼機(jī)制下的有效信息缺失，提高了推理準(zhǔn)確度；雙流注意力用于置換語言建模機(jī)制，需要計(jì)算序列的上下文信息（上文信息和下文信息各使用一種注意力機(jī)制）在不降低模型的精度的情況下，提高了推理的效率。圖表：置換語言建模機(jī)制圖表：兩流自注意力機(jī)制一定程度上會(huì)導(dǎo)致預(yù)訓(xùn)練和微調(diào)輸入的數(shù)據(jù),輸入順序?yàn)閤1、,即獲取了x3的后資料來源：《XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding》，華福證券研究所72、Kimi理論技術(shù)效果：XL-Net大部分?jǐn)?shù)據(jù)集準(zhǔn)確率高于Bert圖表：XL-Net和Bert在各數(shù)據(jù)集的跑分對(duì)比數(shù)據(jù)集名稱簡(jiǎn)要說明BertXL-Net--資料來源：《XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding》，華福證券研究所8資料來源：Kimi，文心一言，通義千問，豆包，華福證券研究所93.1長(zhǎng)文本能力實(shí)測(cè)——網(wǎng)絡(luò)資源：Kimivs文心一言vs通義千問vs豆包圖表：網(wǎng)絡(luò)資源長(zhǎng)文本能力測(cè)試表現(xiàn)總結(jié)（實(shí)測(cè)日期：24年3月20日）是否否是是是是否致資料來源：Kimi，華福證券研究所10 3.1.1長(zhǎng)文本能力實(shí)測(cè)——網(wǎng)絡(luò)資源（Kimi）圖表：網(wǎng)絡(luò)資源長(zhǎng)文本能力測(cè)試表現(xiàn)——Kimi數(shù)據(jù)來源額外提供增長(zhǎng)率僅能給出2019-2021年數(shù)據(jù)，·無最新數(shù)據(jù)2016、2017年無具體數(shù)值提供4年數(shù)據(jù)無2020年具體數(shù)值提供4年數(shù)據(jù)無2020年具體數(shù)值3.1.2長(zhǎng)文本能力實(shí)測(cè)——網(wǎng)絡(luò)資源（文心一言）圖表：網(wǎng)絡(luò)資源長(zhǎng)文本能力測(cè)試表現(xiàn)——文心一言資料來源：文心一言，華福證券研究所11資料來源：通義千問，華福證券研究所12 3.1.3長(zhǎng)文本能力實(shí)測(cè)——網(wǎng)絡(luò)資源（通義千問）圖表：網(wǎng)絡(luò)資源長(zhǎng)文本能力測(cè)試表現(xiàn)——通義千問2019年數(shù)據(jù)錯(cuò)誤2020、2021年無具體數(shù)值增長(zhǎng)率2019年數(shù)據(jù)錯(cuò)誤2020、2021年無具體數(shù)值增長(zhǎng)率數(shù)據(jù)錯(cuò)誤數(shù)據(jù)錯(cuò)誤3.1.4長(zhǎng)文本能力實(shí)測(cè)——網(wǎng)絡(luò)資源（豆包）圖表：網(wǎng)絡(luò)資源長(zhǎng)文本能力測(cè)試表現(xiàn)——豆包提供數(shù)據(jù)來源2018年數(shù)據(jù)錯(cuò)誤2021、2022年數(shù)據(jù)錯(cuò)誤資料來源：豆包，華福證券研究所13資料來源：Kimi，文心一言，通義千問，豆包，英偉達(dá)官網(wǎng)，華福證券研究所14 3.2長(zhǎng)文本能力實(shí)測(cè)—本地資源：Kimivs文心一言vs通義千問vs豆包圖表：Nvidia2023年財(cái)報(bào)圖表：本地資源長(zhǎng)文本能力測(cè)試表現(xiàn)總結(jié)Kimi文心一言通義千問豆包讀取程度讀取92%文件大小超過10M,無法上傳約50%文件大小超過限制,無法上傳能否給出凈利潤(rùn)是-否-凈利潤(rùn)是否準(zhǔn)確是---3.2.1長(zhǎng)文本能力實(shí)測(cè)—本地資源：KimiVS通義千問>通義千問表現(xiàn)：圖表：本地資源長(zhǎng)文本能力測(cè)試表現(xiàn)——Kimi給出凈利潤(rùn)并回答正確給出凈利潤(rùn)并回答正確圖表：本地資源長(zhǎng)文本能力測(cè)試表現(xiàn)——通義千問無法閱讀至凈利潤(rùn)的位置無法閱讀至凈利潤(rùn)的位置資料來源：Kimi，華福證券研究所15目錄目錄可以選擇不同的模型接入可以選擇不同的模型接入1、perplexity：海外AI搜索引擎龍頭圖表：perplexity可以選擇不同的模型。圖表：perplexity搜索界面可以上傳文檔或圖片，可以上傳文檔或圖片，圖片僅會(huì)員支持可以打開可以打開pro版本，20美元/月，200美元/年可以選擇不同的資料來源，“可以選擇不同的資料來源，“all”就會(huì)聯(lián)網(wǎng)搜索資料來源：perplexity，data.ai，中國(guó)經(jīng)營(yíng)報(bào)，觀網(wǎng)財(cái)經(jīng)，量子位，華福證券研究所17資料來源：Kimi，Perplexity，華福證券研究所 2、資料檢索：KimiVSPerplexity.資料來源：3月初Kimi資料來源多為知乎，附帶一些網(wǎng)站，大約在5-9個(gè)；.答案整理：Kimi不會(huì)在答案中標(biāo)柱引用了哪一個(gè)來源；Pe圖表：資料檢索能力對(duì)比頁(yè)否否是是是是否是新聞?lì)悊栴}新聞?lì)悊栴}2.1Perplexity普通版：資料來源以普通網(wǎng)頁(yè)為主常識(shí)類問題常識(shí)類問題5個(gè)答案來源5個(gè)答案來源，基本上為普通網(wǎng)頁(yè)搜索并沒有理解“買票”，并沒有理解“買票”，找了和演唱會(huì)相關(guān)，沒有剔除該資料有引用資料來源的標(biāo)識(shí)有引用資料來源的標(biāo)識(shí)資料來源：perplexity，華福證券研究所19有較為專業(yè)的”人民健康網(wǎng)”有較為專業(yè)的”人民健康網(wǎng)”2.2Perplexity付費(fèi)版：資料來源會(huì)有專業(yè)網(wǎng)頁(yè)新聞?lì)悊栴}新聞?lì)悊栴}常識(shí)類問題13個(gè)答案來源13個(gè)答案來源，會(huì)有“摩天輪票務(wù)”等較為專業(yè)的新聞網(wǎng)站來源并沒有理解“今年”并沒有理解“今年”，還是會(huì)查找以前的資料，但不會(huì)引用比普通版多了每種菇類的介紹有引用資料來源的標(biāo)識(shí)有引用資料來源的標(biāo)識(shí)資料來源：perplexity，華福證券研究所20 2.3Kimi—3月初：資料來源以知乎為主資料來源：Kimi，華福證券研究所21實(shí)時(shí)搜索類問題常識(shí)類問題實(shí)時(shí)搜索類問題實(shí)時(shí)搜索類問題常識(shí)類問題>會(huì)主動(dòng)尋找一些專業(yè)性較強(qiáng)的網(wǎng)站。會(huì)主動(dòng)尋找一些專業(yè)網(wǎng)站實(shí)時(shí)搜索類問題常識(shí)類問題>會(huì)主動(dòng)尋找一些專業(yè)性較強(qiáng)的網(wǎng)站。會(huì)主動(dòng)尋找一些專業(yè)網(wǎng)站2.4Kimi的進(jìn)步：不到一個(gè)月，資料來源更多元化資料來源：Kimi，華福證券研究所223、推理能力：KimiVSperplexity圖表：模型推理能力對(duì)比是否否否是是少否否是資料來源：Kimi，Perplexity，華福證券研究所233.1Kimi：回答較長(zhǎng)且完整常識(shí)類問題常識(shí)類問題新聞?lì)悊栴}實(shí)時(shí)搜索類問題具有每種菇類的介紹具有每種菇類的介紹資料來源：Kimi，華福證券研究所24資料來源：Perplexity，華福證券研究所25回答長(zhǎng)度和細(xì)節(jié)程度較少可以鏈接到相關(guān)外部視頻和圖片回答長(zhǎng)度和細(xì)節(jié)程度較少可以鏈接到相關(guān)外部視頻和圖片3.2Perplexity普通版：回答不完善，物品無詳細(xì)介紹新聞?lì)悊栴}新聞?lì)悊栴}常識(shí)類問題和和Kimi不同，沒有對(duì)菇類的詳細(xì)介紹新聞?lì)悊栴}同樣可以鏈接到相關(guān)外部視頻和圖片新聞?lì)悊栴}同樣可以鏈接到相關(guān)外部視頻和圖片3.3Perplexity付費(fèi)版：回答更加完整常識(shí)類問題常識(shí)類問題回答長(zhǎng)回答長(zhǎng)度和細(xì)節(jié)程度較普通版豐富了許多較普通版較普通版，對(duì)物品有了一些簡(jiǎn)單的定義和功能介紹資料來源：Perplexity，華福證券研究所26 3.4Perplexity各版本對(duì)比資料來源：Perplexity，華福證券研究所27.Perplexity付費(fèi)版及各個(gè)版本的回答完整度及細(xì)節(jié)描述程度都優(yōu)于免費(fèi)版。GPT-4和Claude-3版圖表：Perplexity各個(gè)版本能力對(duì)比否否是是是片是是是是是少 3.4Perplexity各版本對(duì)比資料來源：Perplexity，華福證券研究所28GPT-4版本Sonar版本ClaudeGPT-4版本Sonar版本目錄目錄資料來源：小紅書商業(yè)動(dòng)態(tài)，量子位，昆侖萬維集團(tuán)，創(chuàng)業(yè)邦，華福證券研究所30 1、搜索需求：傳統(tǒng)搜索->垂類搜索->AI搜索等垂類搜索受到關(guān)注。根據(jù)2024小紅書用搜索。類似小紅書等垂類搜索渠道正在一定程度上分走傳統(tǒng)搜索圖表：小紅書搜索現(xiàn)狀圖表：微信搜索框內(nèi)容豐富圖表：AI搜索應(yīng)用和功能創(chuàng)新時(shí)間AI搜索功能2023/10/12023/10/82023/10/152023/10/222023/10/292023/11/52023/11/122023/11/192023/11/262023/12/32023/12/102023/12/172023/12/242023/12/312024/1/72024/1/142024/1/212024/1/282024/2/42024/2/112024/2/182024/2/252024/3/32024/3/102024/3/172024/3/242023/3/12023/3/162023/3/312023/4/152023/4/302023/5/152023/5/302023/6/142023/6/292023/7/142023/7/292023/8/132023/8/282023/9/122023/9/272023/10/122023/10/272023/11/112023/11/262023/12/112023/12/262024/1/102024/1/252024/2/92024/2/242024/3/102024/3/25100.090.080.070.060.050.040.030.020.010.00.02023/10/12023/10/82023/10/152023/10/222023/10/292023/11/52023/11/122023/11/192023/11/262023/12/32023/12/102023/12/172023/12/242023/12/312024/1/72024/1/142024/1/212024/1/282024/2/42024/2/112024/2/182024/2/252024/3/32024/3/102024/3/172024/3/242023/3/12023/3/162023/3/312023/4/152023/4/302023/5/152023/5/302023/6/142023/6/292023/7/142023/7/292023/8/132023/8/282023/9/122023/9/272023/10/122023/10/272023/11/112023/11/262023/12/112023/12/262024/1/102024/1/252024/2/92024/2/242024/3/102024/3/25100.090.080.070.060.050.040.030.020.010.00.02、對(duì)標(biāo)海外Perplexity發(fā)展順序：先網(wǎng)頁(yè)，后APP>類比海外AI搜索應(yīng)用Perplexity，圖表：Perplexity應(yīng)用端日活數(shù)據(jù)（萬次）23年12月底23年12月底Perplexity應(yīng)用數(shù)據(jù)（Android端）Perplexity應(yīng)用數(shù)據(jù)（IOS端）圖表：PerplexityAI網(wǎng)頁(yè)訪問量（萬次）300.0245.5250.0200.0150.0100.023年8月底50.023年8月底0.0資料來源：dataai，similarweb，華福證券研究所31資料來源：similarweb，QuestMobile，微信指數(shù)，華福證券研究所32 3、Kimi自然增長(zhǎng)速度強(qiáng)勁：小程序和網(wǎng)頁(yè)端,于4.1日再次創(chuàng)下訪問量峰值達(dá)91.27萬次；圖表：Kimi的微信熱度指數(shù)圖表：Kimi網(wǎng)頁(yè)端訪問量（次）小程序端日均活躍數(shù)（萬次；周度120.00100.0080.0060.0040.0020.000.00資料來源：Appgrowing，similarweb，七麥榜單，華福證券研究所33 4、APP用戶引流：Kimi正在新一輪的廣告投放圖表：Kimi近一個(gè)月的排行變化圖表：Kimi廣告投放量級(jí)圖表：Kimi廣告流量平臺(tái)、媒體概覽及廣告效果目錄目錄1.1阿里云：中國(guó)版“微軟云”—加大第三方AI模型廠商的合作>據(jù)機(jī)器之心，微軟通過投資為OpenAI提供云服務(wù)并獲得模型.微軟通過對(duì)OpenAI的投資達(dá)成合作，成為獨(dú)家云計(jì)算服務(wù)提供.微軟于24年2月投資1600萬給MistralAI，可將其模型提供給.此外微軟還投有GoodGist、I.據(jù)IT桔子顯示，目前阿里已投資Minimax、百川智能、零一萬物、智譜AI和Kimi等AI創(chuàng)投公司。圖表：阿里巴巴投資布局情況圖表：微軟投資布局情況公司名稱投資詳情合作內(nèi)容OpenAI微軟投資總計(jì)或達(dá)130億美元根據(jù)Information，合建AI數(shù)據(jù)中心，開發(fā)“星際之門”AI超級(jí)計(jì)算機(jī)MistralAI微軟投資約1600萬美元將MistralAI的人工智能模型提供給Azure云服務(wù)的客戶英偉達(dá)微軟與英偉達(dá)合作提供AI工坊服務(wù)英偉達(dá)AI工坊服務(wù)匯集了英偉達(dá)AI基礎(chǔ)模型系列工具，以及A