GenAI新時(shí)代白皮書(shū)：采用邏輯數(shù)據(jù)管理-Denodo

如果說(shuō)2023年是生成式人工智能(GenAI)被廣泛認(rèn)為具有變革潛力的一年，那么2024年往后將是這種潛力成為現(xiàn)實(shí)的時(shí)代。實(shí)驗(yàn)將讓位于商業(yè)和財(cái)務(wù)價(jià)值的實(shí)現(xiàn)。一些組織已經(jīng)開(kāi)始意識(shí)到這一價(jià)值，并通過(guò)降低成本、提高流程效率、創(chuàng)造收入和改善多個(gè)行業(yè)的服務(wù)的形式，對(duì)價(jià)值進(jìn)行衡量（德勤人工智能研究所，2023年）。GenAI有72%的受訪組織將數(shù)據(jù)管理視為實(shí)施人工智能應(yīng)用場(chǎng)景的關(guān)鍵要求。GenAIGenAI方式訪問(wèn)數(shù)據(jù)。然而，盡管存在這些數(shù)據(jù)管理方面的挑戰(zhàn)，GenAIGenAI益，并在不犧牲質(zhì)量或安全性的情況下，滿足業(yè)務(wù)不斷增長(zhǎng)的數(shù)據(jù)需求。例如，Denodo平臺(tái)就是一個(gè)領(lǐng)先的邏輯數(shù)據(jù)管理平臺(tái)，可在必要時(shí)以所需的形式向所有使用者（包括GenAI）提供數(shù)據(jù)。這種方法抽象了GenAI和其他使用者對(duì)多個(gè)數(shù)據(jù)系統(tǒng)的訪問(wèn)，隱藏了潛在的復(fù)雜性，同時(shí)保證了數(shù)據(jù)的交付符合預(yù)定義的語(yǔ)義和數(shù)據(jù)治理規(guī)則。DenodoGenAI在促進(jìn)數(shù)據(jù)民主化方面的變革潛力。Denodo各種角色的用戶賦能，從最終用戶到開(kāi)發(fā)人員，再到管理員和數(shù)據(jù)管理員等。在本意見(jiàn)書(shū)中，我們將深入探討以下幾點(diǎn)：GenAI在企業(yè)中的早期應(yīng)用場(chǎng)景和成功案例GenAI面臨的一些挑戰(zhàn)Denodo平臺(tái)如何應(yīng)對(duì)這些挑戰(zhàn)DenodoGenAI??2024DenodoTechnologies3Gartner202680GenAI(API模型，和/GenAI20235相比有顯著增長(zhǎng)（Gartner，2023）。德勤人工智能研究所60GenAI了解您的客戶：GenAI”(KYC)有針對(duì)性的個(gè)性化消息。營(yíng)銷內(nèi)容助理：對(duì)于處理跨品牌組合、采用多種語(yǔ)言的多個(gè)網(wǎng)站的組織來(lái)說(shuō)，營(yíng)銷內(nèi)容管理是一項(xiàng)挑戰(zhàn)。為產(chǎn)品描述、圖片、視頻和音頻等個(gè)性化的內(nèi)容創(chuàng)作分配時(shí)間和資源十分困難。與傳統(tǒng)工具相比，GenAI可提供更快、更一致的解決方案，幫助企業(yè)高效生成內(nèi)容。產(chǎn)品設(shè)計(jì)助理：產(chǎn)品設(shè)計(jì)歷來(lái)需要時(shí)間，而眾多創(chuàng)意中只有一個(gè)能推向市場(chǎng)?？朔祟愒诋a(chǎn)生各種創(chuàng)意、激GenAICAD開(kāi)發(fā)人員代碼輔助：開(kāi)發(fā)人員和其他高技能專業(yè)人員的需求量很大，且供不應(yīng)求。為了克服人才缺口，GenAI可以用來(lái)輔助開(kāi)發(fā)人員的工作，自動(dòng)完成代碼創(chuàng)建和維護(hù)，這樣開(kāi)發(fā)人員就可以專注于更復(fù)雜的代碼編寫(xiě)?？蛻糁С郑篏enAI化對(duì)話，特別是在售后支持和解決客戶投訴方面。資產(chǎn)維護(hù)計(jì)劃：在工業(yè)領(lǐng)域，維護(hù)計(jì)劃對(duì)于防止設(shè)備故障和昂貴的維修費(fèi)用、延長(zhǎng)資產(chǎn)壽命至關(guān)重要。GenAI可根據(jù)運(yùn)營(yíng)因素優(yōu)化時(shí)間表，推薦高效、具有成本效益的計(jì)劃，同時(shí)分析設(shè)備數(shù)據(jù)，以最大限度減少停機(jī)時(shí)間和提高運(yùn)轉(zhuǎn)率。工程師虛擬現(xiàn)場(chǎng)助理：GenAI關(guān)細(xì)節(jié)和引導(dǎo)工程師找到合適的資源外，虛擬助理還可以解決特定工程概念、原理或計(jì)算方面的問(wèn)題，從而幫助排除故障。彈性物流和規(guī)劃：GenAI線和N級(jí)供應(yīng)商映射，GenAI可用于預(yù)測(cè)風(fēng)險(xiǎn)及其對(duì)運(yùn)營(yíng)的相應(yīng)影響，也可以建議用來(lái)降低這些風(fēng)險(xiǎn)的行動(dòng)。數(shù)字公民服務(wù)：有關(guān)政府和公共服務(wù)的數(shù)據(jù)通常采用多種格式，分布在多個(gè)位置（例如，本地、云端等）。GenAI賦能的虛擬助理可以充當(dāng)公民和政府信息之間的接口，用自然語(yǔ)言回答問(wèn)題。企業(yè)應(yīng)用生成式人工智能面臨的挑戰(zhàn)GenAI就遇到了各種數(shù)據(jù)相關(guān)的問(wèn)題。根據(jù)麥肯錫（麥肯錫，2023年）72%GenAI準(zhǔn)確、及時(shí)更新，并需要跨多個(gè)不同數(shù)據(jù)源進(jìn)行近乎實(shí)時(shí)的數(shù)據(jù)訪問(wèn)。問(wèn)題在于，GenAI(LLM)，而這些模型本身存在局限性。LLMLLMLLM的數(shù)據(jù)集也不會(huì)實(shí)時(shí)更新。如果不具備這一點(diǎn)，GenAI何需要最新客戶或業(yè)務(wù)背景的操作應(yīng)用場(chǎng)景都毫無(wú)用處。大語(yǔ)言模型大語(yǔ)言模型或銷售的 人工智能代理產(chǎn)品是什么？最暢銷的雖然可以利用更多信息對(duì)現(xiàn)有基礎(chǔ)模型進(jìn)行訓(xùn)練和微調(diào)，并使其了解企業(yè)數(shù)據(jù)和信息，但這種方法往往會(huì)帶來(lái)更多復(fù)雜性和挑戰(zhàn)。對(duì)于大多數(shù)組織來(lái)說(shuō)，反復(fù)訓(xùn)練LLM所需的成本和技能不僅令人望而卻步，還需要讓LLM持續(xù)了解最新的數(shù)據(jù)和信息，這使得不斷反復(fù)訓(xùn)練LLM的迭代過(guò)程在當(dāng)今根本不切實(shí)際。人工智能代理+企業(yè)數(shù)據(jù)和知識(shí)銷人工智能代理+企業(yè)數(shù)據(jù)和知識(shí)銷的產(chǎn)品是什么？ 一水泵售額54000大語(yǔ)言模型企業(yè)數(shù)據(jù)存儲(chǔ)庫(kù)LLM識(shí)。Meta2020(RAG)LLM的首選方法。GenAI時(shí)提供相關(guān)數(shù)據(jù)，同時(shí)確保數(shù)據(jù)的質(zhì)量和隱私合規(guī)性。GenAI在改變這種模式，要求數(shù)據(jù)在推理過(guò)程中扮演知識(shí)擴(kuò)充層的角色。檢索增強(qiáng)生成架構(gòu)不是通過(guò)反復(fù)訓(xùn)練模型將知識(shí)注入LLM，而是在提示過(guò)程中通過(guò)額外的上下文窗口添加知識(shí)。然后，LLMLLM本身。檢索增強(qiáng)生成的優(yōu)勢(shì)包括減少幻覺(jué)，提供最新和實(shí)時(shí)的信息（克服根據(jù)“時(shí)間點(diǎn)”數(shù)據(jù)訓(xùn)練模型的局限性）；特定領(lǐng)域的知識(shí)（如上文所述的產(chǎn)品銷售示例）；消除成本高昂的反復(fù)訓(xùn)練以及對(duì)檢索的數(shù)據(jù)來(lái)源的可視性（福布斯，2023年）。這種簡(jiǎn)單的方法可以應(yīng)用于結(jié)構(gòu)化和非結(jié)構(gòu)化信息，是為L(zhǎng)LMLLM強(qiáng)大的代碼生成功能（SQL），AI應(yīng)用可為企業(yè)開(kāi)辟新型的強(qiáng)大用戶交互方式和釋放數(shù)據(jù)價(jià)值的新途徑。但是，需要必要的數(shù)據(jù)管理基礎(chǔ)才能在企業(yè)環(huán)境中實(shí)施檢索增強(qiáng)生成。雖然現(xiàn)在可以找到大量簡(jiǎn)單的GitHub項(xiàng)目，且這些項(xiàng)目旨在證明檢索增強(qiáng)生成在桌面設(shè)置中對(duì)于單個(gè)表的強(qiáng)大功能，但在企業(yè)環(huán)境中針對(duì)通常孤立、復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境中的真實(shí)生產(chǎn)數(shù)據(jù)實(shí)施檢索增強(qiáng)生成架構(gòu)可能是一場(chǎng)噩夢(mèng)。隨著組織探索LLM業(yè)數(shù)據(jù)源之間更緊密的集成，他們將不可避免地在克服數(shù)據(jù)孤島、處理各種數(shù)據(jù)源類型以及管理復(fù)雜而冗長(zhǎng)的數(shù)據(jù)交付管道方面遇到同樣的數(shù)據(jù)管理挑戰(zhàn)。具體來(lái)說(shuō)，組織在采用GenAI時(shí)應(yīng)考慮以下數(shù)據(jù)管理挑戰(zhàn)：法規(guī)：GenAI明度、偏見(jiàn)和公平性、潛在的知識(shí)產(chǎn)權(quán)侵權(quán)、可能的隱私侵犯、第三方風(fēng)險(xiǎn)和安全顧慮等問(wèn)題。新擬議的《歐盟人工智能法案》旨在為高風(fēng)險(xiǎn)的人工智能系統(tǒng)制定全面的法規(guī)，對(duì)透明度、數(shù)據(jù)治理、人工監(jiān)督和風(fēng)險(xiǎn)評(píng)估提出具體要求。美國(guó)總統(tǒng)頒布的人工智能《行政命令》確立了人工智能安全和保障的新標(biāo)準(zhǔn)，旨在保護(hù)美國(guó)人的隱私，促進(jìn)公平和公民權(quán)利，維護(hù)使用者和工人的利益，促進(jìn)創(chuàng)新和競(jìng)爭(zhēng)等等?！俄n國(guó)人工智能法案》旨在通過(guò)對(duì)高風(fēng)險(xiǎn)人工智能服務(wù)更嚴(yán)格的通知要求和人工智能可信度認(rèn)證系統(tǒng)等，確保人工智能系統(tǒng)的可信度，從而保護(hù)人工智能服務(wù)的用戶。其他地區(qū)的法規(guī)和指南提倡甚至強(qiáng)制要求在數(shù)據(jù)收集中使用隱私增強(qiáng)技術(shù)，例如：新加坡提出的生成式人工智能模型人工智能治理框架。GenAIGenAIGenAI（GenAI所提供）GenAIGenAI時(shí)使用了哪些數(shù)據(jù)。數(shù)據(jù)質(zhì)量和可解釋性：低質(zhì)量的數(shù)據(jù)可能導(dǎo)致不正確或不一致的行為，即“垃圾輸入，垃圾輸出”。無(wú)論是在LLM的模型訓(xùn)練過(guò)程中，還是隨后通過(guò)檢索增強(qiáng)生成實(shí)時(shí)訪問(wèn)企業(yè)數(shù)據(jù)，都是如此。由此產(chǎn)生的“幻覺(jué)”會(huì)導(dǎo)致最終用戶的不信任，而對(duì)于受人工智能使用道德規(guī)范約束的企業(yè)來(lái)說(shuō)，則可能會(huì)違反合規(guī)性。因此，對(duì)數(shù)據(jù)質(zhì)量嚴(yán)格把關(guān)很必要，但這還不夠。GenAI還需要“數(shù)據(jù)可解釋性”，也即為生成結(jié)果訪問(wèn)了哪些數(shù)據(jù)。這樣，GenAI用戶就能隨時(shí)確定所使用的數(shù)據(jù)是否正確和準(zhǔn)確，如果不正確，也能輕松采取補(bǔ)救措施。數(shù)據(jù)可解釋性提供了透明度，從而提高了最終用戶的信任度。事實(shí)上，上述一些法規(guī)，特別是《歐盟人工智能法案》，要求按需提供這種程度的透明度。數(shù)據(jù)隱私和安全：歐洲的《通用數(shù)據(jù)保護(hù)條例》(GDPR)等隱私法規(guī)仍然適用，但挑戰(zhàn)不僅限于確保正確的訪問(wèn)控制和落實(shí)去標(biāo)識(shí)化措施。GenAI帶來(lái)了額外的風(fēng)險(xiǎn)。GenAI模型如何帶來(lái)隱私風(fēng)險(xiǎn)。如果使用“JaneDoeJaneDoe，我的電話號(hào)碼是...”之類的提示可能會(huì)導(dǎo)致模型泄露這些信息（Seth&Chang，2024年）所周知，模型會(huì)“記住”訓(xùn)練數(shù)據(jù)，從而使問(wèn)題變得更加復(fù)雜。有幾種類型的攻擊（如訓(xùn)練數(shù)據(jù)提?。┮驯蛔C明LLM的敏感數(shù)據(jù)（Seth&Chang，2024）發(fā)生此類侵犯隱私行為的風(fēng)險(xiǎn)。 平臺(tái)查詢優(yōu)化語(yǔ)義層安全/治理SaaS云存儲(chǔ)Hadoop和NoSQLOLAP文件應(yīng)用程序流式數(shù)據(jù)SaaS200+數(shù)據(jù)適配器來(lái)源數(shù)據(jù)集成、管理和交付平臺(tái)平臺(tái)查詢優(yōu)化語(yǔ)義層安全/治理SaaS云存儲(chǔ)Hadoop和NoSQLOLAP文件應(yīng)用程序流式數(shù)據(jù)SaaS200+數(shù)據(jù)適配器來(lái)源數(shù)據(jù)集成、管理和交付平臺(tái)人工智能代理Denodo認(rèn)為，組織必須發(fā)展和重新構(gòu)想數(shù)據(jù)管理，因?yàn)檫@種利害關(guān)系之重大是前所未有的。組織必須立即采取行動(dòng)，建立數(shù)據(jù)管理基礎(chǔ)，為即將到來(lái)的人工智能驅(qū)動(dòng)的新競(jìng)爭(zhēng)格局做好準(zhǔn)備。當(dāng)您回顧推動(dòng)下一代人工智能應(yīng)用所需的數(shù)據(jù)管理考慮因素時(shí)，我們認(rèn)為合乎邏輯的數(shù)據(jù)管理方法是推動(dòng)下一代人工智能應(yīng)用的關(guān)鍵因素。Denodo平臺(tái)利用數(shù)據(jù)虛擬化技術(shù)，在增強(qiáng)人工智能應(yīng)用之前無(wú)需遷移或整合數(shù)據(jù)。它為人工智能應(yīng)用訪問(wèn)集成數(shù)據(jù)提供了一個(gè)單一的整合網(wǎng)關(guān)，并帶來(lái)了許多其他關(guān)鍵優(yōu)勢(shì)，包括：LLM[(ERP)(EDW)API]交互和查詢一個(gè)豐富的語(yǔ)義層。為L(zhǎng)LM提供所需的業(yè)務(wù)背景和知識(shí)（如表格說(shuō)明、業(yè)務(wù)定義、類別/標(biāo)簽和樣本值）?？焖俳桓哆壿嫈?shù)據(jù)視圖，這些視圖是從底層技術(shù)數(shù)據(jù)視圖中解耦和抽象的（LLM可能難以使用）LLM使用的寬邏輯表視圖，而無(wú)需先對(duì)多個(gè)數(shù)據(jù)集進(jìn)行物理組合LLM無(wú)需處理特定的數(shù)據(jù)源約束或優(yōu)化的連接策略。大語(yǔ)言模型憑借這些優(yōu)勢(shì)，DenodoGenAI應(yīng)用訪問(wèn)。DenodoGenAI需的信息，包括數(shù)據(jù)模式、帶有上下文信息的字段描述以及字段的業(yè)務(wù)名稱。大語(yǔ)言模型對(duì)于生成式人工智能應(yīng)用最關(guān)鍵的組件之一，即您的數(shù)據(jù)，Denodo平臺(tái)可成為單一的服務(wù)層。LLM和平臺(tái)相結(jié)合，可大大加快功能強(qiáng)大的人工智能代理的開(kāi)發(fā)速度。Denodo平臺(tái)提供了以下附加功能，確保為GenAI奠定堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)：數(shù)據(jù)質(zhì)量和使用情況監(jiān)控：Denodo平臺(tái)提供了一個(gè)龐大的轉(zhuǎn)換、過(guò)濾和匹配函數(shù)庫(kù)，以及用于驗(yàn)證、清理、豐富、標(biāo)準(zhǔn)化、匹配與合并數(shù)據(jù)的質(zhì)量規(guī)則，例如，條件處理、分區(qū)、用于重復(fù)數(shù)據(jù)刪除和清理的模糊匹配算法，以及基于語(yǔ)法、同義詞庫(kù)或語(yǔ)義映射。此外，Denodo平臺(tái)可持續(xù)監(jiān)控哪些數(shù)GenAI查詢，Denodo查詢和返回的數(shù)據(jù)，從而提供隨時(shí)可解釋性和透明度。數(shù)據(jù)安全和隱私合規(guī)：作為應(yīng)用的單一數(shù)據(jù)接入點(diǎn)，Denodo平臺(tái)提供了一個(gè)中心層，用于強(qiáng)制執(zhí)行訪問(wèn)安全限制，這些限制可根據(jù)具有字段級(jí)粒度的規(guī)范模型來(lái)定義。Denodo平臺(tái)支持基于用戶和角色的身份驗(yàn)證和授權(quán)機(jī)制，既有模式范圍的權(quán)限（如訪問(wèn)Denodo數(shù)據(jù)庫(kù)和視圖），又有特定于數(shù)據(jù)的權(quán)限（如訪問(wèn)虛擬視圖中的特定行或列）。Denodo平臺(tái)提供基于行和基于列的安全性，包括屏蔽特定字段的可能性（例如，不允許經(jīng)理查看更高級(jí)別管理層的“工資”列，這些單元格將在結(jié)果中顯示為屏蔽）。Denodo組織滿足上述各種監(jiān)管要求。要充分發(fā)揮LLM驅(qū)動(dòng)的人工智能代理的潛力，需要整個(gè)行業(yè)不斷發(fā)展技術(shù)和創(chuàng)新。Denodo正走在前沿，不斷發(fā)展我們的產(chǎn)品，以滿足人工智能賦能的未來(lái)的需求。我們優(yōu)秀的產(chǎn)品管理團(tuán)隊(duì)會(huì)不斷監(jiān)控和評(píng)估人工智能和其他現(xiàn)代技術(shù)的最新進(jìn)展，為數(shù)據(jù)管理打下更堅(jiān)實(shí)的基礎(chǔ)。我們致力于幫助我們的客戶有效利用這些創(chuàng)新技術(shù)。GenAI如何增強(qiáng)數(shù)據(jù)管理GenAI還被用來(lái)改善數(shù)據(jù)管理。它將極具價(jià)值的自動(dòng)化引入到容易出現(xiàn)人為錯(cuò)誤的手動(dòng)流程中。人工智能可以更高效、更準(zhǔn)確地處理基礎(chǔ)數(shù)據(jù)管理任務(wù)，而在此之前，這些任務(wù)都屬于勞動(dòng)密集型，且容易出錯(cuò)。DenodoDenodo平臺(tái)中實(shí)現(xiàn)了以下功能：自然語(yǔ)言查詢。SQL代碼并執(zhí)行。這是SQL(BI)GenAI據(jù)平臺(tái)可以將自然語(yǔ)言查詢轉(zhuǎn)化為SQL代碼，甚至生成代碼的解釋。然后，數(shù)據(jù)平臺(tái)將執(zhí)行代碼并檢索結(jié)果。這對(duì)于分析師、營(yíng)銷人員、銷售人員、醫(yī)療保健專業(yè)人員等業(yè)務(wù)專業(yè)人士來(lái)說(shuō)具有巨大的潛力，他們可以獨(dú)立訪問(wèn)數(shù)據(jù)并從數(shù)據(jù)中獲得洞察，而無(wú)需依賴IT和數(shù)據(jù)專業(yè)人員（TDWI，2023年）。這將為業(yè)務(wù)決策者提供所需的數(shù)據(jù)，使他們能夠更敏捷地做出明智的決策。查詢優(yōu)化。De