Azure OpenAI：生成式人工智能白皮書

前言2023年生成式AI應用激增。2024年AI將會帶動10%的面對生成式AI及其應用落地的迅猛發(fā)展，微軟期待用AI重新定義軟件開發(fā)與工作的未來。服務生態(tài)，從提供AI工具到構筑AI平臺和生態(tài)，全方位幫助開發(fā)者應對技術革命，予力人們運用AI，讓每個人都可以在工作和生活中，受益于這些突破性技術，探索全新機遇與無限可能。微軟的AI戰(zhàn)略包括三個部分：將AI副駕融入每個微軟云解決方案、幫助客戶通過AI本白皮書將全面介紹MicrosoftAzure生成式人工智能領域的解決方佳實踐以及支持AI的云端算力及架構優(yōu)勢，您戰(zhàn)略的落地路徑，本白皮書介紹的落地方案涵蓋從直接使用微軟AzureAI和Azure22目錄前言第一章AzureAI及AzureOpenAl服務概括4第二章生成式人工智能落地實踐的四種路徑7路徑一直接使用AzureOpenAI模型:添加您的數(shù)據(jù)至路徑四訓練您的自有模型第三章生成式人工智能落地成功案例參考游戲行業(yè):完美世界零售行業(yè)：CarMaxAzureAI服務通過現(xiàn)成的預生成可定制的API和模型，幫助開發(fā)人員和組織快速創(chuàng)建智能、前沿、面向市場且負責任的應用程序，包括對話、搜索、監(jiān)視、翻譯、語音、視覺和決策的自然語言處理。這意味著，您可以使基于你自己的數(shù)據(jù)構建、微調和訓練自定使用統(tǒng)一的儀表板實踐負責任、高質量的基于你自己的數(shù)據(jù)構建、微調和訓練自定使用統(tǒng)一的儀表板實踐負責任、高質量的加速機器學習工作流的自動化、協(xié)作和可AzureAIContentSafe在應用程序和服務中檢測用戶生成的和AI在在AzureAI的幫助下，您可以為您的組織構建可以立即推向市場的先進應用程序。以微軟為例，MicrosoftaaMicrosoftAzure4微軟Azure作為OpenAI的獨家云服務提供商，自2019年開始便以出色的、面向AI時代的領先架構，為OpenAI的快速發(fā)展提供助力?；陔p方的戰(zhàn)略合作，現(xiàn)在Azure全球版客戶可以通過AzureOpenAI服務直MicrosoftAzureMicrosoftAzure預配置吞吐容量的專屬模式:適合各類追求穩(wěn)定性能及穩(wěn)定延時的AI生產應用。通過提供穩(wěn)定的最大延遲和吞吐量保障穩(wěn)定可預負責任的人工智能原則在科技行業(yè)里，微軟率先提出了打造負責任的人工智能的決心。2016年，微軟CEO薩提關于人工共同責任的專欄文章，幾個月后，第一次公開提出了微軟的人工智能準則：公平、可靠和安全、隱私BuildingblockstoenactprinciplesTrainingandpracticGovernanceBuildingblockstoenactprinciplesTrainingandpracticGovernancePrivacy&Security.Reliability&SafetyInclusivenessResponsibleFairnessAccountabilityTransparencyaaMicrosoftAzure6基于現(xiàn)有模型進行Fine-tuning44同時，也可以通過使用Azure大語言模型運營功能(LLMuauaMicrosoftAzure7先進的模型構建應用。通過基于AzureAI優(yōu)化的基礎設施、企業(yè)級可用性、合規(guī)性、數(shù)據(jù)安全和隱私控aaMicrosoftAzure8擁有指令的AI助手,并利用模型、工具TTS模型OpenAI的TTS模型在AOAI和AzureAISpeech同時上線。新的TTS模型能生成GPT-4-TurbowithVision：GPT-4Tur態(tài)模型（LMM），支持圖像分析并能對圖像有關問題生成文本響應。它結合了自它不僅僅能夠識別圖片中的對象，更注重理解上下文和細節(jié)，比如創(chuàng)建詳細的圖AzureOpenAI服務推出了三款模型的Fine-tuning功能（Babbage-002、Davinci-002和GPT-3.5-Turbo）。用戶可以使用AzureOpenAI服務或Azure機器學習對Babbage/Davinci-002和GPT-3.5-Turbo進行Fine-tuning。GPT-3.5-Turbo1106模型已支持?ne3.5-Turbo都降低50%。Babbage-002和Davinci-002支持completion，Turbo支持對話式交互。通過幾個簡單的命令，您就可以指定基本模型、提供數(shù)據(jù)、進行訓練和部署。點擊閱讀關于微調的介紹文章Whisper：Whisper模型提供轉錄和翻譯音頻內容的功能，同時支持大規(guī)模高質量MicrosoftAzureuaMicrosoftAzureuaMicrosoftAzure9功能，用戶可以使用自己的數(shù)據(jù)驅動OpenAI模型，獲得有價值、高質量的洞察。同時，用戶友好的API和SDK，將與您的現(xiàn)有系統(tǒng)輕松集成；定制化示例■本地文件：連接您的AzureAI門戶文件，為數(shù)據(jù)連接提供靈活性和便利性。數(shù)據(jù)在攝取、切分之后，將導入Azure認知搜索索引。txt、■基于數(shù)據(jù)進行提問和聊天：基于數(shù)據(jù)進行提問和聊天：連接數(shù)據(jù)源之后，您就可以通過AzureAIaaMicrosoftAzureEmbedding是一種特殊的數(shù)據(jù)表示格式，機器學習模型和算法可以輕松使用。Embedding是一段文本的語MM在AI領域，特別是在大型語言模型中，提示指的是用戶為引起特定類型的響應而給出的輸入或指令。要充分利用GPT-4等大型語言模型，就必須精心設計能產生有效結果的提示。挑戰(zhàn)在于如何選擇詞語、表達方式、需要注意的是，相似的提示可能會引發(fā)不同的響應，這取決于底層模型、訓練數(shù)據(jù)，甚至是用戶請求措辭的細uauaMicrosoftAzureFine-tuning是開發(fā)人員和數(shù)據(jù)科學家用來定制大型語言模型，以滿足特定任務需求的方法之一。與“檢索增強生成”（RetrievalAugmentedGeneration，RAG）和“提示工程”等方法通過在提示中注入正確的信息和AzureOpenAI服務和Azure機器學習），1.如果您希望簡單而快速地獲取結果，請不要立即開始使用Fine-tuning：因為這需要大量的數(shù)據(jù)和時3.如果您希望確保您的模型具有良好的基礎，避免產生幻覺（hallucinations那么RAG1.教會模型一項新技能，以便它在特定任務上表現(xiàn)應。有時，通過Fine-tuning較小的模型，也2.通過示例向模型演示如何執(zhí)行某些操作，但在提而Fine-tuning允許您將這些較長的提示集成到模型從您自己的數(shù)據(jù)庫、搜索引擎等查詢最新信息微調經常用于引導模型執(zhí)行特定任務，例如微調將少樣本示例移入訓練步驟，但增加了微調訓練是昂貴的，但可能會減少提示長度這是一個高風險領域。微調可以重新訓練模uauaMicrosoftAzure使用AzureOpenAI服務進行Fine-tuning將為您帶來雙重優(yōu)勢：您可以自定義先進的OpenAI大語言模型Azure的內容審查功能讓您使用所需的數(shù)據(jù)進行Fine-如果您是AzureOpenAI服務和LLMs的新用戶，歡迎您使用微軟提供的簡單易用的API來訓練和部署模Fine-tuning分為兩個部分：訓練Fine-tuning模型以就可以開始了！您可以使用AzureOpenAIStudio進行簡單的GUI操作，或者對于更高級的用戶，我們還訓練完成后，新模型將在您的資源中可用。當使用您經過Fine-tuning的模型部署后將按小時收取托管費如果您熟悉使用AzureMachineLearningStudio來開發(fā)、監(jiān)控和部署模型，您可以將Fine-tuning集成至AML工作流程中的現(xiàn)有模型。除了OpenAI模型，Azure機器學習還支持對開源模型進行Fine-tuning，微調”先進AI，離不開算力基礎設施、服務與專業(yè)知識。我們將微軟過去十年的超級計算經驗和支持超大型AI訓練您可以在AzureAIStudio中使用預構建和可現(xiàn)在AzureAI模型目錄中添加了新的基礎和生成式AI模型。在Huggi穩(wěn)定擴散模型、falcon模型、CLIP、WhisperV3、BLIP和SAM模型。此外，我們還添加了分別來自Meta和NVIDIA的CodeLlama和Nemo借助我們的模型即服務，專業(yè)開發(fā)人員很快就能輕松集成最新的Command、G42的Jais以及Mistral的高級模型作為API端點到應用程序Azure領先的GPU和網(wǎng)絡解決方案的獨特架構設計，為計算最密集的AI訓練和能和規(guī)模。這就是世界領先的AI公司（包括OpenAI、Meta在2023年11月份發(fā)布的MLperf性能基準報告里，我們將175B參數(shù)GPT-3模型的訓練時間從之前的10.94NVIDIAH100TensorCoreGPUQuantum-2In?niBandNVSwitch+NVLink4.0基于NvidiaH200用于大模型訓練和推理的NDH200v5機型?；贏MDMI300X用于支持大模型的高帶寬內存GPU機型NDMI300X我們對于對話式AI的關注促使我們開發(fā)和訓練一些最復雜的大型基礎結構為我們提供了必要的性能，以便大規(guī)模、可靠地、高效處理這些模型。梅賽德斯-奔馳（奔馳）是世界知名的汽車品牌，致力于為用戶提供更互聯(lián)、更智能、更個性化的駕駛體驗。為了實現(xiàn)這一目標，奔馳開發(fā)了MBUX語音助手“嘿，梅賽德斯”，讓用戶可以通過自然語音命令控制車內的各種功能，如導航、娛樂、空調等。這種語音助手不僅可以提高用戶的便捷性和生產力，還可以增強用戶的奔馳需要保證GPT模型的安全性和可靠性，以及用戶的奔馳需要確保奔馳需要保證GPT模型的安全性和可靠性，以及用戶的奔馳需要確保GPT模型與MBUX語音助手的兼容性和穩(wěn)定性，以及與其他車內系微軟AzureOpenAI服務為奔馳提供了一個集成了GPT模型的車載語音助手，讓用戶可以通過自然語言與車輛進行交互。這個語音助手可以理解用戶的需求和意圖，提供全面和相關的回答，還可以集成第三方服務，讓用戶可以在駕駛過程中完成更多的任務。這個方案通過Azure的企業(yè)功能和基礎設施，保證了語音安全性，同時遵循了微軟的負責任的人工智能原則。這個方案正在美國進行Beta測試，預計將為奔馳用戶帶aaMicrosoftAzure奔馳可以在三個月內完成GPT模型的Beta測試，并根據(jù)用戶的反奔馳可以使用AzureOpenAI服務的預留預配置吞吐量功能，以便大規(guī)模控奔馳可以通過GPT模型提供更直觀、更具對話感的語音助手，讓用戶可以通uauaMicrosoftAzure02零售行業(yè)沃爾瑪沃爾瑪是全球最大的零售商，以低價和多樣化的商品吸引了數(shù)億消費者。沃爾瑪在2023財年實現(xiàn)了超過820億美元的電子商務銷售額，并持續(xù)擴大其活躍數(shù)字客戶群。該公司的目標是為顧客提供最佳的數(shù)字購物體驗，沃爾瑪希望通過引入生成式AI沃爾瑪希望通過引入生成式AI技術，包括文件總結沃爾瑪致力于提供更個性化的商品包括文件總結沃爾瑪致力于提供更個性化的商品括安全性、合規(guī)性和區(qū)域可用性）的支持。結合沃爾瑪專有數(shù)據(jù)和技術、大型語言模型以及沃爾瑪建立的零售專用模型，沃爾瑪在iOS、Android和自有網(wǎng)站上建立了一個全新的生成式AI支持的門用于理解顧客查詢的上下文并生成個性化回復。很快，顧客將利用該功能獲得更具互動性和對話性的體驗，獲取特定問題的答案，并收到個性化的產品建議。借助這種前沿的生成式AI技術，用戶可以從“滾動搜索”aaMicrosoftAzure完美世界游戲是中國最早自主研發(fā)3D游戲引擎的游戲企業(yè)。作為全球化的游戲開發(fā)商、發(fā)行商、運營商，并在端游、手游、主機游戲、VR游戲以及云游戲等多個領域進行布局，旗下產品出口100多個國家和地區(qū)，其出品的《誅仙》《天龍八部》《幻塔》等游戲，搭載中國文化，為全球玩家?guī)砹藘?yōu)質的游戲體驗。為了在MMO游戲研發(fā)中實現(xiàn)效能突破，完美世界游戲于2022年開始基于AzureOpenAI及其他AzureAI服務探索升級游戲玩家的AI交互體驗。AI升級游戲玩家的AI交互體驗。AI對話缺少與生成文本對應的聲畫表現(xiàn)，難以直接革新技術中臺對工作室的賦能。完美世界游戲內部早已成立AI中心，但如何將GenAI的技術能力落地為各完美世界游戲在生產管線、核心業(yè)務和開發(fā)工具上實現(xiàn)了全面優(yōu)化。策劃團隊引入GPTOpenAI模型，為AI文本創(chuàng)意、劇情拓展和定制世界觀環(huán)節(jié)提供支持；結合GPT4-8K模型和GPT3.5微調模能化建模、生成分鏡預覽；此外，完美世界將AzureOpenAI模型強大的歸納、理解及總結能力應用在量化運營場景與安全維護場景；并基于AzureOpen目前生產管線優(yōu)化已經