自2017年國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》后，人工智能已上升為國家發(fā)展戰(zhàn)略，成為推進經(jīng)濟發(fā)展的新動力。隨著以ChatGPT對話機器人為代表的人工智能應用的崛起，人工智能預訓練大模型(以下簡稱“大模型”)在全球?qū)W術(shù)界、工業(yè)界以及投資界掀起了討論熱潮，已經(jīng)成為人工智能領域的技術(shù)新高地。

近日，聯(lián)邦學習隱私計算開源平臺FATE (Federated AI Technology Enabler)正式發(fā)布聯(lián)邦大模型FATE-LLM功能模塊。通過將聯(lián)邦學習和大模型結(jié)合，F(xiàn)ATE-LLM在各參與方的敏感數(shù)據(jù)不出本地域的前提下，根據(jù)各方實際數(shù)據(jù)量進行算力投入，聯(lián)合進行大模型訓練。基于此技術(shù)方案，多個機構(gòu)可以通過FATE內(nèi)置的預訓練模型進行橫向聯(lián)邦，利用各自隱私數(shù)據(jù)進行聯(lián)邦大模型微調(diào)，從而提升自身大模型應用的效果。

大模型應用面臨的

作為大數(shù)據(jù)、大算力強算法結(jié)合的產(chǎn)物，大模型是具有數(shù)十億甚至上百億參數(shù)的深度神經(jīng)網(wǎng)絡模型，堪稱凝聚了大數(shù)據(jù)內(nèi)在精華的“知識庫”。模型在大規(guī)模數(shù)據(jù)集上完成了預訓練后僅需要少量數(shù)據(jù)的微調(diào)、甚至無需調(diào)整，就能直接支撐各行業(yè)的各類應用。目前，大模型在語音識別、自然語言處理、圖像識別等領域有著廣泛的應用，被認為是人工智能走向通用化的關鍵技術(shù)。

然而，基于海量數(shù)據(jù)訓練的大模型面臨眾多安全與倫理風險，如構(gòu)建和使用大模型過程中的隱私泄露、安全漏洞、市場壟斷、不公平性等。大模型可能包含大量個人敏感信息，包括圖像、語音、地理位置等，如果這些信息在訓練或應用過程中被泄露，會對用戶造成嚴重的隱私損失和安全風險。

針對這些問題，F(xiàn)ATE-LLM聯(lián)邦大模型將聯(lián)邦學習這種安全的分布式機器學習范式與當下主流的大模型技術(shù)融合。基于聯(lián)邦學習自身“數(shù)據(jù)不動模型動，數(shù)據(jù)可用不可見”的特性，聯(lián)邦學習與大模型的結(jié)合能夠進一步解決數(shù)據(jù)安全、隱私保護等問題。

FATE開源社區(qū)技術(shù)指導委員會主席楊強教授表示：“開源FATE-LLM是為了解決當前大模型應用的兩個瓶頸問題。首先是構(gòu)建和使用大模型時的數(shù)據(jù)隱私保護問題。多個數(shù)據(jù)源聯(lián)合訓練一個大模型時極有可能會暴露每個數(shù)據(jù)源的用戶隱私和影響信息安全，再一次凸顯了隱私保護的必要性和緊迫性。”

“其次，聯(lián)邦學習可以應用于解決可用數(shù)據(jù)數(shù)量不足的問題，為業(yè)界提供了一個前瞻性的解決方案。來自阿伯丁大學、麻省理工大學、圖賓根大學的計算機科學家在論文《我們會用完數(shù)據(jù)嗎?機器學習中數(shù)據(jù)集縮放的局限性分析》中預測，ChatGPT等大語言模型訓練所需的高質(zhì)量語言數(shù)據(jù)將在2026年之前耗盡。目前大多數(shù)高質(zhì)量數(shù)據(jù)來源于公域數(shù)據(jù)，也就是說當公域數(shù)據(jù)消耗殆盡時，如何保護數(shù)據(jù)隱私的前提下，合法合規(guī)地利用手機等終端設備上的私域數(shù)據(jù)，將是解決大模型訓練數(shù)據(jù)不足問題的關鍵。”

“此次發(fā)布的FATE-LLM，是利用聯(lián)邦學習技術(shù)來解決以上問題的初步成果，也是FATE社區(qū)合作伙伴的共識。當前階段主要解決的是大模型訓練階段的隱私保護問題，未來還將研究在使用大模型的過程中如何保護用戶的隱私。例如，基于大模型的對話機器人與億萬用戶的互動聊天時，如何保護用戶的隱私安全問題。”

開源開放，大模型發(fā)展的必經(jīng)之路

近期發(fā)布的FATE-LLM為聯(lián)邦大模型初步版本，未來FATE開源社區(qū)還將針對聯(lián)邦大模型的算法、效率、安全等方面進行持續(xù)優(yōu)化，并持續(xù)推出后續(xù)版本，提升聯(lián)邦大模型的安全性、易用性和通用性。

在技術(shù)創(chuàng)新層面，聯(lián)邦大模型將有機會充分利用分散在各個組織的算力和數(shù)據(jù)，融合聯(lián)邦學習和AIGC相關技術(shù)，實現(xiàn)異構(gòu)數(shù)據(jù)分布式安全訓練。這將為自然語言處理，語音識別，機器視覺等AI領域帶來全新的技術(shù)范式。

在行業(yè)應用方面，聯(lián)邦大模型未來將有機會重塑金融、零售、工業(yè)等多行業(yè)的數(shù)字化形態(tài)。相關應用場景包括在金融領域的智能客服、內(nèi)容風控、金融資訊情感分析、文本意圖識別、營銷場景智能創(chuàng)意生成和優(yōu)化等。即使機構(gòu)自身擁有的數(shù)據(jù)量和算力可能不足，仍能發(fā)揮聯(lián)邦大模型的優(yōu)勢，安全合規(guī)地提升客服、營銷、風控的效果。

關鍵詞：