大語言模型與知識(shí)圖譜

#大語言模型與知識(shí)圖譜機(jī)會(huì)與挑戰(zhàn)https://drops.dagstuhl.de/storage/08tgdk/tgdk-vol001/tgdk-vol001-issue001/TGDK.1.1.2/TGDK.1.1.2.pdf#從知識(shí)表示的角度看

KG+LLM知識(shí)表示知識(shí)表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010sKG2020sLLM知識(shí)表示顯式知識(shí)(Explicit

Knowledge)非結(jié)構(gòu)化知識(shí)（文本、圖片、視頻等）結(jié)構(gòu)化知識(shí)（編碼了邏輯信息的，知識(shí)圖譜、數(shù)據(jù)庫等）長期共識(shí)：并不是所有的知識(shí)都適合顯示化表示知識(shí)表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識(shí)表示顯式知識(shí)(Explicit

Knowledge)非結(jié)構(gòu)化知識(shí)（文本、圖片、視頻等）結(jié)構(gòu)化知識(shí)（編碼了邏輯信息的，知識(shí)圖譜、數(shù)據(jù)庫等）長期共識(shí)：并不是所有的知識(shí)都適合顯示化表示參數(shù)化知識(shí)（Parametric

Knowledge）并不是所有的參數(shù)化知識(shí)都能被轉(zhuǎn)化為顯式知識(shí)判斷句子的情感極性誰是登上月球的第一人知識(shí)表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識(shí)表示顯式知識(shí)(Explicit

Knowledge)非結(jié)構(gòu)化知識(shí)（文本、圖片、視頻等）結(jié)構(gòu)化知識(shí)（編碼了邏輯信息的，知識(shí)圖譜、數(shù)據(jù)庫等）長期共識(shí)：并不是所有的知識(shí)都適合顯示化表示參數(shù)化知識(shí)（Parametric

Knowledge）并不是所有的參數(shù)化知識(shí)都能被轉(zhuǎn)化為顯式知識(shí)判斷句子的情感極性誰是登上月球的第一人顯示的知識(shí)表示方法--參數(shù)化的知識(shí)表示方法–-混合的知識(shí)表示方法（知識(shí)圖譜） （大語言模型） （知識(shí)圖譜+大語言模型）知識(shí)表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識(shí)表示顯式知識(shí)(Explicit

Knowledge)非結(jié)構(gòu)化知識(shí)（文本、圖片、視頻等）結(jié)構(gòu)化知識(shí)（編碼了邏輯信息的，知識(shí)圖譜、數(shù)據(jù)庫等）長期共識(shí)：并不是所有的知識(shí)都適合顯示化表示參數(shù)化知識(shí)（Parametric

Knowledge）并不是所有的參數(shù)化知識(shí)都能被轉(zhuǎn)化為顯式知識(shí)判斷句子的情感極性誰是登上月球的第一人顯示的知識(shí)表示方法--參數(shù)化的知識(shí)表示方法–-混合的知識(shí)表示方法（知識(shí)圖譜） （大語言模型） （知識(shí)圖譜+大語言模型）知識(shí)表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM問：圖書館館長的孩子中最??名的是誰？976

results

in

6721

msIIIllIlIl)

Wikidata

Query

Service

Examples

@

HelpJ

#NosI

famous

chitd

o

f

a

Tib

ra

rian#Children

of

librarians

with

the

most

number

of

sitelinks

(as

a

proxy

for

Name)SELECT

7person

?personLabet

?parentLabel

?linkcount

WHERE

(?parent

wdt:P106

md:Q182436

.?parentWdt:P40?person.?person

wikibase:sitelinks

?linkcount

.SERVICE

wikiba

se:

\.abeI

{

bd

:

se

rv

icePa

ram

wikiba

se

:

language

"

[AUT0_LANGUAGE

]

,

en

,

de

,

e

s,

a

r

,

f

r"

}?

GROUP

BY

?I

inkcount

?pe

rson

?

pe

rsonLabe

I

?parent

?pa

rent

Label

fJ

ORDER

BY

DESC

(

?I

inkcount

)O

More

toolsOuery

Builder.

Table

-

epersonQ

wd:Q79015CI

wd:Q162005Q

wd:Q71031Q

wd:Q76556Q

wd:Q151872personLabelSupermanPaul

AllenRobert

BunsenRichard

DedekindAmos

OzparentLabelLara

Lor-VanKenneth

S.

AllenChristian

BunsenJulius

DedekindYehuda

Arieh

KlausnerA

Englishlinkcount10484817365讓我們一起看看一些辯題讓我們一起看看一些辯題知識(shí)表示和推理（顯式or隱式）：語言模型中知識(shí)的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識(shí)存儲(chǔ)，會(huì)產(chǎn)生高概率但錯(cuò)誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識(shí)圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高但是LLM可用性很強(qiáng)，讓AI從幕后到臺(tái)前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡讓我們一起看看一些辯題知識(shí)表示和推理（顯式or隱式）：語言模型中知識(shí)的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識(shí)存儲(chǔ)，會(huì)產(chǎn)生高概率但錯(cuò)誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識(shí)圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高但是LLM可用性很強(qiáng)，讓AI從幕后到臺(tái)前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡高準(zhǔn)確度的KG構(gòu)建方法YAGO：>95%準(zhǔn)確性Knowledge

Vault沒有產(chǎn)品化：在測試集上沒有達(dá)到99%準(zhǔn)確率基于LLM的KG構(gòu)建方法尚未達(dá)到高準(zhǔn)確度的要求總結(jié)：高準(zhǔn)確度的KG構(gòu)建方法有待研究讓我們一起看看一些辯題知識(shí)表示和推理（顯式or隱式）：語言模型中知識(shí)的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識(shí)存儲(chǔ)，會(huì)產(chǎn)生高概率但錯(cuò)誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識(shí)圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高

但是LLM可用性很強(qiáng)，讓AI從幕后到臺(tái)前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡高準(zhǔn)確度的KG構(gòu)建方法YAGO：>95%準(zhǔn)確性Knowledge

Vault沒有產(chǎn)品化：在測試集上沒有達(dá)到99%準(zhǔn)確率基于LLM的KG構(gòu)建方法尚未達(dá)到高準(zhǔn)確度的要求總結(jié)：高準(zhǔn)確度的KG構(gòu)建方法有待研究LLM能否準(zhǔn)確記憶和運(yùn)用數(shù)值知識(shí)？人的生日/年齡等讓我們一起看看一些辯題長尾知識(shí)：LLM到底記憶了多少知識(shí)？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識(shí)的記憶明顯差于頭部知識(shí)但KG中可以準(zhǔn)確存儲(chǔ)長尾的信息讓我們一起看看一些辯題長尾知識(shí)：LLM到底記憶了多少知識(shí)？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識(shí)的記憶明顯差于頭部知識(shí)但KG中可以準(zhǔn)確存儲(chǔ)長尾的信息偏見、公平性、版權(quán)訓(xùn)練數(shù)據(jù)中的偏見-->LLM輸出的偏見（是否會(huì)被放大？）需要處理LLM訓(xùn)練數(shù)據(jù)中存在的偏見從模型的參數(shù)知識(shí)中刪除知識(shí)，比在顯式知識(shí)中刪除難很多讓我們一起看看一些辯題長尾知識(shí)：LLM到底記憶了多少知識(shí)？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識(shí)的記憶明顯差于頭部知識(shí)但KG中可以準(zhǔn)確存儲(chǔ)長尾的信息偏見、公平性、版權(quán)訓(xùn)練數(shù)據(jù)中的偏見-->LLM輸出的偏見（是否會(huì)被放大？）需要處理LLM訓(xùn)練數(shù)據(jù)中存在的偏見從模型的參數(shù)知識(shí)中刪除知識(shí)，比在顯式知識(shí)中刪除難很多可解釋性知識(shí)圖譜在可解釋性需求很強(qiáng)的領(lǐng)域受到較大歡迎LLM不可解釋，輸出是如何生成的解析注意力值/模型反思/CoT/資料溯源等機(jī)會(huì)與展望即時(shí)訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)查詢機(jī)會(huì)與展望即時(shí)訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(shí)(LLM

for

KG)LLM極大地簡化了知識(shí)工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會(huì)實(shí)體識(shí)別、關(guān)系抽取、語法依存樹解析等知識(shí)圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識(shí)和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power機(jī)會(huì)與展望即時(shí)訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(shí)(LLM

for

KG)LLM極大地簡化了知識(shí)工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會(huì)實(shí)體識(shí)別、關(guān)系抽取、語法依存樹解析等知識(shí)圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識(shí)和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯(cuò)誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的機(jī)會(huì)與展望即時(shí)訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(shí)(LLM

for

KG)LLM極大地簡化了知識(shí)工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會(huì)實(shí)體識(shí)別、關(guān)系抽取、語法依存樹解析等知識(shí)圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識(shí)和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯(cuò)誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的壓縮即是整合傳統(tǒng)知識(shí)工程需要對沖突的信息進(jìn)行整合?

LLM壓縮文本信息自然地完成了這個(gè)過程機(jī)會(huì)與展望即時(shí)訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(shí)(LLM

for

KG)LLM極大地簡化了知識(shí)工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會(huì)實(shí)體識(shí)別、關(guān)系抽取、語法依存樹解析等知識(shí)圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識(shí)和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯(cuò)誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的壓縮即是整合傳統(tǒng)知識(shí)工程需要對沖突的信息進(jìn)行整合LLM->KG:增強(qiáng)KG的規(guī)模、質(zhì)量和可用性?

LLM壓縮文本信息自然地完成了這個(gè)過程KG->LLM:提升、實(shí)例化、校驗(yàn)LLM的輸出，增強(qiáng)LLM的可信度和可用性表格知識(shí)抽取Knowledge

Extraction

from

TabularData知識(shí)圖譜補(bǔ)全三元組抽取Triple

Extraction本體模式構(gòu)建(Inductive)

Link

PredictionOntological

Schema

Construction表格知識(shí)抽取Knowledge

Extraction

from

TabularData知識(shí)圖譜補(bǔ)全三元組抽取Triple

Extraction本體模式構(gòu)建(Inductive)

Link

PredictionOntological

Schema

Construction*表格均來自網(wǎng)絡(luò)*表格均來自網(wǎng)絡(luò)元數(shù)據(jù)定義不清：表格名稱，列名等結(jié)構(gòu)復(fù)雜多模態(tài)信息大語言模型增強(qiáng)知識(shí)圖譜–表格知識(shí)抽取表格預(yù)訓(xùn)練TURL[1][1]

Xiang

Deng,

Huan

Sun,

Alyssa

Lees,

You

Wu,

Cong

Yu:

TURL:

Table

Understanding

through

Representation

Learning.

SIGMOD

Rec.

51(1):

33-40

(2022)[2]

Nan

Tang,

Ju

Fan,

Fangyi

Li,

Jianhong

Tu,

Xiaoyong

Du,

Guoliang

Li,

Samuel

Madden,

Mourad

Ouzzani:

RPT:

Relational

Pre-trained

Transformer

Is

AlmosAll

You

Need

towards

Democratizing

Data

Preparation.

Proc.

VLDB

Endow.

14(8):

1254-1261

(2021)大語言模型增強(qiáng)知識(shí)圖譜–表格知識(shí)抽取表格預(yù)訓(xùn)練TURL[1]RPT[2]RPT(Bart)應(yīng)用效果[1]

Xiang

Deng,

Huan

Sun,

Alyssa

Lees,

You

Wu,

Cong

Yu:

TURL:

Table

Understanding

through

Representation

Learning.

SIGMOD

Rec.

51(1):

33-40

(2022)[2]

Nan

Tang,

Ju

Fan,

Fangyi

Li,

Jianhong

Tu,

Xiaoyong

Du,

Guoliang

Li,

Samuel

Madden,

Mourad

Ouzzani:

RPT:

Relational

Pre-trained

Transformer

Is

AlmosAll

You

Need

towards

Democratizing

Data

Preparation.

Proc.

VLDB

Endow.

14(8):

1254-1261

(2021)大語言模型增強(qiáng)知識(shí)圖譜–表格知識(shí)抽取表格語義標(biāo)注DODUO[1][1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.大語言模型增強(qiáng)知識(shí)圖譜–表格知識(shí)抽取表格語義標(biāo)注DODUO[1]使用ChatGPT[2][1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.大語言模型增強(qiáng)知識(shí)圖譜–表格知識(shí)抽取表格語義標(biāo)注DODUO[1]使用ChatGPT[2]挑戰(zhàn)與機(jī)會(huì)：將表格轉(zhuǎn)化為序列的方法：轉(zhuǎn)化為序列才能輸入到語言模型中充分挖掘非文字性的表格數(shù)據(jù)：數(shù)值、日期、圖片等提取表格知識(shí)：LLM常被用于處理和理解表格，但是并沒有用于知識(shí)抽取[1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.表格知識(shí)抽取Knowledge

Extraction

from

TabularData知識(shí)圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識(shí)圖譜–鏈接預(yù)測直推式鏈接預(yù)測歸納式鏈接預(yù)測[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.圖片來自[1]大語言模型增強(qiáng)知識(shí)圖譜–鏈接預(yù)測增加文本信息KGBert

[2]KGGPT[3]StAR

[4]直推式鏈接預(yù)測歸納式鏈接預(yù)測圖片來自[1]GPT-2[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.大語言模型增強(qiáng)知識(shí)圖譜–鏈接預(yù)測機(jī)會(huì)與挑戰(zhàn)LLM生成信息的正確性：事實(shí)正確性是否已經(jīng)包含在圖譜中了（實(shí)體有多個(gè)名稱）鏈接預(yù)測的評(píng)估指標(biāo)主要是排序指標(biāo)，需要對所有候選集打分，這個(gè)對LLM是巨大的挑戰(zhàn)鏈接預(yù)測評(píng)估的是從已有三元組中預(yù)測新知識(shí)的能力，LLM是因?yàn)橛浀孟嚓P(guān)事實(shí)而輸出答案，還是推理得出很難判斷對于LLM沒有訓(xùn)練的領(lǐng)域，面對新知識(shí)，需要給語言模型輸入對應(yīng)的schema，設(shè)計(jì)prompt的比較復(fù)雜，需要多次嘗試，對于GPT4這樣的模型成本較高將結(jié)構(gòu)信息融入LLM中直推式鏈接預(yù)測歸納式鏈接預(yù)測[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.圖片來自[1]表格知識(shí)抽取Knowledge

Extraction

from

TabularData知識(shí)圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識(shí)圖譜–三元組抽取LAMA

Benchmark[1][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?大語言模型增強(qiáng)知識(shí)圖譜–三元組抽取LAMA

Benchmark[1]LLM對于不同分布的實(shí)體預(yù)測效果[2]LLM在保證一定預(yù)測準(zhǔn)確率下的預(yù)測召回率[3][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?大語言模型增強(qiáng)知識(shí)圖譜–三元組抽取LAMA

Benchmark[1][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?LLM對于不同分布的實(shí)體預(yù)測效果[2]LLM在保證一定預(yù)測準(zhǔn)確率下的預(yù)測召回率[3]一些已有發(fā)現(xiàn)：Prompt優(yōu)化可以提升效果增加信息可以提升效果有害信息會(huì)降低效果低資源信息效果不佳Zero-shot能力不佳模型記憶了訓(xùn)練數(shù)據(jù)現(xiàn)在的LLM遠(yuǎn)遠(yuǎn)無法代替符號(hào)知識(shí)庫有時(shí)不能準(zhǔn)確召回事實(shí)大語言模型增強(qiáng)知識(shí)圖譜–三元組抽取LLM的一些傾向（biase）表示大多數(shù)representation

of

the

majority忽略多角度的不同意見，遵從多數(shù)LLM到底是學(xué)會(huì)的了可遷移的泛化性還是巧妙地利用了數(shù)據(jù)中的捷徑？三元組抽取的自動(dòng)提示工程大語言模型增強(qiáng)知識(shí)圖譜–三元組抽取LLM的一些傾向（biase）表示大多數(shù)representation

of

the

majority忽略多角度的不同意見，遵從多數(shù)LLM到底是學(xué)會(huì)的了可遷移的泛化性還是巧妙地利用了數(shù)據(jù)中的捷徑？三元組抽取的自動(dòng)提示工程機(jī)會(huì)與挑戰(zhàn)實(shí)體消歧：不同詞組表示同一個(gè)實(shí)體、同一個(gè)詞組表示不同實(shí)體。沒出現(xiàn)在訓(xùn)練數(shù)據(jù)中的實(shí)體難消歧處理長尾實(shí)體/理解并利用上下文信息進(jìn)行消歧/提升指代消解效果長尾實(shí)體：沒能正確記憶事實(shí)的時(shí)候會(huì)生成錯(cuò)誤的信息缺乏一致性檢索增強(qiáng)/微調(diào)等技術(shù)可用高精確度LLM-KG：LLM如何能以準(zhǔn)確率優(yōu)先？LLM是否可以用于校驗(yàn)validation缺乏信息出處表格知識(shí)抽取Knowledge

Extraction

from

TabularData知識(shí)圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識(shí)圖譜–本體模式構(gòu)建知識(shí)圖譜=實(shí)例層+本體層圖片來自[link][1]

Yushan

Zhu,Huaixiao

Zhao,

Wen

Zha