《醫(yī)學知識圖譜質(zhì)量評價規(guī)范》

ICS35.020

CCSL70

T/CI

中國國際科技促進會團體標準

T/CIXXX—2023

醫(yī)學知識圖譜質(zhì)量評價規(guī)范

SpecificationforQualityEvaluationofMedicalKnowledgeGraph

（征求意見稿）

2023-XX-XX發(fā)布2023-XX-XX實施

中國國際科技促進會發(fā)布

T/CIXXX—2023

醫(yī)學知識圖譜質(zhì)量評價規(guī)范

1范圍

本文件規(guī)定了醫(yī)學知識圖譜質(zhì)量評價的基本要求、評價步驟、評價指標、評價報告。

本文件適用于醫(yī)學知識圖譜質(zhì)量評價。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T42131人工智能知識圖譜技術框架

3術語和定義

GB/T42131界定的術語和定義適用于本文件。

4基本要求

醫(yī)學知識圖譜質(zhì)量評價應使用真實、有代表性的數(shù)據(jù)樣本，同時保護涉及個人隱私的數(shù)據(jù)，遵循

倫理和隱私保護準則。

評價工作應具有一定的靈活性，能夠根據(jù)醫(yī)學領域的變化和需求進行調(diào)整和調(diào)優(yōu)，與醫(yī)學領域的

實際需求相符。

應確保評價過程的透明性，詳細記錄評價步驟、指標和數(shù)據(jù)。

評價結果應能為醫(yī)學實踐、研究和教育提供實際支持，評價報告應對評價結果進行全面的解釋，

明確優(yōu)缺點和改進建議，為知識圖譜的維護和更新提供反饋。

評價過程應與知識圖譜的維護團隊保持持續(xù)的交流和合作。

5評價步驟

評價需求分析

分析用戶的需求和期望，明確評價的重點，明確需要進行評估的內(nèi)容與資源。

選擇評價模式

5.2.1采用定性與定量角度結合的評價方法，根據(jù)不同指標的側重及實際應用的傾向，指標判定采用

簡單比率法或德爾菲法。

5.2.2結合評價需求選擇評價過程中的框架和方法論，選擇指標類別并設置指標權重。

評價結果計算

3

T/CIXXX—2023

根據(jù)選定的評價模式和指標，收集數(shù)據(jù)樣本，應用相應的計算方法進行指標判定，評價結果計算應

確保數(shù)據(jù)的準確性和真實性。

評價結果分析

評價結果計算完成后，對評價結果進行分析，通過與原始數(shù)據(jù)進行比較，找出質(zhì)量相關問題出現(xiàn)的

原因，并制定合適的優(yōu)化策略，形成評價報告。

6評價指標

評價設置二級指標體系，一級指標包含準確性、完整性、一致性、安全性、相關性、及時性、可

信性、可達性、互操作性、互聯(lián)性、復雜性共11個，每個一級指標下設二級指標，共設置二級指標30

個。

表1醫(yī)學知識圖譜質(zhì)量評價指標

一級指標二級指標含義

知識圖譜中的數(shù)據(jù)值、關系或三元組準確、可靠、無誤表示真實世界事實

語義準確性

準確性的程度

語法準確性知識圖譜中的數(shù)據(jù)的句法或結構的合規(guī)性

模式完整性一個本體包含的類和屬性是否完整

屬性完整性一個特定的屬性的值是否缺失

完整性

數(shù)量完整性一個數(shù)據(jù)集里對象的數(shù)量比例

標簽完整性數(shù)據(jù)集中的所有實體是否都有人類和機器可讀的標簽

新加入內(nèi)容的一致性

度量實例數(shù)據(jù)與模式級別的類

知識圖譜中的實體、屬性、關系和本體等元素是否符合邏輯規(guī)則和語義規(guī)

一致性約束的一致性

范，以及知識圖譜內(nèi)部各元素之間是否自洽和一致

度量實例數(shù)據(jù)與模式級別上指

定的關系限制的一致性

訪問控制只有經(jīng)過授權的用戶或系統(tǒng)可以訪問知識圖譜數(shù)據(jù)

定期備份知識圖譜數(shù)據(jù)，并確保備份數(shù)據(jù)的安全存儲，建立有效的數(shù)據(jù)恢

數(shù)據(jù)備份和恢復

復機制，以便在發(fā)生數(shù)據(jù)損壞或安全事件時能夠及時恢復數(shù)據(jù)

安全性

匿名化和脫敏對于敏感數(shù)據(jù)，采用匿名化和脫敏技術來保護用戶隱私

建立數(shù)據(jù)治理框架，確保知識圖譜的數(shù)據(jù)遵循相關法規(guī)和隱私政策要求，

數(shù)據(jù)治理和合規(guī)性

確保數(shù)據(jù)的合規(guī)性和合法性，防止違規(guī)行為和數(shù)據(jù)濫用

實體和屬性能否滿足特定任務

是否可以給特定任務提供有價值的數(shù)據(jù)，是否能夠為所提供的數(shù)據(jù)進行價

相關性執(zhí)行的需要

值排序，其包含的實體和屬性是否足夠覆蓋特定任務的需求

創(chuàng)建語句排名

更新頻率知識圖譜中所包含的實體、屬性、關系等數(shù)據(jù)的更新在多大程度上可以滿

及時性

時間相關性指數(shù)足特定任務的需要

提供元數(shù)據(jù)且合規(guī)具有清晰的來源標識（元數(shù)據(jù)），并且可通過驗證

可信性資源是否來自可信的、合規(guī)的（倫理合規(guī)、法律合規(guī)等）、有權威性或者

數(shù)據(jù)來源的可靠性

已被廣泛認可和驗證的來源

可達性數(shù)據(jù)訪問是否正常在日常任務狀態(tài)下，知識圖譜系統(tǒng)保持可用狀態(tài)的能力

4

T/CIXXX—2023

表1醫(yī)學知識圖譜質(zhì)量評價指標（續(xù)）

一級指標二級指標含義

低延遲知識圖譜系統(tǒng)在較短的時間內(nèi)響應用戶的查詢請求的能力

可達性

高吞吐量系統(tǒng)在給定時間段內(nèi)處理大量的請求，支持并發(fā)查詢，并保持處理的能力

序列化格式

不同的知識圖譜或數(shù)據(jù)源之間進行無縫的集成和交互操作，使用戶能夠獲

互操作性外部詞匯

取并利用跨多個知識圖譜的數(shù)據(jù)的能力

等價鏈接

外部連接比例知識圖譜內(nèi)部的實體與外部知識源或數(shù)據(jù)源進行鏈接以建立跨數(shù)據(jù)源關聯(lián)

互聯(lián)性

連通性關系的額能力

圖譜規(guī)模

知識圖譜在結構、規(guī)模和內(nèi)容上的復雜程度，受節(jié)點和邊的數(shù)量、它們之

復雜性演化效率

間的關系類型以及所表示信息的詳細程度等因素的影響

層次結構

評價時應對二級指標進行判定，判定方法按附錄A執(zhí)行。

7評價報告

評價報告應由報告摘要、前言、評價內(nèi)容、評價結論四部分組成。

報告摘要應給出對評價目的、方法、主要結論的簡要總結。

前言應說明評價的背景和目的。

評價內(nèi)容應包含：

——采用的評價模式：評價方法、指標體系、選用的指標及權重分配；

——用于評價的數(shù)據(jù)樣本：數(shù)據(jù)來源、數(shù)據(jù)類型、數(shù)據(jù)規(guī)模；

——評價結果：每個指標的判定過程與評價結果、加權后的綜合結果。

評價結論應包含：

——結果分析和討論總結；

——質(zhì)量問題和發(fā)現(xiàn)；

——優(yōu)化建議和改進策略。

5

T/CIXXX—2023

附錄A

（規(guī)范性）

醫(yī)學知識圖譜質(zhì)量評價指標判定方法

A.1準確性

A.1.1語義準確性

按式（A.1）、式（A.2）、式（A.3）進行判定。

?1

??????????=1?································································(A.1)

?1

式中：

mstatement——陳述語義準確性；

n1——潛在錯誤陳述或三元組的數(shù)量；

N1——所有陳述和三元組的數(shù)量。

?2

???????????=1?·································································(A.2)

?2

式中：

mlabelling——標簽語義準確性；

n2——不準確的注釋、標簽或分類；

N2——所有注釋、標簽或分類的數(shù)量。

?3

?????????=1?·································································(A.3)

?3

式中：

mproperty——屬性語義準確性；

n3——存在沖突的屬性或屬性值；

N3——所有屬性或屬性值。

A.1.2語法準確性

按式（A.4）、式（A.5）、式（A.6）進行判定。

?4

??????=1?····································································(A.4)

?4

式中：

mlegal——合法值準確性；

n4——知識圖譜中非法值；

N4——知識圖譜中所有內(nèi)容。

?5

??????=1?···································································(A.5)

?4

式中：

mrange——合法值范圍準確性；

n5——知識圖譜中不在合法值范圍的內(nèi)容。

?6

???????????=1?·································································(A.6)

?4

6

T/CIXXX—2023

式中：

msyntactic——違背語法規(guī)則的內(nèi)容；

n6——知識圖譜中不在合法值范圍的內(nèi)容。

A.2完整性

A.2.1模式完整性

按式（A.7）進行判定。

?7

??=······································································(A.7)

??????7

式中：

mschemal——模式完整性；

n7——所表示的類和屬性的數(shù)量；

N7——類和屬性的總數(shù)量。

A.2.2屬性完整性

利用屬性和類型的統(tǒng)計分布表征屬性后檢測完整性，或按式（A.8）進行判定。

′?8

?????????=····································································(A.8)

?8

式中：

m’property——屬性完整性；

n8——表示特定屬性的值的數(shù)量；

N8——特定屬性的值的總數(shù)量。

A.2.3數(shù)量完整性

按式（A.9）進行判定。

?9

????????????=···································································(A.9)

?9

式中：

mpopulation——數(shù)量完整性；

n9——表示真實世界的對象的數(shù)量；

N9——真實世界的對象的總數(shù)量。

A.2.4標簽完整性

按式（A.10）進行判定。

′?10

???????????=··································································(A.10)

?10

式中：

m’labelling——標簽完整性；

n10——數(shù)據(jù)集中實體標注標簽的數(shù)量；

N10——數(shù)據(jù)集中實體的總數(shù)量。

A.3一致性

7

T/CIXXX—2023

A.3.1對新加入的內(nèi)容進行不一致檢測按式（A.11）進行判定。

1新加入的內(nèi)容已經(jīng)進行格式檢測

??????={······································(A.11)

0其他

式中：

mcheck——新加入內(nèi)容的一致性。

A.3.2度量實例數(shù)據(jù)與模式級別的類約束的一致性程度按式（A.12）進行判定。

?

1=1實例數(shù)據(jù)與所有類約束都一致

??

??????(?)={?······························(A.12)

1<1存在實例數(shù)據(jù)與某些類約束不一致

??

式中：

mclass（g）——實例數(shù)據(jù)與模式級別的類約束的一致性程度；

c1——知識圖譜中包含滿足類約束要求的實例數(shù)據(jù)的類約束集合；

CC——知識圖譜中定義的全部類約束集合；

注：當知識圖譜中所有定義的類約束的集合為空時，mclass（g）為1。

A.3.3度量實例數(shù)據(jù)與模式級別上指定的關系限制一致的程度按式（A.13）進行判定。

1

?(?)=∑??(?)·····················································(A.13)

????????=1?????,??

式中：

mrelat（g）——實例數(shù)據(jù)與模式級別上指定的關系限制一致的程度。

A.4安全性

A.4.1訪問控制按式（A.14）進行判定。

1只有經(jīng)過授權的用戶或系統(tǒng)可以訪問

???????={·································(A.14)

0其他

式中：

maccess——訪問控制安全性。

A.4.2數(shù)據(jù)備份和恢復按式（A.15）進行判定。

1數(shù)據(jù)定期備份并具有有效數(shù)據(jù)恢復機制

???????={·······························(A.15)

0其他

式中：

mbackup——數(shù)據(jù)備份和恢復安全性。

A.4.3匿名化和脫敏按式（A.16）進行判定。

1數(shù)據(jù)可匿名或脫敏來保護隱私

???????????={····································(A.16)

0其他

式中：

manonymity——匿名化和脫敏安全性。

8

T/CIXXX—2023

A.4.4數(shù)據(jù)治理和合規(guī)性按式（A.17）進行判定。

1數(shù)據(jù)治理合規(guī)合法

???????????={··············································(A.17)

0其他

式中：

mgovernance——數(shù)據(jù)治理和合規(guī)安全性。

A.5相關性

A.5.1實體和屬性能否滿足特定任務執(zhí)行的需要按式（A.18）進行判定。

1任務所需實體、屬性、關系等能夠全部滿足

??????????={························(A.18)

0其他

式中：

mrelevancy——實體和屬性特定任務執(zhí)行需要滿足性。

A.5.2創(chuàng)建語句排名按式（A.19）進行判定。

1支持對語句排名

????????={··················································(A.19)

0其他

式中：

mranking——語句排名創(chuàng)建性。

A.6及時性

A.6.1知識圖譜更新的頻率按式（A.20）進行判定。

持續(xù)更新

1

0.5周期性更新

??????????=·················································(A.20)

0.25非周期性更新

{0其他

式中：

mfrequency——知識圖譜更新頻率。

A.6.2時間相關性指數(shù)按式（A.21）進行判定。

直接提供語句有效期

1

0.5提供知識圖譜與數(shù)據(jù)源的更新時間差

?????????=······························(A.21)

0.25提供最后修訂時間

{0其他

式中：

mtemporal——時間相關性指數(shù)。

A.7可信性

A.7.1提供元數(shù)據(jù)且合規(guī)按式（A.22）進行判定。

9

T/CIXXX—2023

1應用標準化元數(shù)據(jù)本體

?????????={0.5提供元數(shù)據(jù)···········································(A.22)

0其他

式中：

mmetadata——合規(guī)元數(shù)據(jù)提供能力。

A.7.2數(shù)據(jù)來源的可靠性按式（A.23）進行判定。

1權威認證數(shù)據(jù)（包括倫理法律等合規(guī)）或白名單數(shù)據(jù)

???????={0.5未認證數(shù)據(jù)··················(A.23)

0已經(jīng)被標注有問題的數(shù)據(jù)或黑名單數(shù)據(jù)

式中：

msource——數(shù)據(jù)來源可靠性。

A.8可達性

A.8.1數(shù)據(jù)訪問是否正常按式（A.24）進行判定。

?11

????????=··································································(A.24)

?11

式中：

mrequest——數(shù)據(jù)訪問正常性；

n11——成功返回信息的請求數(shù)；

N11——所有請求數(shù)。

A.8.2低延遲按式（A.25）進行判定。

?12

?????????=··································································(A.25)

?12

式中：

mavedelay——平均延遲；

n12——每次查詢響應時間之和；

N12——查詢次數(shù)。

A.8.3高吞吐量按式（A.26）進行判定。

?13

???=································································(A.26)

?????????13

式中：

mthroughput——吞吐量；

n13——每秒或每分鐘成功處理的請求數(shù)量；

N13——所有請求數(shù)。

A.9互操作性

A.9.1除序列化標準RDF/XML外，是否還支持用于URI解引用的其他序列化格式，按式（A.27）進行判

定。

10

T/CIXXX—2023

1支持RDF/XML和其他格式

???????={0.5只支持RDF/XML·········································(A.27)

0其他

式中：

mformat——其他序列化格式支持性。

A.9.2通過謂詞位置有外部詞匯的三元組的數(shù)量設置為知識圖譜中所有三元組的數(shù)量，來衡量使用外

部詞匯的標準，按式（A.28）進行判定。

|{(?,?,?)|(?,?,?)∈?∧?∈?????????}|

?(?)=?···········································(A.28)

?????????|{(?,?,?)∈?}|

式中：

mexterior（g）——外部詞匯使用的數(shù)量比例；

s——主語；

p——謂語；

o——賓語；

g——該知識圖譜實例。

A.9.3通過計算類和關系分別與其他數(shù)據(jù)源的類和關系至少有一個等價鏈接的比率，來度量模式級別

上的相互鏈接，按式（A.29）進行判定。

???

??????(?)=|{?∈??∪??|?(?,?,?)∈?:(?∈???∧(?∈?∧?∈??))}|/|??∪??|····(A.29)

式中：

mequal（g）——模式級別上的專有詞匯與外部詞匯的