修改車輛的計算機(jī)生成的模型的部件的計算機(jī)實施的方法

(19)國家知識產(chǎn)權(quán)局

(12)發(fā)明專利申請

(10)申請公布號CN114638056A

(43)申請公布日2022.06.17

(21)申請?zhí)?02111539639.3

(22)申請日2021.12.15

(30)優(yōu)先權(quán)數(shù)據(jù)

102020133654.32020.12.16DE

(71)申請人保時捷股份公司

地址德國斯圖加特

(72)發(fā)明人M?斯庫

(74)專利代理機(jī)構(gòu)北京匯知杰知識產(chǎn)權(quán)代理有

限公司11587

專利代理師李潔董江虹

(51)Int.CI.

G06F30/77(2020.01)

G06F30/75(2020.01)

G06F30/20(2020.01)

G06V20/40(2022.01)

權(quán)利要求書2頁說明書6頁附圖7頁

(54)發(fā)明名稱

修改車輛的計算機(jī)生成的模型的部件的計

算機(jī)實施的方法

(57)摘要

提供了一種用于修改機(jī)動車輛的計算機(jī)生

成的模型的部件的計算機(jī)實施的方法，包括:執(zhí)

行對計算機(jī)生成的模型的第一事故的第一計算

機(jī)生成的模擬，該計算機(jī)生成的模型包括多個部

件，第一計算機(jī)生成的模擬導(dǎo)致模型的至少一些

部件變形；根據(jù)計算機(jī)生成的模擬產(chǎn)生第一視

頻;將第一視頻的幀相互比較;根據(jù)該比較來計

算第一變形總和;修改部件中的至少一個部件；

執(zhí)行對具有至少一個經(jīng)過修改的部件的模型的

第二事故的第二計算機(jī)生成的模擬;根據(jù)第二計

算機(jī)生成的模擬產(chǎn)生第二視頻;將第二視頻的幀

v相互比較;根據(jù)第二視頻的幀的比較來計算第二

g變形總和：比較第一變形總和與第二變形總和：

§基于第一變形總和與第二變形總和的比較，將修

§改評估為積極的或消極的。

r-H

g

CN114638056A權(quán)利要求書1/2頁

1.一種用于修改機(jī)動車輛的計算機(jī)生成的模型(100)的部件的計算機(jī)實施的方法，其

中，該方法包括以下步驟：

-執(zhí)行對該計算機(jī)生成的模型(100)的第一事故的第一計算機(jī)生成的模擬(302)，其中，

該計算機(jī)生成的模型(100)包括多個部件，該第一計算機(jī)生成的模擬導(dǎo)致該模型的部件中

的至少一些部件變形；

-根據(jù)該計算機(jī)生成的模擬產(chǎn)生第一視頻，該第一視頻在視覺上表示該模型的第一模

擬事故；

-將該第一視頻的幀相互比較；

-根據(jù)該第一視頻的幀的比較來計算(303)第一變形總和，該第一變形總和是根據(jù)所述

部件在該第一模擬事故期間的變形來計算的；

-修改(301)所述部件中的至少一個部件；

-執(zhí)行對具有至少一個經(jīng)過修改的部件的模型的第二事故的第二計算機(jī)生成的模擬

(302),該第二計算機(jī)生成的模擬導(dǎo)致該模型的部件變形；

-根據(jù)該第二計算機(jī)生成的模擬產(chǎn)生第二視頻，該第二視頻在視覺上表示該模型的第

二模擬事故；

-將該第二視頻的幀相互比較；

-根據(jù)該第二視頻的幀的比較來計算(303)第二變形總和，該第二變形總和是根據(jù)所述

部件在該第二模擬事故期間的變形來計算的；

-將該第一變形總和與該第二變形總和進(jìn)行比較；

-基于該第一變形總和與該第二變形總和的比較，將該修改評估(304)為積極的或消極

的。

2.如權(quán)利要求1所述的方法，其特征在于，如果該修改被評估為積極的，則再修改具有

該至少一個經(jīng)過修改的部件的模型，并且如果該修改被評估為消極的，則具有該至少一個

經(jīng)過修改的部件的模型被拒絕，其中，在該再修改之后,執(zhí)行對該經(jīng)過再修改的模型的第三

事故的第三計算機(jī)生成的模擬、并且根據(jù)該第三計算機(jī)生成的模擬產(chǎn)生第三視頻，該第三

計算機(jī)生成的模擬導(dǎo)致該模型的部件變形，該第三視頻在視覺上表示該經(jīng)過再修改的模型

的第三模擬事故，其中，將該第三視頻的幀相互比較，其中，根據(jù)該第三視頻的幀的比較來

計算第三變形總和,該第三變形總和是根據(jù)所述部件在該第三模擬事故期間的變形來計算

的，并且其中，基于該第二變形總和與該第三變形總和的比較，將該再修改評估為積極的或

消極的。

3.如前述權(quán)利要求中任一項所述的方法，其特征在于，重復(fù)所述步驟，直到目標(biāo)變形總

和與所述變形總和之一之間的差低于閾值。

4.如前述兩項權(quán)利要求中任一項所述的方法，其特征在于，如果該第二變形總和小于

該第一變形總和，則經(jīng)過修改的模型被評估為積極的。

5.如前述權(quán)利要求之一所述的方法，其特征在于，該修改被獎勵函數(shù)(703)評估為積極

的或消極的，該獎勵函數(shù)(703)呈自學(xué)習(xí)形式，并且在對該修改進(jìn)行評估之前，該獎勵函數(shù)

(703)從用戶對該計算機(jī)生成的模型的更改、以及使用經(jīng)用戶更改的模型的事故模擬的表

現(xiàn)中進(jìn)行學(xué)習(xí)。

6.如前一權(quán)利要求所述的方法，其特征在于，該學(xué)習(xí)導(dǎo)致做出用戶更改的用戶(700)的

2

CN114638056A權(quán)利要求書2/2頁

行為被一般化，并且該學(xué)習(xí)導(dǎo)致所述用戶更改整體上被評估為與對該計算機(jī)生成的模型的

其他更改相比為更積極的。

7.如前述兩項權(quán)利要求中任一項所述的方法，其特征在于,該獎勵函數(shù)(703)是各種特

征的線性組合，所述特征具有不同的權(quán)重，并且在該學(xué)習(xí)期間適配該權(quán)重。

8.如前述權(quán)利要求之一所述的方法，其特征在于，根據(jù)未變形狀態(tài)下的所述部件的圖

片元素與變形狀態(tài)下的所述部件的對應(yīng)的圖片元素之間的距離來計算所述部件在各個模

擬事故期間的相應(yīng)的變形。

9.如前述權(quán)利要求之一所述的方法，其特征在于，所述變形總和、關(guān)于該修改的信息和

關(guān)于對該修改的評估的信息被存儲在中央數(shù)據(jù)存儲器(500)中，所述變形總和以及所述信

息用于修改其他計算機(jī)生成的模型。

10.如前一權(quán)利要求所述的方法，其特征在于，來自該數(shù)據(jù)存儲器(500)的針對對其他

計算機(jī)生成的模型進(jìn)行修改而獲得的數(shù)據(jù)被用于該修改。

3

CN114638056A說明書1/6頁

修改車輛的計算機(jī)生成的模型的部件的計算機(jī)實施的方法

技術(shù)領(lǐng)域

[0001]本發(fā)明涉及一種用于修改機(jī)動車輛的計算機(jī)生成的模型的部件的計算機(jī)實施的

方法。在本描述的上下文中，計算機(jī)實施的方法應(yīng)被理解為尤其是指該方法由計算機(jī)來執(zhí)

行。例如，計算機(jī)可以包括數(shù)字?jǐn)?shù)據(jù)存儲器和處理器。數(shù)字?jǐn)?shù)據(jù)存儲器可以存儲指令，這些

指令在由處理器執(zhí)行時使處理器執(zhí)行該計算機(jī)實施的方法。

背景技術(shù)

[0002]現(xiàn)有技術(shù)中使用機(jī)動車輛的計算機(jī)生成的模型來模擬事故對機(jī)動車輛不同部件

（例如，車身）的影響。產(chǎn)生模擬事故的視頻，并由用戶對該視頻進(jìn)行關(guān)于部件變形的分析。

[0003]W02008/052743A1披露了對計算機(jī)生成的零件模型執(zhí)行關(guān)于該零件的特定特性

的模擬并且借助于計算機(jī)實施的方法來改進(jìn)該特性的實踐。

發(fā)明內(nèi)容

[0004]相比之下，本發(fā)明的目的是在無需用戶交互的情況下對由計算機(jī)生成的事故模擬

產(chǎn)生的視頻進(jìn)行評價。

[0005]這一目的是通過緊接著的幾個段落中所述的方法來實現(xiàn)的。還說明了本發(fā)明的實

施例。

[0006]該方法用于修改機(jī)動車輛的計算機(jī)生成的模型的部件。例如，該模型可以是CAD模

型。計算機(jī)生成的模型尤其可能己經(jīng)由用戶與計算機(jī)的交互產(chǎn)生。在本描述的上下文中，術(shù)

語“計算機(jī)生成的”應(yīng)被理解為尤其是指模型僅能以數(shù)字?jǐn)?shù)據(jù)的形式而不是以真實零件的

形式來使用。

[0007]首先,執(zhí)行對計算機(jī)生成的模型的第一事故的第一計算機(jī)生成的模擬。計算機(jī)生

成的模型包括多個部件，其中一些部件在第一計算機(jī)生成的模擬期間變形。根據(jù)計算機(jī)生

成的模擬產(chǎn)生第一視頻，該第一視頻在視覺上表示模型的第一模擬事故。將該第一視頻的

幀相互比較。尤其可以僅將兩幀相互比較。如果模型的部件發(fā)生變形，則這兩幀尤其可以是

事故之前的一幀和事故之后的一幀。也可以將兩個以上的幀相互比較。

[0008]根據(jù)該第一視頻的幀的比較來計算第一變形總和。根據(jù)部件在第一模擬事故期間

的變形來計算該第一變形總和。可以使用全部或僅一些部件的變形來計算該第一變形總

和。

[0009]然后,修改部件中的至少一個部件。還可以對部件的多個實例進(jìn)行修改o該修改尤

其可以在沒有用戶交互的情況下完全自動地進(jìn)行。隨后，執(zhí)行對具有至少一個經(jīng)過修改的

部件的模型的第二事故的第二計算機(jī)生成的模擬。重要的是應(yīng)注意，在執(zhí)行該第二模擬之

前，部件并未變形。該第二模擬導(dǎo)致模型的部件變形。根據(jù)該第二模擬產(chǎn)生第二視頻，該第

二視頻在視覺上表示模型的第二模擬事故。將該第二視頻的幀相互比較。尤其可以僅將兩

幀相互比較。如果模型的部件發(fā)生變形，則這兩幀尤其可以是事故之前的一幀和事故之后

的一幀。也可以將兩個以上的幀相互比較。

4

CN114638056A說明書2/6頁

[0010]根據(jù)對該第二視頻的幀的比較來計算第二變形總和。根據(jù)部件在第二模擬事故期

間的變形來計算該第二變形總和。將該第二變形總和與該第一變形總和進(jìn)行比較。將該比

較作為對修改進(jìn)行積極或消極評估的基礎(chǔ)。

[0011]這允許在計算機(jī)生成的模型的事故特性方面對該模型進(jìn)行改進(jìn)。因為計算機(jī)生成

的模型和事故模擬兩者都非常真實，所以可以假設(shè)，被評估為積極的修改對計算機(jī)生成的

模型所對應(yīng)的真實機(jī)動車輛的事故行為也具有積極影響。

[0012]對修改進(jìn)行的積極或消極評估尤其可以呈機(jī)器學(xué)習(xí)的一部分的形式。在這種情況

下，所謂的代理做出這些修改。如果修改被評估為積極的，則這代表對代理的獎勵。代理嘗

試獲得盡可能多的獎勵,其結(jié)果是該代理獨立地學(xué)習(xí)，并且模型被反復(fù)修改得尤其好。

[0013]根據(jù)本發(fā)明的一個實施例，如果修改被評估為積極的，則具有該至少一個經(jīng)過修

改的部件的模型可以被再修改。在本描述的上下文中，應(yīng)理解,這尤其是指對部件中的一個

或多個部件進(jìn)行修改o例如，可以對已修改的部件進(jìn)行再修改，或者也可以對其他部件進(jìn)行

第一次修改。另一方面，如果修改被評估為消極的，則具有該至少一個經(jīng)過修改的部件的模

型可以被拒絕。

[0014]在再修改之后，執(zhí)行對經(jīng)過再修改的模型的第三事故的第三計算機(jī)生成的模擬，

并且根據(jù)該第三計算機(jī)生成的模擬產(chǎn)生第三視頻。

[0015]該第三計算機(jī)生成的模擬導(dǎo)致模型的部件變形。該第三視頻在視覺上表示經(jīng)過再

修改的模型的第三模擬事故。將該第三視頻的幀相互比較。根據(jù)對該第三視頻的幀的比較

來計算第三變形總和。根據(jù)部件在第三模擬事故期間的變形來計算該第三變形總和。根據(jù)

該第二變形總和與該第三變形總和的比較，將該再修改評估為積極的或消極的。以這種方

式,在計算機(jī)生成的模型在模擬事故期間的特性方面對該模型進(jìn)行進(jìn)一步優(yōu)化。

[0016]根據(jù)本發(fā)明的一個實施例，可以重復(fù)該方法的步驟，直到目標(biāo)變形總和與所述變

形總和之一之間的差低于閾值。例如，閾值可以成比例地取決于目標(biāo)變形總和。例如，閾值

可以與目標(biāo)變形總和相差5%o

[0017]在本實施例中，在計算機(jī)生成的模型在模擬事故期間的特性方面對該模型進(jìn)行改

進(jìn),直到至少已近似達(dá)到目標(biāo)變形總和。因為可以在不與用戶交互的情況下執(zhí)行該方法，所

以在至少近似達(dá)到目標(biāo)變形總和之前所需的時間不太重要。

[0018]根據(jù)本發(fā)明的一個實施例，如果該第二變形總和小于該第一變形總和，則該經(jīng)過

修改的模型可以被評估為積極的。如果該第三變形總和小于該第二變形總和，則該經(jīng)過再

修改的模型可以被評估為積極的。

[0019]根據(jù)本發(fā)明的一個實施例，可以通過獎勵函數(shù)將修改評估為積極的或消極的。獎

勵函數(shù)尤其可以適用于對所有修改的所有評估。獎勵函數(shù)可以呈自學(xué)習(xí)形式。在對修改進(jìn)

行評估之前，獎勵函數(shù)可以從用戶對計算機(jī)生成的模型的更改、以及使用經(jīng)用戶更改的模

型的事故模擬的表現(xiàn)中進(jìn)行學(xué)習(xí)。在本描述的上下文中，用戶更改應(yīng)被理解為尤其是指用

戶所導(dǎo)致的更改。在這種情況下，用戶自然可以使用計算機(jī)。例如，用戶可以是機(jī)動車輛開

發(fā)方面的專家，尤其是工程師。

[0020]在該實施例中，獎勵函數(shù)學(xué)習(xí)哪些用戶更改對模型在事故期間的行為具有積極影

響，以及哪些用戶改變對模型在事故期間的行為具有消極影響。特別地，獎勵函數(shù)可以從用

戶更改中學(xué)習(xí)用戶在追求什么樣的一個或多個目標(biāo)。因此，例如，特定部件對于模型在事故

5

CN114638056A說明書3/6頁

期間的穩(wěn)定性尤其重要,而其他部件在此方面則不那么重要。因此，自學(xué)習(xí)獎勵函數(shù)可以根

據(jù)用戶所追求的目標(biāo)而將修改評估為積極的或消極的。

[0021]如果該方法作為使用代理（其因為修改的積極評估而被獎勵）的機(jī)器學(xué)習(xí)來執(zhí)行,

則使用獎勵函數(shù)尤其有利。

[0022]根據(jù)本發(fā)明的一個實施例，學(xué)習(xí)可以導(dǎo)致做出用戶更改的用戶的行為被一般化。

在本描述的上下文中，這應(yīng)被理解尤其是指在做出有限數(shù)量的用戶更改后，根據(jù)用戶的行

為來內(nèi)推出一般方法，這意味著，基于該一般方法，比有限數(shù)量的用戶更改多得多的用戶更

改可以用于獎勵函數(shù)的學(xué)習(xí)。

[0023]此外，學(xué)習(xí)可以導(dǎo)致所述用戶更改整體上被評估為與對該計算機(jī)生成的模型的其

他更改相比為更積極的。然而，例如，其他更改可以被理解為是指不是用戶所做出的假設(shè)更

改。對更改的不同評估意味著獎勵函數(shù)尤其可以學(xué)習(xí)哪些修改應(yīng)被評估為積極的以及哪些

修改應(yīng)被評估為消極的，以便實現(xiàn)對模型在模擬事故期間的行為的盡可能好的改進(jìn)。為此

目的，在學(xué)習(xí)期間，尤其可以以使得用戶更改盡可能地得到積極評估的方式來適配獎勵函

數(shù)。其結(jié)果是，甚至是被認(rèn)為適合實現(xiàn)用戶的目標(biāo)的修改也被盡可能地積極評估。

[0024]根據(jù)本發(fā)明的一個實施例，獎勵函數(shù)可以是各種特征的線性組合。所述特征可能

具有不同的權(quán)重。可以在學(xué)習(xí)期間適配該權(quán)重。所述特征可以包括成本和/或安全系數(shù)，例

如,所述安全系數(shù)是取決于部件或模型在事故期間的行為的數(shù)值。

[0025]例如,可以根據(jù)以下公式來定義獎勵函數(shù)R：

[0026]R=w1?f1+w2?f2+-+wn*fn

[0027]此處，每個％表示在學(xué)習(xí)期間可以被更改的權(quán)重因子。每個力表示一個特征。

[0028]根據(jù)本發(fā)明的一個實施例，可以根據(jù)未變形狀態(tài)下的所述部件的圖片元素與變形

狀態(tài)下的所述部件的對應(yīng)的圖片元素之間的距離來計算所述部件在各個模擬事故期間的

相應(yīng)的變形。未變形狀態(tài)應(yīng)被理解為是指在相應(yīng)的模擬事故之前的狀態(tài)。對應(yīng)的圖片元素

可以是由處于未變形狀態(tài)下的圖片元素的位移而產(chǎn)生的圖片元素。然后，可以將所計算的

變形相加以計算相應(yīng)的變形總和。

[0029]根據(jù)本發(fā)明的一個實施例，關(guān)于修改的信息和關(guān)于對修改的評估的信息可以存儲

在中央數(shù)據(jù)存儲器中。例如，中央數(shù)據(jù)存儲器可以被布置為遠(yuǎn)離執(zhí)行計算機(jī)實施的方法的

計算機(jī)。例如，該中央數(shù)據(jù)存儲器可以是云數(shù)據(jù)存儲器。所述變形總和與所述信息可以用于

修改其他計算機(jī)生成的模型。其他計算機(jī)生成的模型可以在一個或多個部件上不同于該計

算機(jī)生成的模型。

[0030]因此，也可以考慮已被評估的修改以修改另外的模型，其結(jié)果是，與不考慮已被評

估的修改相比，有時可以更快地找到可以得出更好評估的修改。

[0031]根據(jù)本發(fā)明的一個實施例，來自該數(shù)據(jù)存儲器的針對對其他計算機(jī)生成的模型進(jìn)

行修改而獲得的數(shù)據(jù)可以被用于該修改。其他計算機(jī)生成的模型可以在一個或多個部件上

不同于該計算機(jī)生成的模型。因此，有時可以更快地找到更好的修改。

附圖說明

[0032]本發(fā)明的進(jìn)一步的特征和優(yōu)點將從以下參照附圖對優(yōu)選示例性實施例的描述中

變得清楚，其中，相同的附圖標(biāo)記用于相同或相似的特征以及具有相同或相似的功能的特

6

CN114638056A說明書4/6頁

征，并且在附圖中，

[0033]圖1示出了機(jī)動車輛的計算機(jī)生成的模型的細(xì)節(jié)的示意性截面視圖；

[0034]圖2示出了模擬事故之后的圖1的細(xì)節(jié)的示意性截面視圖；

[0035]圖3示出了根據(jù)本發(fā)明實施例的方法的一部分的示意圖；

[0036]圖4示出了根據(jù)本發(fā)明實施例的迭代執(zhí)行的方法的示意性表示；

[0037]圖5示出了與中央數(shù)據(jù)存儲器一起使用的圖3的方法的示意性表示；

[0038]圖6示出了用于使用多個代理來改進(jìn)模型的方法的示意性表示；

[0039]圖7示出了用于改進(jìn)獎勵函數(shù)的方法的示意性表示；以及

[0040]圖8示出了說明對用戶策略的一般化的示意圖。

具體實施方式

[0041]圖1所示的模型100包括與機(jī)動車輛的真實零件相對應(yīng)的多個部件。部件在事故模

擬之后變形。該狀態(tài)在圖2中示出。根據(jù)模擬產(chǎn)生視頻。例如，圖1可以示出在事故之前該視

頻的幀的細(xì)節(jié)。例如，圖2可以示出在事故之后該視頻的幀的細(xì)節(jié)。

[0042]將圖1的細(xì)節(jié)與圖2的細(xì)節(jié)進(jìn)行比較使得能夠確定部件的變形。例如，所述變形可

以通過圖片元素的位移來指示。因此，可以通過測量圖片元素的位移來計算變形的程度。例

如，這可以以毫米為單位來實現(xiàn)。可以將各個位移相加以產(chǎn)生變形總和。變形總和越大，部

件變形就越嚴(yán)重。

[0043]因此，例如，可以將兩個變形總和相互比較。例如，如果修改了模型的一個或多個

部件并且隨后模擬了第二事故，則可以將未經(jīng)修改和經(jīng)過修改的模型的變形總和相互比

較。然后，如果經(jīng)過修改的模型的變形總和小于未經(jīng)修改模型的變形總和，則修改可以被評

估為積極的。

[0044]圖3示出了代理300、修改301、模擬302、變形總和計算303和評估304。該圖示出了

基于強(qiáng)化學(xué)習(xí)的方法的操作。在本發(fā)明的一個實施例中，代理300選擇對計算機(jī)生成的模型

100的部件的修改301。修改301也可以被稱為代理300的動作。代理300在這樣做時遵循某一

策略。修改301影響模擬302。模擬302也可以被稱為受代理300的動作影響的環(huán)境。

[0045]計算303使得部件的變形得到計算。變形是通過比較事故之前的幀和事故之后的

幀來計算的。將所述變形相加以產(chǎn)生變形總和。

[0046]對修改301的評估304是基于變形總和來實現(xiàn)的。總和越大，則評估越差。特別地，

對修改301的評估304可以以將所計算的變形總和與修改301之前所計算的變形總和進(jìn)行比

較的方式來實現(xiàn)。如果修改301之后所計算的變形總和大于所述修改之前所計算的變形總

和，則修改301被評估為消極的。如果修改之后所計算的變形總和較小，則修改301被評估為

積極的。評估304也可以被稱為對代理300的獎勵。

[0047]代理300的策略與評估304進(jìn)行匹配。例如，如果修改301被評估為消極的，則這會

影響代理300的策略，其結(jié)果是類似方式的再修改的可能性變小。此外，修改301被拒絕，因

為未經(jīng)修改301的模型100具有更好的事故特性。然后，將未經(jīng)修改301的模型100作為進(jìn)一

步修改的基礎(chǔ)。

[0048]如果修改301被評估為積極的，則選擇經(jīng)過修改301的模型作為再修改的基礎(chǔ)，因

為該修改改善了模型的事故行為。該積極評估也影響代理300的策略，其結(jié)果是類似方式的

7

CN114638056A說明書5/6頁

再修改的可能性變大。

[0049]代理300被編程為獲得盡可能多的積極評估。代理300針對不同的修改獲得的評估

越多，其策略就適配得越好，以便選擇對模型100的事故行為有積極影響的盡可能好的修

改。

[0050]評估304尤其可以使用獎勵函數(shù)來實現(xiàn)。獎勵函數(shù)可以包括加權(quán)特征。例如，所述

特征可以包括根據(jù)經(jīng)過修改的模型來生產(chǎn)機(jī)動車輛的成本以及目標(biāo)變形總和與所計算的

變形總和之間的差距。例如，目標(biāo)變形總和可以是期望的低變形總和。權(quán)重可以規(guī)定應(yīng)如何

對代理300的動作進(jìn)行評估。例如，如果成本的權(quán)重尤其高，則導(dǎo)致成本提高且對變形總和

僅有較小的積極影響的修改往往更可能被評估為消極的。然而，如果目標(biāo)變形總和與所計

算的變形總和之間的差距的權(quán)重尤其高，則雖然導(dǎo)致成本提高但是對事故行為有顯著積極

影響的修改更可能被評估為積極的。因為代理300將其策略與評估進(jìn)行匹配，所以代理300

的策略也間接地受到影響。

[0051]如果計算303導(dǎo)致所計算的變形總和低于閾值，則可以終止該方法。例如，閾值可

以是以毫米為單位表示的值。

[0052]因此，圖3所示的方法是反復(fù)執(zhí)行的迭代方法，直到其因為變形總和被視為足夠低

而終止。為了實現(xiàn)該目標(biāo)，可以在規(guī)劃該方法期間使用動態(tài)編程、策略迭代方法和/或值迭

代方法。無模型控制可以包括使用蒙特卡羅算法、時序差分學(xué)習(xí)、Sarsa、Q學(xué)習(xí)和/或雙Q學(xué)

習(xí)。還可以通過使用以下類型的算法之一以基于模型的方式執(zhí)行該方法:Dyna-Q、蒙特卡羅

樹搜索、時序差分搜索。此外，可以使用基于模型的強(qiáng)化學(xué)習(xí)方法,例如查表模型、線性期望

模型、線性高斯模型、高斯過程模型和/或深度信念網(wǎng)絡(luò)模型。

[0053]圖4中的方法首先涉及模擬計算機(jī)生成的模型的事故以及計算第一變形總和。然

后，對模型的一個或多個部件進(jìn)行第一修改301。例如，使得特定參數(shù)增加、減少或保持不

變。然后，針對所有三個第一修改301中的每一個，計算第二變形總和并將其與第一變形總

和進(jìn)行比較。在步驟400中，第一修改301之一被評估為積極的，因為其第二變形總和低于第

一變形總和。在步驟401中，第一修改301之一被評估為中性的，因為其第二變形總和與第一

變形總和相似或相等。在步驟402中，第一修改301之一被評估為消極的，因為其第二變形總

和大于第一變形總和。將被評估為積極的修改301用作第二修改301的基礎(chǔ)。因此，將被評估

為積極的修改301視為進(jìn)行第二修改301所針對的模型的一部分。

[0054]以類似于對第一修改301的結(jié)果進(jìn)行評估的方式對第二修改301的結(jié)果進(jìn)行評估。

在第三修改403之后，第三修改403之一在步驟404中被評估為積極的。此外，經(jīng)過該第三修

改403,變形總和滿足與目標(biāo)變形總和的差小于閾值（例如,5%）的條件。這使得該方法被成

功終止，并且經(jīng)過第三修改403（其在步驟404中被評估為積極的）的模型被視為具有根據(jù)該

方法的目標(biāo)而改進(jìn)的事故行為的模型。例如，然后可以該模型將作為制造機(jī)動車輛的基礎(chǔ)。

[0055]圖5所示的方法大致基于圖3的方法。然而，添加了中央數(shù)據(jù)存儲器500,代理300使

用該中央數(shù)據(jù)存儲器來存儲關(guān)于所做的修改301、獲得的評估304及代理的策略的信息。然

后，其他代理可以使用該信息來對其他計算機(jī)生成的模型執(zhí)行類似的方法,其結(jié)果是在其

他代理處有時更快地實現(xiàn)更好的結(jié)果。

[0056]此外，其他代理也可以存儲關(guān)于所做的修改、獲得的評估及所述其他代理的策略

的信息，其結(jié)果是代理300可以訪問該信息并且可以更好地適配其修改和/或其策略。

8

CN114638056A說明書6/6頁

[0057]圖6示出了多個代理300、600和601,所有這些代理（如參考圖5所述）都將信息存儲

在中央數(shù)據(jù)存儲器500中，并且從中央數(shù)據(jù)存儲器500取得其他代理的信息。代理300、600和

601都修改同一個計算機(jī)生成的模型100。這導(dǎo)致代理300、600和601有時選擇不同的修改和

策略。基于經(jīng)由中央數(shù)據(jù)存儲器500交換的信息，代理300、600和601可以各自受益于其他代

理的信息并且可以改進(jìn)其修改和策略，以便獲得更多積極評估。特別地，該方法允許至少部

分地彌補(bǔ)各個代理300、600和601可能具有的任何缺點。

[0058]圖7所示的方法改進(jìn)了用于對變形總和進(jìn)行評估304的獎勵函數(shù)702。獎勵函數(shù)702

觀察做出修改701的用戶700的行為，所述修改的變形總和已被評估，如上文參考圖3和圖4

所描述的。獎勵函數(shù)702包括特征和所述特征的權(quán)重。適配特征的權(quán)重，以便對用戶700的策

略獲得盡可能多的積極評估。該適配的結(jié)果是改進(jìn)的獎勵函數(shù)703。

[0059]圖8示出了可以如何一般化用戶700的行為。用戶做出產(chǎn)生具有不同的變形總和的

模型800的修改。Y軸是變形總和的度量。變形總和越小，模型800在Y軸上標(biāo)記得越高。

[0060]使用模型800來產(chǎn)生一般化模型801,該一般化模型也可以通過遵循用戶700的策

略來實現(xiàn)。然而，因為用戶700不能做出無限多次的修改，所以這些模型僅僅是用戶700的假

設(shè)模型801,而該用戶實際上從未產(chǎn)生這些模型。

[0061]然后，使用模型800和801來產(chǎn)生模型的一般化曲線802,其上存在有對應(yīng)于用戶

700的策略的所有或至少大多數(shù)模型。然后，可以適配獎勵函數(shù)702以使得這些模型被盡可

能地評估為積極的。

[0062]在對參數(shù)進(jìn)行適當(dāng)?shù)倪m配的情況下，該計算機(jī)實施的方法自然還可以執(zhí)行關(guān)于對

車輛冷卻系統(tǒng)的