劇本殺是一種廣受歡迎的多角色扮演偵探游戲，要求玩家扮演不同的角色。通過(guò)閱讀角色文本、理解各自的故事、搜集線索、以及邏輯推理，玩家們共同努力揭開(kāi)謎團(tuán)。游戲角色通常被分為平民和兇手兩大類：平民的目標(biāo)是找出隱藏在他們中間的兇手，而兇手則盡力隱藏自己的身份，避免被發(fā)現(xiàn)。那么，如果讓 AI 加入游戲，會(huì)產(chǎn)生怎樣的新變化呢？

劇本殺游戲流程。

加拿大蒙特利爾大學(xué)和 Mila 研究所的研究團(tuán)隊(duì)帶來(lái)了一項(xiàng)令人興奮的新研究，將 AI 的潛力引入到劇本殺游戲中。這項(xiàng)研究不僅展現(xiàn)了大型語(yǔ)言模型（LLM）在復(fù)雜敘事環(huán)境中的應(yīng)用潛力，而且為 AI 智能體的推理能力評(píng)估設(shè)定了新的試驗(yàn)場(chǎng)。讓我們一起深入了解這項(xiàng)研究的細(xì)節(jié)和其帶來(lái)的啟發(fā)。

研究動(dòng)機(jī)：AI 與劇本殺的交匯

AI 的進(jìn)步已經(jīng)使其被廣泛應(yīng)用于各種游戲中。然而，劇本殺游戲以其獨(dú)特的玩法和復(fù)雜的設(shè)置，仍是一塊待開(kāi)發(fā)的新領(lǐng)域。為了將 AI 引入劇本殺游戲中，蒙特利爾大學(xué)的研究團(tuán)隊(duì)面臨三個(gè)主要挑戰(zhàn)：

首先，劇本殺游戲中復(fù)雜的角色情節(jié)和人物關(guān)系要求 AI 不僅要理解所扮演的游戲角色的背景和動(dòng)機(jī)，還要能夠適應(yīng)游戲劇情的多層次敘事，通過(guò)在游戲中和其他角色互動(dòng)來(lái)收集其他角色的信息、還原案件原貌。

其次，由于缺乏專門(mén)為劇本殺設(shè)計(jì)的數(shù)據(jù)集，需要開(kāi)發(fā)一個(gè)包含豐富文本的劇本殺數(shù)據(jù)集，這對(duì)于啟動(dòng)和評(píng)估 AI 模型至關(guān)重要。

最后，如何準(zhǔn)確定量和定性地評(píng)估 AI 在劇本殺游戲中的表現(xiàn)也是極具挑戰(zhàn)性的任務(wù)。因?yàn)樵趧”練⒂螒蛑校繕?biāo)不僅是贏得比賽，更重要的是理解游戲劇情并揭露案件的真相。為此，AI 需要在參與游戲的過(guò)程中展示出卓越的溝通交流、信息收集以及邏輯推理能力。

這項(xiàng)研究的貢獻(xiàn)主要涵蓋四個(gè)方面：

首先，團(tuán)隊(duì)構(gòu)建了一個(gè)專門(mén)針對(duì)劇本殺游戲的數(shù)據(jù)集，旨在啟動(dòng)和評(píng)估 AI 模型；

其次，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)多智能體互動(dòng)框架，允許劇本殺游戲自動(dòng)進(jìn)行，從而無(wú)需人為干預(yù)；

再者，團(tuán)隊(duì)開(kāi)發(fā)了一套量化和質(zhì)化評(píng)估方法，以評(píng)估 LLM 智能體在游戲中的信息搜集和推理能力；

最后，通過(guò)利用最新的上下文學(xué)習(xí)技術(shù)，團(tuán)隊(duì)設(shè)計(jì)了增強(qiáng) LLM 智能體性能的模塊。

此項(xiàng)研究不僅推動(dòng)了 AI 在多角色互動(dòng)的復(fù)雜敘事游戲：劇本殺中的應(yīng)用研究，也為智能體的評(píng)估和性能優(yōu)化提供了新的視角和方法。

數(shù)據(jù)集構(gòu)建：劇本殺游戲的數(shù)字化轉(zhuǎn)型

為了在劇本殺的環(huán)境下啟動(dòng)和評(píng)估 AI 模型，研究團(tuán)隊(duì)精心收集了 1115 個(gè)劇本殺游戲案例，創(chuàng)建了一個(gè)龐大的數(shù)據(jù)庫(kù)。這些游戲包含了豐富的關(guān)于劇本殺游戲的游戲規(guī)則、劇情故事、角色背景、案件線索等文本信息，為 AI 的仿真和測(cè)試提供了理想的素材，使得研究人員能夠在模擬的環(huán)境中準(zhǔn)確觀察和評(píng)估 AI 智能體的表現(xiàn)。此外，數(shù)據(jù)集還提供了圖片、視頻、音頻等多模態(tài)的信息，為未來(lái)多模態(tài)的 AI 智能體的開(kāi)發(fā)和測(cè)試提供了可能。

表 1. 劇本殺數(shù)據(jù)集中不同模態(tài)的游戲劇本數(shù)量

表 2：劇本殺數(shù)據(jù)集中游戲劇本的玩家數(shù)量和token統(tǒng)計(jì)。

ThinkThrice 框架：AI 如何玩轉(zhuǎn)劇本殺

研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)名為 ThinkThrice (三思) 的多智能體互動(dòng)框架，允許基于 LLM 的 AI 智能體自主參與劇本殺游戲。這個(gè)框架通過(guò)記憶檢索、自我完善和自我驗(yàn)證三個(gè)使用上下文學(xué)習(xí)技術(shù)的 模塊確保 AI 智能體能夠有效地理解游戲情景，收集信息，并進(jìn)行邏輯推理。AI 智能體的每一步動(dòng)作，包括詢問(wèn)、回應(yīng)、投票等，都是基于其角色劇本和以往的交互記錄由 LLM 自動(dòng)產(chǎn)生的。

ThinkThrice (三思) 框架。

評(píng)估方法：新的評(píng)價(jià)標(biāo)準(zhǔn)

研究者設(shè)計(jì)了事實(shí)性問(wèn)題回答和推理性問(wèn)題回答兩項(xiàng)任務(wù)來(lái)評(píng)估 AI 智能體的表現(xiàn)。事實(shí)性問(wèn)題旨在測(cè)試 AI 智能體在游戲過(guò)程中收集的信息量，而推理性問(wèn)題則評(píng)估 AI 使用這些信息進(jìn)行推理的能力。其中推理性問(wèn)題不僅需要考察 AI 智能體對(duì)特定問(wèn)題的答案，還要評(píng)估其背后的推理過(guò)程是否合理。

表 3：事實(shí)性問(wèn)題示例。

表 4：推理性問(wèn)題示例。

實(shí)驗(yàn)結(jié)果：AI 智能體的偵探能力評(píng)估

實(shí)驗(yàn)結(jié)果表明，與基線模型相比，引入記憶檢索、自我完善和自我驗(yàn)證模塊的 AI 智能體在回答關(guān)于其他角色的事實(shí)性問(wèn)題時(shí)，準(zhǔn)確率得到了顯著提升。這證明了信息交流在理解游戲中其他角色的行為和動(dòng)機(jī)方面至關(guān)重要。此外，AI 智能體信息收集能力的增強(qiáng)，也顯著提高了其在推理解案和識(shí)別兇手方面的表現(xiàn)。這表明 AI 智能體通過(guò)收集充足的信息和進(jìn)行有效的推理，能夠更準(zhǔn)確地確定兇手身份。

表 5：AI 智能體回答關(guān)于自己扮演角色的事實(shí)性問(wèn)題 (Own Q) 和其他角色的事實(shí)性問(wèn)題 (Other’s Q) 的準(zhǔn)確率。

AI 智能體使用 GPT-3.5 和 GPT-4 時(shí)的推理準(zhǔn)確率。

AI 智能體的兇手識(shí)別準(zhǔn)確率和平民玩家勝率。

結(jié)語(yǔ)

該研究通過(guò)將大型語(yǔ)言模型（LLM）智能體引入偵探角色扮演游戲 “劇本殺”，探索了 LLM 智能體在復(fù)雜敘事環(huán)境中的應(yīng)用潛力，為觀察和評(píng)估 LLM 智能體的行為及能力提供了新的視角和方法，并為社區(qū)深入理解大型語(yǔ)言模型的能力開(kāi)辟了新途徑。通過(guò)實(shí)證研究，該團(tuán)隊(duì)證明了其設(shè)計(jì)的多智能體互動(dòng)框架和上下文學(xué)習(xí)模塊在信息收集、兇手識(shí)別和邏輯推理能力方面，相較于基線模型有了顯著提升。這一發(fā)現(xiàn)預(yù)示著 LLM 在復(fù)雜推理任務(wù)中應(yīng)用的廣闊前景。預(yù)計(jì)在不遠(yuǎn)的將來(lái)，AI 將能夠與人類攜手解決復(fù)雜場(chǎng)景的推理問(wèn)題。