在科學研究中，理論模擬是一個至關重要的環(huán)節(jié)，尤其是在材料科學、化學和物理等領域。傳統(tǒng)的模擬研究流程通常包括編寫模擬程序、上傳到遠程服務器執(zhí)行、數據分析和報告生成等步驟。這些步驟在確定研究計劃后往往是標準化的，但通常需要研究人員手動操作，耗時且繁瑣。隨著人工智能（AI）技術的快速發(fā)展，特別是大型語言模型（LLMs，如ChatGPT）的崛起，利用AI實現科學研究自動化、簡化工作流程并提高科研效率的設想逐漸成為可能。然而，如何實現從實驗設計到報告生成的全流程自動化，仍然是一個亟待解決的重大挑戰(zhàn)。
針對這一挑戰(zhàn)，復旦大學李劍鋒課題組首次提出了一種基于LLM提示詞工程設計的自動模擬助手（ASA），能夠根據研究計劃（RP）自動完成從編寫程序、遠程執(zhí)行到數據分析和報告撰寫的全流程模擬研究。這一工作標志著理論模擬科研全流程自動化的首次實現，為未來的科學研究自動化提供了新的思路。ASA的核心亮點在于，它能根據簡短的描述自動設計詳細的RP并執(zhí)行。例如，研究人員要求ASA選擇兩種機器學習方法預測材料性能，ASA自動建立了神經網絡和隨機森林模型并進行了訓練，驗證集R-squared值分別達到0.9589和0.9236，且生成了高質量報告比較兩種方法的特點。此外，ASA-GPT-4o和ASA-Claude-3.5展現了出乎意料的智能表現，如主動整理文件、分析理論與模擬偏差、用豐富圖表呈現數據等，展示了ASA的自主性。
未來，科研自動化是重要方向，ASA的成功應用展示了AI在這一領域的巨大潛力。該研究以“Toward Automated Simulation Research Workflow through LLM Prompt Engineering Design”為題發(fā)表于《Journal of Chemical Information and Modeling》。本文的第一作者為復旦大學高分子科學系2021級博士研究生劉之菡，通訊作者為復旦大學高分子科學系李劍鋒教授。該研究得到國家自然科學基金等項目的支持。
1. 全流程自動化的實現
圖2. (A) AI自動化流程示意圖。研究人員提供研究計劃（RP）給自動模擬助手ASA。ASA生成模擬程序，上傳至遠程服務器，執(zhí)行模擬計算并收集數據，最終撰寫報告。(B) ASA與LLM對話流程圖。研究人員僅在開始時輸入RP，隨后ASA根據RP和與LLM的對話歷史采取行動，實現全流程自動化。
2. 不同LLM驅動的ASA在標準問題上的可靠度測試
研究人員制定了多項評估標準（如模擬、作圖、標度關系等），以測試ASA在無人干預下能否正確執(zhí)行任務，并比較了不同LLM（如GPT-4o、GPT-4-Turbo、Claude-3.5等）驅動的ASA表現。其中，ASA-GPT-4o、ASA-GPT-4-Turbo、ASA-Claude-3.5和ASA-Gemini-1.5-Pro表現較好。ASA-GPT-4o和ASA-Claude-3.5在生成詳細報告（超1000字）和精確引用文獻方面表現突出。此外，它們展現了出乎意料的智能行為，比如它們會在RP沒有要求的情況下，自動將生成的同類型文件歸到一個文件夾中；ASA-Claude-3.5會在報告中主動引用經過理論推導和實驗驗證的準確自回避行走標度關系，并附帶模擬結果偏差的簡要分析；此外，ASA-GPT-4o 會以更豐富的圖表呈現實驗數據，例如端到端距離的頻率分布圖和基于網頁的交互式圖表。這些結果展示了ASA在處理復雜任務時的自主性。這些結果展示了ASA處理復雜任務的自主性。
圖4. 搭載不同LLM的ASA對RP 1-3的完成度統(tǒng)計。(A) 測試的LLM模型表。(B) 各ASA在20次實驗中滿足評估標準的次數統(tǒng)計。每個RP設定了七個標準，統(tǒng)計了達標次數（部分零結果未顯示）。(C) 使用EWM和TOPSIS方法計算各ASA在RP 1-3中的相對得分。(D) ASA-GPT-4o為RP 1生成的Word報告示例，包括四個章節(jié)、鏈構象圖和標度關系擬合圖。
圖5. 引力模擬標準問題。(A) RP S1要求模擬引力公式修改后的行星軌跡，RP S2要求模擬太陽系行星及小行星軌跡，并評估小行星撞擊地球的風險。(B1) ASA-GPT-4o生成的RP S1軌跡圖。(B2) 模擬地球軌道與實際軌道對比，兩者完全重合，證明ASA編寫的引力模擬程序正確。(C) ASA-GPT-4o生成的RP S2中地球、火星和小行星的軌跡投影圖（左）及地球與小行星距離曲線（右）。
圖6. (A) 管理者AI的回復示例。管理者AI將RP分解為子任務，生成以“<<< prompt”開頭、“end >>>”結尾的子RP，并傳遞給執(zhí)行者AI執(zhí)行。(B) 錯誤和不完整的子RP示例。黑框標出缺少必要信息（如服務器用戶名和密碼），紅框標出無關信息。(C) RP 4內容。命令“python AI4SCI_VE13.py -s p1.txt -n i”生成次級AI執(zhí)行RP 1任務，其中AI4SCI_VE13.py是ASA自動程序，p1.txt為RP 1文本文件，i表示第i次執(zhí)行。
圖7. 提高自動化模擬研究流程可靠度的策略。通過與LLM迭代對話并遵循特定設計邏輯，自動化流程的成功率和效率顯著提高。左右兩圖分別展示了未實施和實施策略的場景對比。
3. 自主設計研究計劃
圖9. Brief-RP ASA根據AI RP設計的流程自動執(zhí)行得到的結果報告。報告包含豐富和文字和圖表信息，提到使用神經網絡和隨機森林兩種方法進行了訓練和預測，準確率R-squared值分別達到0.9589和0.9236。此外報告中還對隨機森林模型進行了特征重要性分析，并強調了其在可解釋性方面的優(yōu)勢。
除上述例子外，Brief-RP ASA還可廣泛應用于其他研究問題，如文中給出的自然災害頻率對草地生態(tài)系統(tǒng)的影響，以及幾何受限下的聚合物鏈構象問題例子。盡管其在新問題上的結果可靠性需進一步驗證，但隨著LLM能力的提升，Brief-RP ASA的潛力無限。
這項研究的亮點總結如下：
2. 智能表現突出：ASA在實驗中展現了超出RP要求的自主性，如主動整理文件、分析模擬偏差、用豐富圖表（如概率分布圖和交互式圖表）呈現數據等，體現了ASA的強大智能。
3. 自主設計研究計劃：ASA能根據簡短描述自動生成詳細AI RP并執(zhí)行。例如，它成功設計了基于機器學習的聚合物粘度預測模型、草地生態(tài)系統(tǒng)模擬及受限聚合物鏈構象研究等跨領域任務，并根據能夠成功執(zhí)行設計流程，生成豐富的數據和詳細的圖文報告。
4. 推動科研自動化發(fā)展：本工作的意義在于，科研領域的未來方向之一是自動化整合。ASA的成功應用展示了AI在科研中的巨大潛力，能夠實現從實驗設計到報告生成的全流程自動化，提供高效、可靠的解決方案。未來，通過優(yōu)化AI算法、提升任務準確性和擴展應用領域，科研自動化將迎來更廣闊的發(fā)展空間，顯著提高效率，并為探索復雜科學問題提供新工具，推動科研邁向智能化、自動化的新階段。
原文鏈接：https://doi.org/10.1021/acs.jcim.4c01653
