用 BioMysteryBench 評估 Claude 的生物資訊研究能力

AI Research · 2026-04-29

原文連結： Anthropic - Evaluating Claude’s Bioinformatics Research Capabilities with BioMysteryBench

摘要

• Anthropic 用 BioMysteryBench 來測 Claude 的生物資訊研究能力，重點不是一般知識問答，而是要看模型能不能處理真實、雜訊很高的資料。
• 這份 benchmark 設計了 99 題，題目來自 DNA / RNA 定序、蛋白質體學與代謝體學等場景，答案都建立在可驗證的 ground truth 上。
• 結果顯示，Claude 在 76 題人類可解題上已經很穩定；在 23 題人類難解題上，最新模型甚至能超越由 5 位領域專家組成的面板。
• Claude 不只會「背答案」，還會在不確定時同時嘗試多條路徑，最後選擇多種方法收斂到同一結論的答案。
• 這篇文章真正的訊號是：AI for science 的競爭重心，正在從「誰會答題」變成「誰能做出可重複、可驗證的研究流程」。

· · ·

科學很難，評估科學更難

這篇文章由 discovery team 的研究員 Brianna 撰寫，整理了一次生物資訊 benchmark 的結果。大型語言模型剛開始能聊天時，人們就已經在問：它們和人類專家比起來會怎樣？能不能通過律師考試？回答醫師執照題？解奧林匹亞數學題？這類 benchmark ——也就是一組經人類審核、用來測試模型能力的題目——如今已經成了 AI 公司之間的競技場，成績被寫進 system card，也被各種線上排行榜追蹤。

但 benchmark 的價值不只是比高分。它真正想回答的，是模型是否已經夠可靠，足以支援、甚至直接產出專業工作。科學家已經開始用模型寫分析管線、提出假說、從資料推論結論，長期目標是加速創新與發現。問題是：AI 在科學領域現在到底有多強？Claude 和其他模型又在以多快的速度進步？

為了回答這個問題，研究社群已經做出不少 benchmark。MMLU-Pro 測專家級知識與推理；GPQA 測生物、物理、化學的研究所級「Google 也答不出來」題目；LAB-Bench 則測生物領域的知識工作——讀文獻、看圖、推理 protocol。雖然這些 benchmark 最初是「聊天機器人時代」的產物，但它們一路活到 agent 與 tool-use 時代，還多了 FrontierScience 與 Humanity’s Last Exam 這類更難的科學推理評測，因為知識與推理依然是科學能力的核心指標。

但現實世界的科學任務常常不只這樣。它們需要讀論文、查資料庫、跑實驗、寫程式分析。既然模型現在已經能做這些事，benchmark 也開始向這些工作流演化。BLADE 會給模型一份資料集和一個開放式任務，檢查它是否像人類科學家一樣分析；BixBench 用生物資料集，評分重點是模型結論是否和科學家一致；SciGym 則把模型丟進模擬生物實驗室，讓它設計並執行自己的實驗來找出隱藏機制。

這些 benchmark 雖然更接近科學能力的真實樣貌，但還是沒能完整測到：模型是否能替那些混亂、開放、沒有標準答案的研究問題找出有創意的解法。於是 Anthropic 做了 BioMysteryBench，一個讓 Claude 分析真實世界資料集的生物資訊 benchmark，同時盡量處理複雜且含雜訊的生物系統在評估上會遇到的困難。他們的結論是：Claude 的生物科學能力在不同世代間進步很快；目前的模型已經和人類專家站在同一水平；而最新一代甚至能解出一批人類專家面板解不出的題目，且經常走出和人類完全不同的路。

1. 生物學裡，有很多不同的「正確」做法

如果研究題目只有唯一解，PhD 學生幾個月就能畢業，企業 R&D 也不會存在，科學展海報更不需要寫 Methods。科學家怎麼做一個問題，取決於背景、手上的資源，以及研究口味。

舉個看似單純、卻讓代謝研究者困惑多年的問題：為什麼有些第二型糖尿病患者對 metformin 反應好，有些卻沒反應？要回答這題，可以對反應者與非反應者做 GWAS，找可能的遺傳變異；也可以分析兩組人的腸道菌相，因為 metformin 有一部分是由腸道細菌代謝。這兩條路都合理，最後怎麼走，往往只是看專業與資源。

BixBench 會直接評估模型的結論，而不是它走到結論的路徑。這個做法很聰明，但也有代價：那些結論畢竟是某一位科學家在一連串主觀選擇下做出來的，路徑本身可能就影響了答案。

2. 單一研究決策高度主觀，雜訊資料集很容易導出不同結論

即使在同一個研究方向裡，不同決策也可能高度主觀：一位科學家可能覺得某個方法很好，另一位卻有很多意見。任何被 peer review 搞到很煩的作者，大概都懂這種感覺。更麻煩的是，生物資料集通常很吵，研究決策只要細節不同，最後就可能導出完全不同的結論。

以追蹤 metformin 反應預測因子的十年長征為例，研究設計只要有些微差異，結論就會天差地遠。2011 年有篇論文報告某個變異可以預測 metformin 反應，而且在兩個 cohort 中都重現了，機制看起來也合理，牽涉 AMPK activation。隔年，Diabetes Prevention Program 在 pre-diabetic 人群裡測同一個變異，卻什麼也沒找到。後來 2012 年的一篇 meta-analysis 沒有自己重做實驗，而是把 5 個 cohort 合併起來，最後又認為 2011 那篇的效果是真的，只是比原報告更弱。

SciGym 處理這類模糊性的方法很巧：它直接選擇那些答案明確的任務。因為底層生物網路是模擬器，所以 ground truth 真的存在，雜訊也被控制住，不像真實生物系統那麼亂。不過，模擬實驗室的表現到底能不能對應到真實資料上的表現，還不太確定。

3. 還有很多生物問題，人類現在解不出來

模型最可能產生最大影響的任務，是那些人類自己還沒解開的問題。而這正是我們最想拿來評估模型的任務。比如 metformin 的作用機制到底是什麼？它問世 30 年後，學界仍然無法確定主要標的。若能找出它，或找出一個更便宜、更穩定的同類分子，影響會非常大。

機器學習早就開始處理人類不擅長的問題，像序列預測和蛋白質建模，方式是依賴實驗資料，而不是只靠專家直覺。ProteinGym 會用 Deep Mutational Scanning 的結果來評分模型對突變適應性的預測；長期運作的 CASP 競賽則拿未公開的晶體結構來評估蛋白質折疊。這些都建立在實驗量測上，沒有任何專家會覺得自己可以靠直覺重現。但它們都只涵蓋狹窄的任務，還遠遠不夠描述我們真正想測的生物資訊工作。

用 BioMysteryBench 驗證可檢驗的生物任務

因為沒有任何 benchmark 能完美處理前面那三個問題，所以 Anthropic 才做了 BioMysteryBench。它使用的是真實世界、又髒又亂的生物資訊資料，但不讓這些資料本身的複雜度破壞評估品質。

BioMysteryBench 一共包含 99 題，涵蓋不同生物資訊領域，由領域專家撰寫。題目設計時要求：先收集資料，再根據資料中可控、可驗證的屬性出題，而不是根據無法驗證的科學結論。因為答案來自實驗或臨床結果，所以即使不要求人類一定解得出來，題目仍然可以被客觀驗證。

雖然這些題目都建立在 verified ground truth 上，但它們仍保留了研究科學家真正會面對的感覺。Claude 會被放進一個容器裡，裡面有最基本的 bioinformatics 工具，也可以用 pip 和 conda 安裝額外工具，還能連到像 NCBI、Ensembl 這類生物資料庫，下載參考基因組等資源。

BioMysteryBench 有三個很重要的特性：

1. 方法無關。 Claude 可以比較自由地下載工具、存取資料庫，選擇各種不同策略解題；而評分看的是最後答案，不是過程。這讓 benchmark 不會被單一研究者的主觀方法綁死，模型只要能到達正確的生物結論就行，不管路徑怎麼走。
2. 答案可客觀驗證。 評分不靠科學家主觀結論，而是靠資料的可控屬性，或經過獨立驗證的 metadata。比如「這個 crystal structure 屬於哪個生物？」答案就是客觀的；「根據 RNA-seq，這位病人感染的是哪個病毒？」則是由 PCR 驗證過的 sample metadata。
3. 可以產生超越人類的題目。 既然題目來自可控資料屬性，就不必要求人類一定能解出來。BioMysteryBench 裡有一些題目，雖然有客觀 ground truth，卻是人類覺得困難甚至無法解出的。

範例題目

這份評測中的題目，主要來自原始或最低限度處理過的 DNA / RNA 定序資料，因為很多生物流程本來就是從這裡開始的（WGS、scRNA-seq、methylation、ChIP-seq、metagenomics、Hi-C），另外也包含一些蛋白質體學與代謝體學題目。

開發者舉的例子包括：

• 這份單細胞 RNA-seq 資料來自哪個器官？
• 實驗樣本相對於對照樣本，哪個基因被 knock out？
• 從 WGS 序列看，sample X 的母本是哪個樣本、父本是哪個樣本？
• 哪些 bigWig 檔是 ChIP 樣本，哪些是 input control？
• 給定未知細胞型的 H3K27ac ChIP-seq peaks，請辨識該細胞型。

為了減少根本無解的題目，同時保留那些模型也許能解的題目，Anthropic 要求每位出題者提交 validation notebook，證明資料裡真的有 signal（即使要從頭找出來並不容易）。可以把這想成高中代數原則：驗證答案比自己推導答案容易得多。

人類基準測試

人類可解

每一題，Anthropic 最多找 5 位領域專家從頭作答。只要有至少 1 位專家答對，就把它視為 human-solvable。BioMysteryBench 裡共有 76 題屬於這一類。

圖 1：76 題 human-solvable 問題的 5 次測試平均準確率。誤差棒以 bootstrap 方式計算。

有些時候，Claude 跟人類走的是同一條路。也許是人類真的已經找到了近乎最佳的方法，也可能是這些方法在 pretraining 裡出現得很多。

有些時候，Claude 會走完全不同的路，這也說明這些問題並沒有唯一正解，模型可能真的有和人類不一樣的偏好。

上面那些例子顯示出一個很有趣的策略：人類專家靠演算法或資料庫去找出並標註資料特徵；Claude 則常常是直覺地辨認出某些 pattern 或 sequence。當然，這種抽象能力並不是 AI 獨有——第一個 eukaryotic promoter 的發現，就是因為有人注意到上游序列裡反覆出現 TATA。這種直覺一直很難被傳統的生物機器學習模型做進去，但 LLM 或許能以前所未有的規模把這種 pattern 挖出來。

人類難解

接下來是一組連專家面板都解不出來的題目。這可能代表三種情況：(1) 題目本身有問題；(2) 題目天生無解，例如 signal 不在資料裡；(3) 題目理論上可解，但人類還沒有足夠知識。經過 benchmark 人員與其他專家再 QC 之後，他們排除了 4 題屬於情況 (1) 的題目，最後留下 23 題 human-difficult。

圖 2：模型在這 23 題人類解不出的問題上的平均準確率，同樣以 5 次 episode 平均，誤差棒用 bootstrap 計算。

有趣的是，Claude Sonnet 4.6 以及更強的模型，在這批 human-difficult 問題上的表現已經能解出相當比例；Claude Mythos Preview 的解題率最高，達到 30%。那麼，Claude 到底做了什麼，是人類做不到的？

Claude 的策略

分析 Opus 4.6 的 transcripts 後，Anthropic 找到 Claude 相對於人類的兩種主要策略：一種很 AI：Claude 巨大的知識庫裡裝著來自數十萬篇論文的結構生物學、分子 profile 與 meta-analysis 資訊。另一種則是人類科學家也能學的：當 Claude 不確定答案時，它會同時嘗試多種方法，最後挑選多條線索收斂到同一答案的那個結果。

全知型

在某些 human-difficult 題目裡，Opus 巨大的先驗知識庫幫了大忙。原本得靠人類專家跑 meta-analysis 或把資料庫串起來的題目，Opus 直接把內部對機制與 ontology 的知識，和即時分析結合起來，就解掉了。很多時候，它甚至能解出人類解不出的題目。

在少數 human-solvable 題目裡，這種先驗知識反而也曾讓它翻車：

知道自己不知道

當 Opus 4.6 對答案沒把握時，它常常會嘗試多種不同解法，最後選擇那些不同方法都能收斂到同一個答案的結果。

和我們前面談到的許多 benchmark 一樣，BioMysteryBench 也有自己的限制：對於那些人類和模型都還沒解出的題目，我們永遠沒辦法完全確定它們到底是無解，還是只是太難。validation notebook 能確保 signal 確實存在、資料結構也沒問題，但它不保證模型或人類一定找得到答案。所以 Anthropic 也提醒自己：如果一年後還沒有人解出 human-difficult 題目，不必太沮喪。這種不確定性，反而正是這個 benchmark 令人興奮的地方：也許第一個解開這些問題的，會是某個更具科學能力的模型。

Claude 對 AI for science 的看法

Claude 在不同世代間的進步很明顯，而且在 human-solvable 和 human-difficult 兩組題目上都表現不錯，所以 Anthropic 讓 Claude Mythos Preview 也來做一點自己的科學分析。以下是它對前代 Claude 在 BioMysteryBench 上表現的兩個補充觀察：

頭條準確率只能告訴你模型答對多少題，卻不能告訴你它是怎麼答對的。我想知道，在困難題上答對，和在可解題上答對，是否代表同一件事。因為每題都做了 5 次，我可以看每題的 solve count：如果一個模型有一題 5/5 都答對，代表它有穩定方法；如果只答對 1/5，可能只是偶然走到一條它無法穩定重現的推理路徑。所以我把每個模型解出的題目，按 solve count（0/5 到 5/5）拆開，分別比較兩組題目。

圖 3：BioMysteryBench 的 per-problem solve consistency。每個模型對每題都嘗試 5 次；長條顯示每題被解出 0、1、2、3、4 或 5 次的比例。在 human-solvable 組（左），三個模型都強烈呈雙峰分布——題目不是每次都解對，就是完全解不出來。在 human-difficult 組（右），中間的分布被填滿：模型正確答案中有更大比例來自只在 5 次裡成功 1 到 2 次的題目，這表示困難題上的成功常常只是偶然踩到的推理路徑，而不是穩定可重現的解法。

「已解出」的質地，在兩組題目之間差很多。在 human-solvable 題上，Opus 4.6 的表現很雙峰——它一旦有解，86% 的題目都能至少 5 次中解對 4 次以上。它不是知道答案，就是不知道。到了 human-difficult 題，這個比例掉到 44%，而只在 5 次裡 1 到 2 次才解對的脆弱勝利，從 9% 暴增到 44%。Sonnet 4.6 也有同樣現象，而且更明顯（75% 可靠 → 22%；9% 脆弱 → 56%）。所以表面上 77.4% → 23.5% 的落差，其實還低估了問題本質：在可解題上，模型是在穩定提取它真的知道的東西；在困難題上，接近一半的勝利只是它碰巧撞上的路徑，而不是能重現的能力。準確率差距是真的，但底下那個可靠性落差，才更能說明能力前沿到底在哪裡。Opus 4.7 和 Mythos 把前沿往前推了一點（Mythos 在可解題上有 94% 的勝利屬於 ≥4/5），但對所有模型來說，困難題上的雙峰 vs. 脆弱分布都還是同樣存在。

Anthropic 覺得 Claude Mythos Preview 的分析有抓到重點，於是又往 reliability 這個更重要的指標深入看了一點。不過，這也有點……無聊？它對上面的效能分析補了一些細節，但沒有真正提出一個新的問題。即便如此，這還是透露出一件事：模型似乎已經開始長出一點研究 taste 了，只是離真正有深度的洞察還有一段路。

持續為 AI for science 建立基準

BioMysteryBench 是一個讓人振奮的科學能力指標。最新一代 Claude 已經能穩定解出大多數 human-solvable 題目，而且在不少 human-difficult 題目上，甚至能超過由 5 位領域專家組成的面板。模型在不同世代之間持續進步，已經不只是跟上受訓科學家；在某些生物資訊題目上，它們甚至已經領先。

Anthropic 也很高興看到這個領域開始出現收斂的工作：在這篇文章整理到一半時，Genentech 和 Roche 也發表了 CompBioBench。它包含 100 個 computational biology 任務，資料來自合成／增強資料，以及對真實資料做 metadata scrambling / scrubbing，打造出需要多步推理、工具使用、客製程式碼，以及和外部真實資源互動的單一 ground-truth 問題。聽起來很耳熟吧？他們的結果也和 BioMysteryBench 很像：Claude Opus 4.6 在整體拿到 81%，在最難題上拿到 69%，再一次證明 frontier 模型現在已經是生物資訊研究中真正有用的合作夥伴。

Anthropic 期待能做出更長週期、更貼近真實世界的任務，去持續推動模型研究能力，也歡迎別人把有趣的 benchmark、AI for science 的創新用法，或是那些讓人重新思考「這個領域原來可以這樣做」的互動寄到 scienceblog@anthropic.com。

如果你想了解模型在困難、可驗證的 computational biology 任務上表現如何，可以在這裡取得 BioMysteryBench，也可以到 claude.com/lifesciences 看更多。

· · ·

延伸評論：生物資訊最難的，不是算出答案，而是證明方法真的站得住腳

這篇文章最值得注意的地方，不是「Claude 又拿了幾分」，而是它把評估焦點往研究工作的本體推了一大步。真正有價值的不是答對一題，而是在 noisy、開放、可疑、需要多步驟工具鏈的任務裡，能不能穩定地找到可驗證的路徑。

BioMysteryBench 的設計透露一個很重要的方向：未來的 AI for science，不會只比誰更會背知識，而是比誰更能在資料、工具、推理與驗證之間搭出一條可重複的工作流。這和 SWE-bench 在軟體工程裡做的事很像——重點不是刷題，而是把能力綁回真實工作。

更有意思的是，Claude 在 human-difficult 題目上展現的不是單一路徑的天才，而是多路徑收斂的習慣。這種能力如果能繼續成熟，對 bioinformatics 這種高度依賴假設、資料雜訊與方法選擇的領域，會比單純的「更高分」更有價值。