ProCKSI：蛋白質結構比較的多方法決策支援系統

30 秒理解

ProCKSI 將 DaliLite、CE、FAST、TM-align 等多工具輸出集中計算共識、分群與分類表現。

核心問題

當 DALI、CE、FAST、TM-align、contact-map 與 compression 方法對『結構相似』的定義不同時，能否標準化、並排與合成其證據，協助使用者做決策？

直覺

ProCKSI 是 meta-server，不發明單一萬能 aligner。它對同一 protein set 跑多種比較器，把各自分數正規化成 0–1 distance matrices，再做 hierarchical clustering 或選擇性 consensus。

為什麼重要

它提供 FAST 的獨立歷史交叉比較，清楚顯示 FAST 的 classification AUC、速度與其他方法的位置；但它也示範 RMSD 單獨作 classifier 很差，因此不能拿 AUC 或 consensus 當『幾何誤差更小、疊合更多』。

閱讀前置

• 理解 similarity score、distance matrix 與 hierarchical clustering。
• 知道 ROC/AUC 衡量分類排序，而非 alignment geometry。
• 能區分 consensus ensemble 與單一方法的 pairwise alignment。

paper-specific guide · plain → technical → input → output → source

逐步方法導讀

1. 01 · 同一資料跑多種相似定義

   使用者上傳一組 PDB structures，系統可平行呼叫 FAST、DALI、CE、TM-align，或用 contact maps 跑 USM/MaxCMO。

   論文語言: USM 以 contact-map compression 近似 Kolmogorov complexity、輸出 normalized compression distance；MaxCMO 尋找最大 contact-map overlap。外部法回傳 DALI/CE Z-score、TM-align TM-score、FAST SN-score，以及多法的 RMSD/aligned residues。

   輸入: 多個 PDB structures、chain/atom/contact-map 參數與選定 methods。

   輸出: 每方法的 pairwise score matrix 與原始 alignments。

   邊界: 不同工具分數的生物假設不同；統一介面不代表分數語義相同。

   PDF pp. 2–5, ProCKSI's Core Protocol and Fig. 1

2. 02 · 正規化 score matrices 並分群

   先把不同尺度轉成同方向的 0–1 距離：0 最像、1 最不像，再用同一 clustering procedure 比較各方法看到的 protein organization。

   論文語言: 每個 raw similarity matrix 轉為 standardized similarity matrix (SSM)；SSM 可輸入 UPGMA、Ward's minimum variance 等 hierarchical clustering，並以 linear/circular/hyperbolic tree 顯示。

   輸入: 各方法 raw score matrices。

   輸出: 可比較的 SSMs 與 method-specific cluster trees。

   邊界: min–max 類集合內正規化依賴該 protein set；跨資料集數值不必可比，missing scores 也會造成 ROC artifact。

   PDF p. 5, Analysis Management

3. 03 · 選擇性合成 consensus

   不是把所有分數盲目平均，而是先用 gold-standard ROC 看哪些 measure 在該任務可靠，再合成少數互補 matrices。

   論文語言: RS126 以 SCOP hierarchy 定義 positives/negatives，對 15 measures 計 ROC/AUC。Consensus/Best3 或 Best2 選 AUC 最佳且互補者平均 SSM；Consensus/All 因納入弱 RMSD measures 反而變差。

   輸入: standardized matrices、任務 gold labels 與候選 measures。

   輸出: consensus matrix、cluster tree 與 classification AUC。

   邊界: 用同一 RS126 選 best measures 再報 AUC，屬資料內 selection；不等於獨立 holdout ensemble。

   PDF pp. 11–16, ROC analysis, Fig. 6 and Table 5

關鍵結果

它提供 FAST 的獨立歷史交叉比較，但核心指標是分類 AUC／群聚一致性，不是 RMSD＋alignment length。

逐節證據導讀

論文事實、本站判讀與教學模型分開標示。

paper-fact

FAST 在獨立分類比較的位置

RS126／SCOP Table 5 中 FAST/Align AUC 依 Class、Fold、Superfamily、Family、Protein、Species 為 .770/.800/.773/.757/.684/.672；FAST/SN 為 .747/.802/.779/.761/.684/.671。

若排除 consensus rows、只比較單一 base measures，FAST/Align 與 FAST/SN 在 Class 層進入前三；其他層通常 CE/Z、DaliLite/Z、DaliLite/Align 較強。這是 structure classification ranking 的獨立 context，不是逐 pair RMSD/length。

原文定位: PDF pp. 14–16, Table 5 and ROC analysis

paper-fact

為何 RMSD 欄在 AUC 中反而很差

FAST/RMSD 的 AUC 是 .454/.530/.514/.490/.322/.303，TM-align/RMSD 也只有 .475/.624/.602/.550/.354/.336；作者指出 RMSD consistently 不是好的 similarity classifier。

原因不是 RMSD 毫無幾何意義，而是它缺少 alignment length/coverage 與 significance normalization：短 alignment 可低 RMSD，卻未必代表同 fold。這反而強化本專案必須成對報 RMSD＋coverage。

原文定位: PDF pp. 13–16, ROC analysis and Table 5

project-reading

ensemble 的增益與工程代價

Consensus/Best3 在 Class/Fold/Superfamily/Family AUC 為 .780/.865/.854/.847，常高於單一 contributing measure；但 Consensus/All 僅 .764/.816/.797/.793，證明把弱與方向不合的 metrics 加進來會稀釋訊號。

RS212 超過 22,500 comparisons 時，FAST 與 USM 約 50 分鐘、TM-align 為 83.05 分鐘；以 TM-align 為比較基準，DaliLite 慢逾 7 倍、CE 慢逾 10 倍。consensus 需等待多法，因此品質、latency 與 missing-output 都是產品決策。

原文定位: PDF pp. 14–18, Table 5, Tables 6–7, and Fig. 7

研究設計與評估

資料與樣本

三組 case studies：CASP6 models、45 個 protein kinases、RS126 以 SCOP hierarchy 作 gold standard；另以五個不同大小資料集做 runtime benchmark。

比較基準

• 外部 aligners：DaliLite、CE、FAST、TM-align。
• 內部/圖形方法：USM、MaxCMO；以及多種 consensus subsets。

指標

SCOP ROC AUC

檢查 similarity measure 對 SCOP hierarchy positives/negatives 的排序力。
邊界: 同資料挑 measures 與評估 consensus，且 AUC 不代表 geometry。

Standardized similarity matrix

將每方法在該集合的 score 映到 0–1 distance 以便 cluster/average。
邊界: 集合依賴正規化會壓掉原分數的絕對語義。

Wall-clock response time

含 preprocessing/postprocessing 的 all-pairs request 完成時間。
邊界: 2007 硬體、遠端服務負載與工具版本已過時，僅作歷史比較。

論文報告的結果

FAST 在 RS126 classification 的 Class 層很強且在大資料集很快；DALI/CE scores 多數 deeper levels 較佳，選擇性 consensus 可再提升 AUC。這些都不直接回答幾何雙指標。

PDF pp. 6–18, case studies, Fig. 6, Tables 5–7

teaching-model · not a reported experiment

教學例（不是論文實驗）

為何盲目平均會比單一好方法差

同一對蛋白在三個已正規化 measures 的 distance 是 .1、.2、.9；前兩個可靠，第三個是對此任務失靈的 RMSD classifier。

1. Best2 平均為 .15，仍把 pair 排在高度相似。
2. Consensus/All 平均為 .40，壞 measure 稀釋訊號，可能落到其他 pairs 後面。
3. 若在同資料用 AUC 選 Best2，還需新 holdout 驗證，避免 selection optimism。

帶走什麼: ensemble 只有在成員互補且權重經外部驗證時才可能穩健；數量多不是品質。

independent-context

相對 FAST 的證據邊界

能校正 FAST 在分類任務的位置，不能直接回答幾何疊合是否更低誤差、更高覆蓋。

合法來源與取用

22 pages · SHA-256 97e3628f8f71b0d6211ec31550058bf6ecb725a9bf785e2c754afdb07959cfd2

合法開放全文；是獨立多方法決策支援與歷史 benchmark。

Europe PMC open-access PDF

限制與防誤讀

• 工具版本、分數正規化與資料集年代會影響比較。

證據定位清單

1. PDF pp. 2–5, ProCKSI philosophy, protocol, and Fig. 1
2. PDF p. 5, Analysis Management
3. PDF pp. 11–16, ROC analysis, Fig. 6, and Table 5
4. PDF pp. 14–18, benchmark tests, Tables 6–7, and Fig. 7

理解檢查

1. FAST/RMSD AUC 很低，是否代表 FAST alignment 一定很差？

   答案: 不代表；它表示 RMSD 單獨不適合當 SCOP classification score。

   缺少 aligned length 與 score normalization，低 RMSD 可來自很短 alignment。

2. ProCKSI/Best3 AUC 勝單一方法，是否代表它產生更好的 residue alignment？

   答案: 不一定；它輸出 consensus similarity/ranking，不是一個新的 residue correspondence optimizer。

   分類 ensemble 與 alignment geometry 是不同產物。

3. 本文對 FAST 最可靠的直接資訊是什麼？

   答案: RS126/SCOP 的 FAST/Align、FAST/SN AUC 與歷史 runtime，且與多法同資料比較。

   它是 independent classification context，不是 lower-RMSD/higher-coverage 證據。

讀完標準: 從 Table 5 選 FAST/SN、DaliLite/Z、CE/Z、TM-align/TM 與 Consensus/Best3，做六個 SCOP levels 的小表，標出每列勝者並說明為何沒有『單一幾何冠軍』。

本篇詞彙表

meta-server

統一呼叫、整理與整合多個既有分析工具的服務。

SSM

將集合內 method scores 映為 0 最像、1 最不像的矩陣。

ROC AUC

隨 threshold 掃描真陽性率與假陽性率後的曲線面積。

consensus similarity

將多個正規化 similarity measures 合成的 dataset-level score。