Evidence-guided paper · 2012 · outside-scope · full-text

CPred:預測可行蛋白質環狀置換的 Web 伺服器

Wei-Cheng Lo; Li-Fen Wang; Yen-Yi Liu; Tian Dai; Jenn-Kang Hwang; Ping-Chiang Lyu. CPred: a web server for predicting viable circular permutations in proteins. Nucleic Acids Research 40:W232–W237 (2012).

30 秒理解

CPred 把 CP site 結構偏好轉成可上傳結構、取得候選新端點與可行性分數的服務。

核心問題

如何把前一篇多特徵 CP viability predictor 做成可在數秒內回應、能解讀 threshold 且可互動查看 residue scores 的 Web 服務?

直覺

CPred 像結構上的風險熱圖:先為每個 residue 計算 46 個 sequence/structure features,交給四個 predictor,平均成 0–1 score,再把昂貴 feature 與 500-tree random forest 分散到多處理器。

為什麼重要

方法論只有被正確部署、解釋與使用才會產生實驗價值。本文補上輸入、parallel execution、cache、threshold precision/recall、互動視圖與 runtime,使 predictor 成為可操作工具。

閱讀前置

  • 理解 circular-permutation viability 與前作的 46-feature ensemble。
  • 知道 Z-score standardization 與 ensemble averaging。
  • 能區分 probability-like score、precision、recall、AUC 與 calibration。
  • 理解 distributed computation 與 cache 只改服務成本,不改模型 ground truth。

paper-specific guide · plain → technical → input → output → source

逐步方法導讀

  1. 01 · 由 PDB 結構抽取 46 features

    為每個 residue 建立包含局部構形、表面、packing、core distance 與 flexibility 的特徵卡。

    論文語言: sequence/secondary-structure propensity 來自 nrCPsitecpdb-40 與 nrCPDB-40;reduce 補氫後計算 closeness、RSA、centroid distance、WCN、farness、GNM fluctuation 等,最後轉為 Z-scores。

    輸入: PDB ID、SCOP ID 或上傳 PDB file。

    輸出: 每個 residue 的 46-dimensional standardized vector。

    邊界: 需要結構;缺 residues、錯誤 protonation 或非代表性 conformation 會影響 features。

    PDF pp. 2–3, Materials and Methods — Computation of feature values

  2. 02 · 四模型平均成 CPred score

    ANN、SVM、RF 與 hierarchical integration 各投一票,取平均降低單一模型偏差。

    論文語言: 三層 backprop ANN、LIBSVM、500-tree C4.5 random forest 與 HI 都輸出 [0,1] real score;main program 平均四值並產生 residue ranking。

    輸入: 46-feature vectors 與 trained model parameters。

    輸出: 每個 residue 的 integrated CPred score。

    邊界: 作者稱 probability score 是概念便利名稱;它不是由物理機制保證的真成功機率。

    PDF p. 4, Application of machine learning methods

  3. 03 · 平行計算、快取與互動輸出

    把昂貴 feature 與模型工作分散,完成後回傳 score list、profile 與可旋轉結構。

    論文語言: main process 分派 feature tasks、建立四個 predictor threads,再整合輸出;PDB/SCOP ID query 的 features/results 可 cache。介面提供 sortable list、Jmol structure 與 downloadable text。

    輸入: query、processor pool 與 model output。

    輸出: 可依 residue/amino acid/score 排序的結果與視覺化。

    邊界: distributed speedup 不改變 AUC;cache-hit latency 不可冒充 cold-run runtime。

    PDF pp. 3–5, Figure 1, Speed evaluations and Web Server Description

關鍵結果

將方法學論文變成可操作的工程決策介面,是 CP 研究線的重要產品化一步。

逐節證據導讀

論文事實、本站判讀與教學模型分開標示。

paper-fact

Web server 的核心模型來自前作

原始 model 以 Dataset T(76 viable/100 inviable)訓練,independent DHFR(86/73)達 AUC 0.91。實際 CPred server 則把 T+DHFR 合併訓練,10-fold CV AUC 0.940、sensitivity 0.889、specificity 0.898、MCC 0.787。

合併後的 Table 1 performance 是 cross-validation,不再是 DHFR holdout。相較之下,nrCPDB-40/nrGIS-40 仍是低冗餘外部 positive sets,sensitivity 為 0.746/0.719。

原文定位: PDF pp. 2–4, Experimental data sets and Table 1

paper-fact

Threshold 是實驗成本旋鈕

Table 2 在 T+DHFR 的 10-fold CV 中顯示:score ≥0.85 時 PPF 0.16、recall 0.33、precision 1.00;score ≥0.50 時 PPF 0.54、recall 0.92、precision 0.82。提高門檻可少做實驗並提高 observed precision,但會漏更多 viable sites。

這些 precision 是該 dataset/CV folds 下的結果;移到不同蛋白家族、不同 viable prevalence 或不同實驗定義時,不能保證仍為 1.00。

原文定位: PDF p. 4, Table 2 and information-retrieval evaluation

project-reading

服務效能與科學效能分開報

AUC/MCC 描述 model discrimination;秒數描述 implementation latency。parallelization 可把 150–200-residue protein 的平均時間降到 <3.4 秒、約 600 residues 降到 <22 秒,卻不會讓 prediction 更準。

一個完整 model card 應同時列 data lineage、CV/holdout 狀態、threshold table、cold-run hardware 與 missing-structure policy,避免漂亮 UI 隱藏證據邊界。

原文定位: PDF pp. 4–5, Tables 1–2 and Speed evaluations

研究設計與評估

資料與樣本

Dataset T 76/100 與 DHFR 86/73 合併訓練/10-fold CV;nrCPDB-40 1,059 proteins 與 nrGIS-40 2,814 proteins 作 large-scale positive evaluation;nrCPsitecpdb-40 含 1,087 nonredundant CP sites 供 propensity features。

比較基準

  • closeness-only predictor;另以未平行版本作 serving-runtime baseline。

指標

AUC / sensitivity / specificity / MCC
在有 positives 與 negatives 的 cross-validation 中評估 discrimination 與 binary decision。
邊界: 合併 T+DHFR 後不是獨立 holdout;數值可能受 family shift 影響。
Precision / recall / PPF by score
描述不同 operating thresholds 的實驗量、找回率與命中比例。
邊界: precision 隨 prevalence 改變,不能跨部署直接複製。
Cold-run wall-clock time
在雙 3.33-GHz octa-core Xeon、128 GB RAM 上不同 protein lengths 的平均 runtime。
邊界: 硬體與 cache 狀態必須一起報;不是模型品質。

論文報告的結果

實際 server model 的 10-fold CV AUC 0.940、MCC 0.787,優於 closeness 的 0.753/0.428;score ≥0.85 在該 CV set precision 1.00、recall 0.33。distributed implementation 對 150–200 residues 平均 <3.4 秒,約 600 residues <22 秒。

PDF pp. 4–5, Tables 1–2 and Speed evaluations

teaching-model · not a reported experiment

教學例(不是論文實驗)

依濕實驗預算選 threshold

本站教學模型:一個 200-residue protein 有 32 residues score ≥0.85、108 residues score ≥0.50;實驗最多能做 20 constructs。

  1. 不要盲用 0.5;先依 20-construct budget 選 top-ranked candidates。
  2. 按 score band、secondary structure 與 active-site distance 分層,避免 20 個都來自相同局部區域。
  3. 保留 2–3 個低分 controls,部署後重新估 precision/recall 與 calibration,而不是沿用 Table 2。

帶走什麼: threshold 應由新 domain 的成本與 validation data 決定;舊論文表格提供 prior,不是保固。

outside-scope

相對 FAST 的證據邊界

CPred 排序的是切點,不是結構 alignment。

合法來源與取用

6 pages · SHA-256 7f45c9dd00376ffd03c6748b48b6694c18fae7d5919223d92a190219716b0e29

合法開放全文。

Europe PMC open-access PDF

限制與防誤讀

  • 預測只縮小實驗範圍,不能取代實際折疊與功能測試。

證據定位清單

  1. PDF pp. 2–3, Experimental data sets and Computation of feature values
  2. PDF p. 3, Figure 1
  3. PDF p. 4, Application of machine learning methods
  4. PDF pp. 4–5, Tables 1–2
  5. PDF p. 5, Speed evaluations and Web Server Description

理解檢查

  1. 實際 CPred Table 1 為何不是 DHFR independent test?

    答案: server model 把 Dataset T 與 DHFR 合併訓練,Table 1 用 10-fold CV。

    data lineage 改變後,evaluation label 也必須改。

  2. score ≥0.85 的 precision 1.00 能外推嗎?

    答案: 不能保證;它只屬於 T+DHFR 的 CV composition。

    precision 受 prevalence 與 distribution shift 影響。

  3. parallelization 改變哪個量?

    答案: 主要改 wall-clock runtime/throughput,不改固定模型的 AUC。

    scientific performance 與 serving performance 必須分欄。

讀完標準: 替 CPred 寫一頁 model card,至少標出 training composition、CV/holdout、46-feature prerequisites、threshold table、hardware、cache policy、known failure modes 與 wet-lab confirmation requirement。

本篇詞彙表

Probability score
四模型 0–1 輸出的平均;名稱便於解讀,但不必然是完美校準機率。
PPF
Predicted positive fraction,被判為 viable 的 residues 占全部 residues 的比例。
Cold run
沒有可重用 cache、需完整計算 features 與 predictions 的執行。
Distribution shift
部署蛋白族群或實驗定義與 training data 不同。