跳至主要內容

評估資料、挑戰模型表現,並將每項決策背後的依據保存在一起。

探索測試功能
測試指標
100+
資料品質檢查
8
評估範疇
4
表格資料及視覺模型任務
6

投入什麼,得到什麼

  1. 你提供

    • 你的模型

      你打算開發、採購或部署的 AI 系統

    • 你的資料

      模型學習及運作所用的資料

    • 你的標準

      上線前必須達到的成效

  2. Knotest 檢查

  3. 你會得到

    • 評估報告

      按你的標準量度的結果

    • 風險登記冊

      每項風險都有負責人及處理狀態

    • 來源紀錄

      每項發現都連結到相關證據

測試模型前 先檢查資料

可靠的模型,始於可靠的資料。先找出需要跟進的檢查項目,避免問題影響測試結果。

6 項通過2 項未通過
完整性完整度有效性一致性唯一性代表性洩漏冗餘
  • 資料完整性: 88/100
  • 完整度: 91/100
  • 有效性: 28/100
  • 一致性: 22/100
  • 唯一性: 84/100
  • 代表性: 76/100
  • 洩漏風險: 90/100
  • 冗餘: 82/100

資料齊全,也可能出現不一致。

這個例子中,完整度表現良好,有效性與一致性卻偏低。下一次測試模型前,先檢查格式及互相矛盾的數值。

查看所有資料檢查
資料完整性88/100通過
完整度91/100通過
有效性28/100未通過
一致性22/100未通過
唯一性84/100通過
代表性76/100通過
洩漏風險90/100通過
冗餘82/100通過

測試模型如何 應對實際情況

選擇一項測試,看看它能揭示甚麼,以及團隊下一步可以怎樣做。

模型能處理你實際使用的資料嗎?

原始輸入

基準測試

先了解基準表現。

把結果與驗收標準比較。

查看測試情境、指標與支援模型

從原始輸入開始

加入更具挑戰的情況前,先建立模型的基準表現。

測試情境

  • 基準

測試指標

  • Accuracy
  • F1
  • AUROC / AUPR
  • mAP 50:95
  • mIoU
  • RMSE / R2

支援的模型

  • 表格資料分類 · 迴歸
  • 視覺分類 · 偵測 · 分割 · OBB

追蹤風險與處理進度

把問題、處理方法和相關紀錄放在一起,讓下一位審查者清楚了解判斷的依據。

  1. 不同群組的公平性出現變化

    記錄受影響的群組,以及揭示差距的測試。

  2. 安排下一步

    指定負責人、記錄處理方法,並商定重新測試的時間。

  3. 隨時查閱評估依據

    連結測試結果及來源紀錄,讓每項決定都可供覆核。

查看風險登記冊

AI 管理未有指定負責人

R-42001-014 · 等級: 高

固有

不同群組的公平性出現變化

R-23894-021 · 等級: 中

已緩解

缺少評估紀錄

R-TS42119-006 · 等級: 中

剩餘

容易受受損資料影響

R-QA-088 · 等級: 低

已緩解

有模型需要測試? 一起看看它的表現

歡迎詢問模型測試、產品示範或價格。我們會以電郵回覆,一起討論合適的下一步。

聯絡我們