從問題出發
先界定任務、條件、比較方式和驗收準則，再解讀測試結果。
HephaKnot 是專注於 AI 評估與可靠性的應用研究實驗室。
我們研究模型在不同條件下的行為、資料品質如何影響表現，以及評估方法如何揭示系統的局限。我們亦開發 Knotest，將這些方法應用於實際評估。
我們的方法
呈現證據
一併說明結果、方法、範圍和相關記錄，清楚交代現有證據的界限。
開發實用工具
將資料檢查、模型評估及風險記錄連結成可重複執行的流程。
研究方向
我們沿三個方向研究：模型在哪裡失效、資料缺少了甚麼，以及決策需要甚麼證據。
模型穩健性
模型何時變得不可靠？
研究雜訊、陌生輸入及環境變化如何揭示模型失效，並探討如何透過針對性的訓練資料提升可靠性。
資料品質
下一步應收集哪些資料？
探索如何透過主動學習找出有價值的樣本，以較少的已標註樣本改善模型表現。
評估與保證
甚麼證據能支持對模型的信任？
檢視可解釋性、私隱保護及評估結果，如何支持在實際情境中使用 AI 的決策。