全鏈路 Trace
每個 STC 入口都有 trace；不只意圖/時間解析，連 chat flow / 商品過濾 / 建議問題都納入。
Langfuse 觀測 — 從黑盒到全鏈路可見
可觀測性是優化的前提 · 沒有量測就沒有迭代
已啟用功能
這些是 STC 目前正在使用的 Langfuse 能力
LLM Generation 追蹤
每次 LLM 呼叫紀錄 model / latency / input / output / token 用量；可下鑽到 prompt 全文。
Prompts 版本管理
Prompt 不再寫死在 .py 檔。Langfuse 上線版本控制，可線上熱更新、回滾、A/B 路由。
Sessions 多輪對話
chat 流程的多個 trace 透過 sessionId 串連，可看「同一場對話」的完整脈絡。
計畫導入功能
下一波要啟用的能力 — 都有對應的優化痛點
01
Score / Eval 評分系統
現況：0 筆 score · 解析品質靠人工抽樣判斷
規劃：人工標記 + LLM-as-Judge 自動評分意圖解析準確率，量化品質迭代
02
Dataset 評估資料集
現況：0 筆 dataset · prompt 改動只能憑感覺 push
規劃：建立 golden test set（高頻 query × 正確解析），每次 prompt 改動跑回歸測試
03
Cost 成本追蹤
現況：totalCost = $0（Gemini model pricing 未配置）
規劃：設定 Gemini token 單價（input/output 分別），追蹤每日花費 + 單筆查詢成本
04
Tags 分類追蹤
現況：所有 trace 無 tag
規劃：標記 query 類型（地名單純 / 含日期 / 含節日 / 模糊需求），分群分析模式
05
Release / Version 追蹤
現況：0 / 50 trace 帶 release
規劃：deploy 時注入 release tag，可看「上線後 latency 是否退化」、版本對比
進階待評估
尚未排期，但是 Langfuse 平台可提供的能力
🤖 LLM-as-Judge 自動評估
✍️ Annotations 人工標記平台
📡 Webhooks 事件外送
🚨 Alerts 異常告警
🔀 A/B Testing 路由
📤 Bulk Export 資料匯出
👥 Multi-team Access Control
🎮 Playground 互動測試
LIVE
📊
stc-langfuse.liontravel.com · 線上實機
報告時直接切過去看實際 trace 細節、prompt 版本管理介面、latency 分布圖表。
點擊在新分頁開啟
↗