閱讀目標
這一頁依次回顧資料系統的演變，討論資料的廣度與深度，再認識建設 AI 資料管道時的倫理、隱私與使用責任。
正文保留原頁的三個主題，後面附四段影片中文文字稿。原材料中的組織和人員身份已作匿名化處理，案例裡的資料型別與推理關係保留。
一、資料系統如何發展
從簡單的事務處理到今天的 AI 平臺，資料採集、搜尋和機器學習不斷改變我們使用資訊的方式。認識這條發展路徑，有助於規劃大型組織中的 AI 整合。
每次技術變化，都改變了資料管道的職責：從儲存、提取資料，走向為推理與生成準備資訊。可以沿著這條路徑思考：自己的系統目前處在哪個位置？
二、AI 專案中資料的深度與廣度
AI 專案不只取決於收集了多少資料，還取決於資料是否多樣、是否與任務真正相關。
原講解借用金融領域的“廣度”和“深度”，幫助判斷資料是否已經適合支援智慧系統。你需要學會發現缺口、減少噪聲、增加有效訊號。在建設管道之前，就應先思考這些問題。
三、建設資料管道的倫理與使用責任
資料工作不只是技術工作，還涉及隱私、同意和著作權等要求。不論處理學習者記錄、內容材料，還是內部文件，都需要理解哪些使用有依據、哪些做法有風險，以及怎樣建立使用者的信任。
需要認識常見問題、實際保護措施，以及為什麼倫理並不是創新的障礙，而是讓專案能夠持續執行的基礎。
最好的 AI 系統，並不從挑選模型開始，而是從資料，以及能夠妥善管理資料的人開始。
影片文字稿一：為什麼先討論資料
要用合適的資料基礎設施支援 AI，需要哪些條件？下面先看資料系統怎樣演變，什麼使資料有價值，以及如何管理倫理、使用責任與運營風險。
還會逐步討論建設和維護適合 AI 的資料管道的方法、怎樣按需求選工具，以及如何為長期維護做好規劃。
影片文字稿二：資料系統的演變
先沿著資料系統的發展走一遍，看看 AI 在今天的資訊系統裡處於什麼位置。
早期計算機資訊系統主要用於採集、核驗和處理資料。它們偏重事務處理，例如線上事務處理系統（OLTP）：儲存和更新工資、財務、庫存等業務記錄。
到 20 世紀 90 年代，資料倉儲興起。組織可以把多個來源的資料彙集起來，進行更完整的分析，觀察歷史趨勢，比較不同時期的情況，並支援決策。
進入 2000 年代，索引成為取得資訊的重要方式。以搜尋引擎為例，使用者輸入幾個關鍵詞，就得到一份排序後的結果。原來難以利用的海量資訊，因此變得更容易查詢。
Elasticsearch 等工具又讓更多開發者能夠在自己的平臺里加入搜尋，為大量文字提供檢索和相關性排序。
到了 2010 年代，機器學習在影象等任務中的應用更受關注。訓練模型在照片中認出貓，是一個容易理解的例子。
2022 年末前後，大語言模型進入更廣泛的公眾使用。它們不僅找到資料，還能按要求生成摘要、組織內容和輸出結構化結果，提供不同的資料互動方式。
從儲存和檢索走向生成與推理，是資料系統演變中的重要變化。對專案負責人來說，理解這個過程，不只是為了認識 AI，也有助於規劃組織內的整合。
可以問自己：目前系統主要處理事務，還是已經有資料倉儲？有沒有使用機器學習或更進一步的 AI 服務？
認識這段歷史，有助於規劃基礎設施、界定技術需求，以及與相關人員討論合理預期。從資料庫到搜尋、機器學習，再到大語言模型，每一步都改變了系統能完成的任務。
資料管道也隨之改變。它不再只是把資料從甲處搬到乙處，而是要轉換、補充並整理資料，使其與 AI 的任務相適應，幫助系統形成有依據的輸出，並支援人的決策。
因此，資料管道應該被視為現代 AI 方案的基礎。
譯註：這些方法會共存，採用大語言模型並不意味著事務系統、資料倉儲或搜尋已經過時。2022 年末是公眾使用擴大的時間背景，不是大語言模型最初出現的時間。生成摘要與推理也不自動保證事實準確，仍需資料與結果核驗。
檢視圖解文字說明
原始資料先做必要性檢查與最少化，在許可權範圍內檢索片段；使用外部模型時，問題及片段會傳至供應商。回答輸出、訪問日誌、快取和備份分別有用途與儲存期限。資料未用於訓練，不表示資料沒有被傳輸。
影片文字稿三：廣度、深度與訊號
同一批資料，為什麼在不同系統裡可能產生很不一樣的結果？可以從系統利用資料的廣度與深度來思考。
傳統搜尋中，使用者輸入關鍵詞，拿到相關文件列表，之後仍然要自己理解資料。與大語言模型結合後，系統可能讀取、解釋並整理答案，讓使用者不必先逐份開啟全部材料。同樣的底層資料，因此有了不同的使用方式。
怎樣評價資料是否足以支援這種能力？原講解借用了金融領域的一本主動投資組合管理著作。它在 1999 年出版，討論怎樣利用有效資訊改善策略、控制風險。這裡借用的不是投資建議，而是“究竟掌握了多少真正可用的資訊”這個問題。
兩個詞尤其重要。廣度是相互獨立的資訊點有多少。深度是這些資訊點包含多少有效訊號、相對於噪聲有多大價值，也就是訊雜比的思路。
放回 AI 專案，可以問：資料集中有多少不同且相對獨立的輸入？每種輸入與關心的結果之間，有多強的聯絡？
只是不斷收集同一種資料，未必增加廣度。資料凌亂、過時，或者過於籠統，也可能缺乏深度。
用一個學習路徑建議系統作例子。先收集內容目錄和歷史選擇記錄，可以知道有哪些選項、過去怎樣選擇。再加入學習表現、滿意度調查，以及最終完成情況等結果，系統就有機會形成更豐富的判斷，不只知道發生了什麼，還能探索相關因素。
譯註：這是對原例子的匿名化表達。加入更多欄位不一定自動增加有效資訊；相關性也不能直接證明“為什麼發生”。資料是否可用，還要符合授權和隱私要求。
管理者應該問：怎樣知道資料已經收集夠了？沒有一個適用於所有專案的完美答案，但可以看跡象：系統的結果是否可靠且相關？有沒有明顯盲區或偏差？持續增加資料之後，表現是否已經趨於平穩？
如果改進逐漸停滯，就該問：缺的是哪種資訊？是不是一直增加系統已經熟悉的材料，還是加入了新的、包含更多上下文的輸入？
資料還需要與實際用途一致。好的訓練或測試資料，應當反映系統之後會怎樣被使用。
結構化文字，例如 JSON 和 YAML，可以幫助表達資料之間的關係。原講解認為，大語言模型常能從這些格式中利用基數關係、選項集合、外來鍵等結構資訊。
例如，如果要建立一個提供建議的助手，不能只看登記記錄，還可能需要諮詢筆記、政策文件、郵件交流和 PDF 說明材料，才能理解它實際面對的環境。
但不能因為這些材料可能有用，就認為應該全部收進來。資訊的來源同樣重要。有些資料可能過於私人、受到限制，或者不允許用於訓練。目標是取得豐富、相關，同時公平、透明且有使用依據的資料。
廣度與深度是幫助規劃的實用問題：是否收集了正確的資料？增加資料的收益是否正在減少？是否該從關注數量，轉向關注質量？誠實回答這些問題，才更容易進入下一階段的資料管道實施。
譯註：原講解對金融著作的借用屬於方法類比，這裡沒有提供經過驗證的 AI 效果公式。結構化格式也不會自動修復錯誤資料、許可權缺失或模型誤解。
影片文字稿四：隱私、同意與信任
現在轉向建設 AI 資料管道的倫理與使用責任。負責人不必自己成為法律專業人士，但需要能識別值得進一步核實的問題。
先問：管道處理的資料是否受到適用規則約束？如果涉及學習者、內容貢獻者或員工的個人資料，很可能需要檢查相關要求。原講解提到加拿大不列顛哥倫比亞省的資訊自由與隱私保護制度、美國相關記錄保護要求，以及歐盟 GDPR；組織內部的規定還可能更嚴格。
譯註：原字幕把美國的 FERPA 轉寫成了“FRPA”，這裡已糾正。不同制度適用的主體、地區與資料範圍並不相同，不能把這段概覽當成所有專案的統一規則。名稱可核對 BC 官方法令、美國官方說明和歐盟法規原文。
常見的保護措施之一，是在適用情況下去除能聯絡到個人的姓名、郵箱、編號等標識。尤其在訓練或微調之前就應考慮這些問題，因為資料一旦影響模型引數，事後精確移除並不容易。
譯註：刪除姓名不等於已經充分匿名化。嵌入索引中的記錄與模型引數也不同：索引通常可以刪除或重建，但要同時處理副本、快取、日誌和訪問許可權；模型中的訓練影響不能按同一方式簡單刪除。
再看著作權。材料即使在網上公開，也不表示可以任意用於訓練或再利用。需要問：是否具備相應使用依據？收集資料時的條件是否允許這種用途？是否涉及改編或再發布？如果使用內容貢獻者提供的材料，內部有沒有相應政策？
還要考慮隱私與使用者的感受。假設建立一個面向個人的建議或申請助手，後臺可能接觸學習表現、日程、個人資料，甚至財務資訊。有沒有說清楚 AI 能看到什麼、不能看到什麼，以及使用者是否有退出或選擇的方式？
人們越來越關心資料怎樣被使用，以及決定如何形成。透明度既關係到適用要求，也關係到信任。
團隊可以用一個問題檢查自己的安排：如果專案被公開報道，能否清楚解釋它的用途和保護措施？如果不能，究竟是哪些地方會引起使用者、內容貢獻者或公眾的擔憂？
即使自認為滿足了最低要求，仍可能面臨公眾反對和聲譽影響。原講解提及錄製前不久發生的一起負面報道，但沒有提供可核實的事件資料，這裡不據此補充細節。
更好的做法是提前安排同意機制、完整文件和清楚可見的控制措施，讓使用者知道系統做什麼、如何運作，以及有哪些保護。
遇到不確定的問題，可以請法務、倫理審查、IT 治理或適用的內部審查人員參與。他們可能讓前期流程更長，但也能幫助避免之後更嚴重的問題。
倫理與使用責任並不是創新的反面。它們為專案長期執行提供基礎；建立信任後，人們才更願意使用系統。
關聯閱讀
資料的使用邊界可以結合倫理四項原則繼續檢查；實際整理和更新，則見AI 資料管道。
參考與延伸閱讀
以下為編輯補充的查詢與學習入口，可按需要繼續閱讀。
- Google：資料集的資料特徵（中文）：檢查資料數量、標籤錯誤、噪聲和模型表現之間的關係。
- Google：資料質量與解釋（英文）：繼續查詢缺失值、錯誤標記、取樣偏差與資料解釋問題。
- NIST 隱私框架（英文／框架）：從組織的資料處理活動出發，認識隱私風險的識別與管理。
- BC《資訊自由與隱私保護法》官方目錄（英文／法令原文）：對應文字稿中提及的 BC 制度名稱，可繼續進入具體條文。
- 美國教育部：FERPA 官方說明（英文／政府說明）：對應文字稿中關於教育記錄隱私制度的名稱與適用說明。
- 歐盟 GDPR 法規原文（英文／法規原文）：查詢文字稿提及的法規與具體條文；適用範圍需按實際情境判斷。