AI 代理失靈的那一天，人還接得住嗎？
星期一早上九點，客服中心的 AI 系統因為供應商的更新出問題，整個停擺。過去兩年，系統負責分派案件、查詢客戶紀錄、建議回覆內容，客服人員只需要確認、調整、送出。
系統停擺的那一天，主管發現了一件事：已經沒有人記得手動流程怎麼走。舊的作業手冊還在，但裡面的系統畫面早就不存在了；兩年內進公司的新人，從來沒有在沒有 AI 的情況下處理過客訴。一個上午，等待中的來電累積到六百通。
這不完全是假設。在 2024 年 7 月的 CrowdStrike 事件中，一個有問題的軟體更新讓全球大量的 Windows 電腦當機，有些機場只能用手寫登機證。那一天，很多組織才發現，自己的運作有多依賴系統，而人已經有多久沒有「手動」了。
經典：自動化的反諷
1983 年，工程心理學家 Lisanne Bainbridge 在《自動化》（Automatica）期刊發表了一篇只有五頁的文章：〈自動化的反諷〉。她研究的是工廠與電廠的控制系統，但她指出的矛盾，四十年後仍然成立。整理起來有四個反諷：
- 留給人的，是最難的工作。 設計者把能自動化的部分都自動化了，剩下來的都是系統處理不了的例外與異常。人的工作量變少了，但難度變高了。
- 技能會因為少用而退化。 當人不再親手操作，手動的技能與對系統的理解都會慢慢流失。但系統出問題時，需要的正是這些技能。
- 監控非常累人。 人不擅長長時間盯著一個「幾乎不會出錯」的系統。注意力會下降，而系統越可靠，人越容易錯過那少數的異常。
- 訓練需求反而增加。 正因為人平常不操作，所以更需要定期訓練，才能在異常發生時接得住。自動化並沒有減少訓練，而是改變了訓練的內容。
Bainbridge 的結論是：自動化越成功，這些反諷就越嚴重。航空業後來的經驗也證實了這一點：這也是為什麼即使飛機大部分時間由自動駕駛控制，飛行員仍然要定期在模擬器中練習手動飛行與緊急狀況。
生成式 AI 的新反諷
微軟研究院的 Simkute、Tankelevitch、Sellen 等人（2024）把 Bainbridge 的觀點帶到了生成式 AI。他們在《國際人機互動期刊》發表的〈生成式 AI 的反諷〉中指出，雖然生成式 AI 在寫作、程式等任務上可以提高生產力，但也有不少研究發現使用者反而效率下降。他們歸納出四個原因：
- 從產出轉為評估。 人的角色從「自己寫」變成「審查 AI 寫的」。但審查是另一種能力，而且往往比想像中更費力。
- 工作流程被打亂。 AI 的加入改變了做事的順序與節奏，而新的流程未必比舊的好。
- 任務被打斷。 使用 AI 的過程本身，會把工作切成碎片，讓人難以持續專注。
- 簡單的更簡單，困難的更困難。 這幾乎是 Bainbridge 第一個反諷的現代版本。
他們提出的解決方向，包括持續的回饋、清楚的人機分工、穩定任務的節奏等，都來自航空與工業安全領域數十年的經驗。這份研究的價值在於：它提醒我們，生成式 AI 的問題不是新問題，而是舊問題換了一個新的形式。
要說清楚的是，這份研究是整理文獻後提出的框架（證據等級 B），而 Bainbridge 的研究對象是工業控制系統（證據等級 A）。兩者都沒有直接測量「AI 代理停擺時，企業員工能不能接手」。但幾十年來航空、電力與醫療的經驗，都指向同一個方向。
組織的盲點：營運持續計畫只想到系統，沒想到人
大部分企業都有營運持續計畫，但內容多半是資料備份、異地機房、系統切換。很少有計畫會問：如果 AI 停了，人還會不會做？
AI 代理帶來了三種過去比較少見的「失靈」情境：
- 系統當機 供應商的服務中斷、網路問題、資安事件。這是最容易想到的。
- 模型改版 系統沒有停，但模型更新之後行為改變了，以前可靠的地方變得不可靠。這是最難察覺的。Gallifant、Kellogg 等人在醫院導入 AI 代理的田野指南中就提醒，大型語言模型不是「驗證一次就好」，而是需要持續測試；他們每週用固定的標準測試集重新評分，以偵測行為的變化。在正式上線之前，他們也讓系統在背景「靜默運行」三個月，觀察它的行為而不影響臨床決策。
- 供應商退場 供應商被併購、改變定價、或停止服務。如果流程完全建立在特定的 AI 工具上，組織的選擇權就很小。
這三種情境的共同點是：它們發生時，組織真正的備援不是另一個系統，而是人。而人能不能接住，取決於平常有沒有維持手感。
心理動力的解讀：對系統的理想化
以下是作者的觀點，而非上述研究的發現。
為什麼組織不太會去想「AI 失靈怎麼辦」？技術上的理由是「它很少出問題」；心理上的理由，可能是對系統的理想化。
導入 AI 往往伴隨著很大的期待：它會解決人力不足、它會讓品質穩定、它不會請假也不會離職。這份期待讓組織得以暫時放下對不確定的焦慮。而去想「它會失靈」，就是把這份焦慮重新叫回來。所以提出這個問題的人，常常會被視為「悲觀」、「不支持轉型」。
還有另一層。「維持手感」意味著承認人的技能仍然重要，也意味著要持續投入時間與成本在「不一定用得到」的能力上。這和「導入 AI 是為了省下人力」的敘事是衝突的。所以組織容易選擇不去想，直到停擺的那一天。
怎麼做：讓人維持「手感」
一、找出關鍵流程的人工備援。 列出所有依賴 AI 的流程，對每一個問：如果 AI 停擺一天，影響有多大？有沒有人工的替代做法？誰會做？手冊是不是最新的？〈工作圖的下一步〉介紹的工作鏈地圖，可以幫助找出這些關鍵節點。優先處理那些「影響大、沒有人工備援」的流程。
二、定期「無 AI 演練」。 就像消防演練一樣，每季或每半年安排一次：在一個不影響客戶的時段，關掉 AI，讓團隊用手動流程處理一部分工作。演練的目的不只是測試，而是讓人記得怎麼做，也讓組織發現哪些地方已經斷了。新人特別需要這個經驗，因為他們可能從來沒有在沒有 AI 的情況下工作過。
三、把維持手感納入職能。 在關鍵職務的職能要求中寫入「在沒有 AI 的情況下完成核心任務」，並且定期評估。這會讓「維持手感」從個人的好習慣，變成組織的正式要求。導入新的 AI 系統時，也可以參考醫療團隊的做法：先靜默運行一段時間，讓人與系統並行，而不是一次全部切換。
給人資與 OD 的提醒： 營運持續計畫通常是 IT 與風控部門負責，但「人還會不會做」是人力資源與組織發展的問題。建議主動參與營運持續計畫，把「人工備援能力」加入風險評估，也把「無 AI 演練」的時間納入訓練預算。
結語：最好的自動化，也需要接得住的人
Bainbridge 四十年前就告訴我們：自動化越成功，人在出事時越沒有能力接手。這不是反對自動化的理由，而是自動化時必須一起設計的部分。AI 代理失靈的那一天一定會來；到時候能不能接住，取決於今天有沒有人還在練習。
留給你的問題： 如果你們最依賴的 AI 工具明天停擺，哪一個流程會最先停下來？
延伸閱讀
參考文獻
- Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.（證據等級 A：經典理論文獻）
- Gallifant, J., Kellogg, K. C., et al. (2025). A field guide to deploying AI agents in clinical practice (arXiv:2509.26153). https://arxiv.org/abs/2509.26153（證據等級 B 到 C：預印本，單一醫院個案）
- Simkute, A., Tankelevitch, L., Kewenig, V., Scott, A. E., Sellen, A., & Rintel, S. (2024). Ironies of generative AI: Understanding and mitigating productivity loss in human-AI interaction. International Journal of Human–Computer Interaction, 1–22. https://doi.org/10.1080/10447318.2024.2405782（證據等級 B：同儕審查文獻整理）
慧培國際相關服務
- 工作鏈地圖工作坊：找出依賴 AI 的關鍵流程，設計人工備援與接手的機制。
- 核心小組陪跑：陪伴組織設計「無 AI 演練」與手感維持計畫，讓人在系統失靈時接得住。
更多資訊請見慧培國際網站 www.whitespace-leadership.com 。