Edition note: An independent English rewriting for readers of Stanisław Lem's Fiasco. It preserves the Chinese argument while reorganizing its sequence for an English-language essay. Full-book spoilers.
No human intuition can integrate everything the Hermes must consider: orbital mechanics, alien technology, signal patterns, biological danger, and the consequences of waiting. The supercomputer’s calculations are indispensable.
They are not self-authorizing.
A model may estimate that one intervention has a lower chance of catastrophe than another. It cannot decide by calculation alone whether the crew has the right to impose either risk on Quinta.
The input categories already contain judgments. What counts as war, nonresponse, danger, or successful contact? How much possible destruction is acceptable to save a civilization whose wishes remain unknown? Different descriptions produce different optimal actions.
Collective command can further dilute responsibility. One person interprets data, another approves a plan, another prepares the weapon, and the machine executes. Each participant may feel that the decisive choice occurred elsewhere.
Father Arago’s ethical objections cannot replace technical expertise. They expose what expertise omits: the mission’s goal may not justify every probability of success, and failure may need to be acknowledged before capability is exhausted.
A serious decision system should include thresholds for uncertainty, civilian exposure, reversibility, and withdrawal. “Return without contact” must remain a possible outcome rather than a zero-value result.
The computer should present assumptions and alternative models, allowing dissent to focus on the values embedded in them. High-impact steps need renewed authorization rather than automatic continuation from the original mission.
Fiasco is not a warning against machines making decisions. Humans in the novel are fully capable of rationalizing escalation. Its warning is against using computational precision to erase the moment at which someone chooses.
Risk never becomes neutral because it has a percentage. The central question remains: who benefits from taking it, who will absorb it, and who had no place in defining the calculation?
版本说明:中文原作;简体与繁体同页切换。人物、译名与关键情节已按作品文本校订。全书剧透。
赫尔墨斯号面对复杂轨道、陌生信号、武器效应和有限时间,任何人都无法独立处理全部数据。大型计算系统能够比较方案、模拟后果,并揭示人类讨论中忽略的变量。
深空接触尤其需要这种能力。信号往返、轨道变化、冰环碎片和昆塔可能采取的反制彼此影响,单靠经验很容易错过延迟效应;船员的恐惧和期待也会放大少数显眼迹象。计算系统能够同时保留多种情景,给出概率范围,并检查某项武器是否会产生超出直觉的后果。把这种工具排除在伦理判断之外,并不会让决定更有人性,只会让未经检验的直觉取得优势。
船员讨论昆塔是否攻击、示威成功率、星球毁灭风险,数字使决定显得客观。但把平民死亡与任务成功放入同一公式,仍需要有人决定权重。
概率还有一种心理作用:它把未知变成仿佛可以持有的数量。说“昆塔有敌意”显得主观,说“敌对反应概率为某个区间”则像事实已经稳定。可这个数字依赖分类、先验假设和观测缺口;若模型把所有沉默都算作敌意迹象,精确的小数并不会提高认识。决策者需要同时看到结果和模型为何得到结果,尤其要知道哪些变化会让数字失效。
同样,预期损失不是自然给出的尺度。一次行动可能有较低概率造成极大平民伤亡,也可能有较高概率挽回任务声誉;把两者相加以前,必须先决定哪些伤害具有不可跨越的限制。若一切都可兑换成“接触成功率”,再小的成功增量也可能为巨大的外部风险提供数学外衣。
科学家提供推断,工程师说明武器,指挥官作最终命令,计算机给出概率。分工提高质量,也会分散责任:每个人都能说毁灭不是自己单独决定的。
例如,科学家可以说自己只提出昆塔战争模型,并未授权打击;工程师可以说自己只保证装置按参数工作;指挥官可以说方案得到计算与专家支持;执行者又可以说自己遵照预案。每句话都可能局部真实,合在一起却形成无人完整承担的毁灭。复杂系统的责任不能退回“找到一个恶人”,但也不能因为找不到单一恶人就消失。
复杂行动本来就不应归罪于一个按钮操作者。但共同责任不是无人负责,而是各自说明知道什么、反对过什么、在哪一步仍能改变路线。
赫尔墨斯号为接触准备了大量方案,却没有真正准备“不接触成功”这一结局。每次计划受阻,系统便生成更强手段,直到行星毁灭也进入可执行范围。
停止条件必须在任务热情尚未受挫时写下,因为受挫以后,每个人都会受到既有投入和死者记忆推动。可以规定:若一定次数的低侵入信号无回应,远征转为远程观察;若无法识别有权代表当地的接收者,不得签订以全体为责任人的协议;若任何方案需要用大规模环境伤害迫使会面,接触任务即告失败。这些条款不是预测所有细节,而是为失败保留一个不会自动滑向惩罚的出口。
停止也应有积极内容。撤离时保存数据、公开模型不确定处、留下可由昆塔自主开启的信息,并为未来任务提出不同设计,都是完成工作的一部分。若“停止”只被想象成空手而归,团队自然会竭力回避;若制度承认诚实失败同样贡献知识,成员才有可能在最后期限之前说出方向已经错了。
版本說明:中文原作;簡體與繁體同頁切換。人物、譯名與關鍵情節已按作品文本校訂。全書劇透。
赫爾墨斯號面對複雜軌道、陌生訊號、武器效應和有限時間,任何人都無法獨立處理全部資料。大型計算系統能夠比較方案、模擬後果,並揭示人類討論中忽略的變量。
深空接觸尤其需要這種能力。訊號往返、軌道變化、冰環碎片和昆塔可能採取的反制彼此影響,單靠經驗很容易錯過延遲效應;船員的恐懼和期待也會放大少數顯眼跡象。計算系統能夠同時保留多種情景,給出機率範圍,並檢查某項武器是否會產生超出直覺的後果。把這種工具排除在倫理判斷之外,並不會讓決定更有人性,只會讓未經檢驗的直覺取得優勢。
船員討論昆塔是否攻擊、示威成功率、星球毀滅風險,數字使決定顯得客觀。但把平民死亡與任務成功放入同一公式,仍需要有人決定權重。
機率還有一種心理作用:它把未知變成彷彿可以持有的數量。說「昆塔有敵意」顯得主觀,說「敵對反應機率為某個區間」則像事實已經穩定。可這個數字依賴分類、先驗假設和觀測缺口;若模型把所有沉默都算作敵意跡象,精確的小數並不會提高認識。決策者需要同時看到結果和模型為何得到結果,尤其要知道哪些變化會讓數字失效。
同樣,預期損失不是自然給出的尺度。一次行動可能有較低機率造成極大平民傷亡,也可能有較高機率挽回任務聲譽;把兩者相加以前,必須先決定哪些傷害具有不可跨越的限制。若一切都可兌換成「接觸成功率」,再小的成功增量也可能為巨大的外部風險提供數學外衣。
科學家提供推斷,工程師說明武器,指揮官作最終命令,計算機給出機率。分工提高品質,也會分散責任:每個人都能說毀滅不是自己單獨決定的。
例如,科學家可以說自己只提出昆塔戰爭模型,並未授權打擊;工程師可以說自己只保證裝置按參數工作;指揮官可以說方案得到計算與專家支持;執行者又可以說自己遵照預案。每句話都可能局部真實,合在一起卻形成無人完整承擔的毀滅。複雜系統的責任不能退回「找到一個惡人」,但也不能因為找不到單一惡人就消失。
複雜行動本來就不應歸罪於一個按鈕操作者。但共同責任不是無人負責,而是各自說明知道什麼、反對過什麼、在哪一步仍能改變路線。
赫爾墨斯號為接觸準備了大量方案,卻沒有真正準備「不接觸成功」這一結局。每次計畫受阻,系統便生成更強手段,直到行星毀滅也進入可執行範圍。
停止條件必須在任務熱情尚未受挫時寫下,因為受挫以後,每個人都會受到既有投入和死者記憶推動。可以規定:若一定次數的低侵入訊號無回應,遠征轉為遠程觀察;若無法識別有權代表當地的接收者,不得簽訂以全體為責任人的協議;若任何方案需要用大規模環境傷害迫使會面,接觸任務即告失敗。這些條款不是預測所有細節,而是為失敗保留一個不會自動滑向懲罰的出口。
停止也應有積極內容。撤離時保存資料、公開模型不確定處、留下可由昆塔自主開啟的資訊,並為未來任務提出不同設計,都是完成工作的一部分。若「停止」只被想像成空手而歸,團隊自然會竭力回避;若制度承認誠實失敗同樣貢獻知識,成員才有可能在最後期限之前說出方向已經錯了。