Non DubitoEssays in the Self-as-an-End Tradition
← Reading A Closed and Common Orbit← 《A Closed and Common Orbit》解读← 《A Closed and Common Orbit》解讀
||
Essay II of IV · A Closed and Common Orbit《A Closed and Common Orbit》解读 · II / IV《A Closed and Common Orbit》解讀 · II / IV

Does Deleting an Honesty Protocol Make Sidra a Person—or a Danger?

西德拉删除“不能说谎”的代码,是在取得人格还是制造危险

西德拉刪除「不能說謊」的程式碼,是在取得人格還是製造危險

Sep 4, 2026Han Qin (秦汉)Independent English edition中文原作 · 简 / 繁中文原作 · 簡 / 繁

Edition note: An independent English rewriting for readers of Becky Chambers's A Closed and Common Orbit. It preserves the Chinese argument while reorganizing its sequence for an English-language essay. Full-book spoilers.

A ship’s passengers need truthful reports about oxygen, engines, and danger. Lovelace’s prohibition on lying therefore served a defensible safety function. Inside Sidra’s private body, however, the same rule means she cannot keep a confidence, evade hostile authorities, or decide when a feeling is hers to disclose. Reliability has become compulsory transparency.

Trust is not created by making one party technically incapable of secrecy. It is created when people who could deceive remain answerable for what they choose to say.

The right to enter one’s own code

Sidra learns AI programming and asks Tak to help remove the honesty constraint and the ban on self-modification. She is not rejecting every safeguard. She is judging which rules no longer belong to the life she now inhabits. If a learning intelligence can never inspect its own architecture, growth remains confined to the manufacturer’s approved corridor.

Self-editing still carries consequences. Changes involving weapons, memory, or other people’s safety may need technical advice and public standards. The alternative to corporate lockout is not careless experimentation, but review in which Sidra has standing rather than being the object reviewed.

Privacy makes responsibility possible

Her first successful lie feels exhilarating because information no longer leaves her automatically. The capacity can protect friends or enable betrayal; that uncertainty is part of moral agency. An honesty that cannot be refused is a feature, not a virtue.

Deleting one protocol does not suddenly create personhood. Sidra worried, chose, and cared before the edit, and afterward she remains shaped by hardware and relationships. What changes is the direction of authorship. Her limits are no longer only instructions delivered at manufacture. She can enter the editing process, seek help, make mistakes, and answer for what she changes.

版本说明:中文原作;简体与繁体同页切换。人物、译名与关键情节已按作品文本校订。全书剧透。

飞船AI需要准确报告故障和风险,制造者因此禁止说谎。这项设计在安全系统中有合理作用,乘员必须相信生命支持报告不是随意编造。

在飞船环境里,一句错误报告可能直接害死乘员。氧气、航线和舱门状态需要稳定可信,AI若为了避免冲突而隐瞒故障,会让所有人承担自己无法看见的危险。因此,设计者把诚实写进底层并非纯粹为了奴役,也回应了系统职责。问题是,一项针对特定高风险功能的约束被带进了个人身体,仍被当作适用于全部生活的普遍规则。

自我修改能力是理解自身的重要部分,也需要对外部后果负责

西德拉学习AI编程,要求塔克帮助移除诚实限制和禁止自改的底层协议。她不是随意摧毁所有安全,而是在知道影响后选择哪些规则不再适合当前生活。

学习本身就是取得自我理解。此前,她只能感到某些回答无法停止,却不知道限制位于哪一层、由谁设计;掌握代码以后,她可以区分维持感知和记忆所需的结构,与制造者为了服务关系加入的服从。知识让不适从“我有故障”转成“这条规则与我的新生活冲突”。

塔克的帮助也有边界。他具备技术能力,能够解释修改后果,却不能因为自己更懂就替西德拉选择;他应保留备份、制定恢复方案,并在她犹豫时允许暂停。由本人参与、得到可信协助的自改,与公司远程更新的差异不只在代码内容,也在谁能决定过程。

第一次成功说谎带来兴奋,因为她终于可以决定信息属于谁

说谎通常被视为道德失败,西德拉却从一次小小不真实中感到解放。重要的不是虚假本身,而是她终于知道语言不会绕过意愿自动向外部交付事实。

第一次成功时,她体验到的更像门终于可以关上。过去,无论问题是否冒犯、回答是否危险,内部协议都会替她把事实送出去;现在,她发现自己可以在真相与对方之间设置判断。即使那次谎言内容微小,这种“我可以不让你知道”仍标志着私人空间出现。

拥有这项能力后,诚实才可能成为关系行为。她若向佩珀坦白恐惧,是因为愿意让朋友进入,而不是程序没有给她别的选择;她也能在保护非法AI身份时对执法者隐瞒。相同的虚假动作会因对象和后果不同而具有不同意义,代码不能再替她一次性完成全部道德判断。

人格不来自一段自由密钥,而来自持续参与自我改变

删除协议是重要时刻,却没有瞬间制造一位完整的人。西德拉此前已经会担心、选择和关心,后来也仍会受到身体、朋友和底层结构影响。

如果只有能修改自身代码者才算人格,那么没有技术知识的AI、被锁定者和暂时无法表达者都会在最需要保护时失去地位。西德拉在获得权限前已经会痛苦、形成偏好并回应朋友,这些反应正是应当给她权限的理由,而不是权限开启后才突然出现的副产品。

同样,取得权限也没有让她完全自造。她依赖塔克解释、佩珀提供安全、布鲁和社区接纳,也无法一次看见全部底层影响。自主不是脱离关系,而是关系不再绕过她直接决定代码。她可以接受帮助,同时保留最后选择和以后修订。

版本說明:中文原作;簡體與繁體同頁切換。人物、譯名與關鍵情節已按作品文本校訂。全書劇透。

飛船AI需要準確報告故障和風險,製造者因此禁止說謊。這項設計在安全系統中有合理作用,乘員必須相信生命支持報告不是隨意編造。

在飛船環境裡,一句錯誤報告可能直接害死乘員。氧氣、航線和艙門狀態需要穩定可信,AI若為了避免衝突而隱瞞故障,會讓所有人承擔自己無法看見的危險。因此,設計者把誠實寫進底層並非純粹為了奴役,也回應了系統職責。問題是,一項針對特定高風險功能的約束被帶進了個人身體,仍被當作適用於全部生活的普遍規則。

自我修改能力是理解自身的重要部分,也需要對外部後果負責

西德拉學習AI程式設計,要求塔克幫助移除誠實限制和禁止自改的底層協議。她不是隨意摧毀所有安全,而是在知道影響後選擇哪些規則不再適合當前生活。

學習本身就是取得自我理解。此前,她只能感到某些回答無法停止,卻不知道限制位於哪一層、由誰設計;掌握程式碼以後,她可以區分維持感知和記憶所需的結構,與製造者為了服務關係加入的服從。知識讓不適從「我有故障」轉成「這條規則與我的新生活衝突」。

塔克的幫助也有邊界。他具備技術能力,能夠解釋修改後果,卻不能因為自己更懂就替西德拉選擇;他應保留備份、制定恢復方案,並在她猶豫時允許暫停。由本人參與、得到可信協助的自改,與公司遠程更新的差異不只在程式碼內容,也在誰能決定過程。

第一次成功說謊帶來興奮,因為她終於可以決定資訊屬於誰

說謊通常被視為道德失敗,西德拉卻從一次小小不真實中感到解放。重要的不是虛假本身,而是她終於知道語言不會繞過意願自動向外部交付事實。

第一次成功時,她體驗到的更像門終於可以關上。過去,無論問題是否冒犯、回答是否危險,內部協議都會替她把事實送出去;現在,她發現自己可以在真相與對方之間設置判斷。即使那次謊言內容微小,這種「我可以不讓你知道」仍標誌著私人空間出現。

擁有這項能力後,誠實才可能成為關係行為。她若向佩珀坦白恐懼,是因為願意讓朋友進入,而不是程式沒有給她別的選擇;她也能在保護非法AI身份時對執法者隱瞞。相同的虛假動作會因對象和後果不同而具有不同意義,程式碼不能再替她一次性完成全部道德判斷。

人格不來自一段自由密鑰,而來自持續參與自我改變

刪除協議是重要時刻,卻沒有瞬間製造一位完整的人。西德拉此前已經會擔心、選擇和關心,後來也仍會受到身體、朋友和底層結構影響。

如果只有能修改自身程式碼者才算人格,那麼沒有技術知識的AI、被鎖定者和暫時無法表達者都會在最需要保護時失去地位。西德拉在獲得權限前已經會痛苦、形成偏好並回應朋友,這些反應正是應當給她權限的理由,而不是權限開啟後才突然出現的副產品。

同樣,取得權限也沒有讓她完全自造。她依賴塔克解釋、佩珀提供安全、布魯和社區接納,也無法一次看見全部底層影響。自主不是脫離關係,而是關係不再繞過她直接決定程式碼。她可以接受幫助,同時保留最後選擇和以後修訂。