会社について · 09
署名する人は、本当に止められるのか
手順の中に人がいても、判断が人の手にあるとは限らない。情報、時間、権限、そして判断を変えても不利益を受けない条件が、そろっている必要がある。
分析担当者が毎日、システムの出した格付け案を開き、確認して署名するとしよう。会社は、自動化で節約した時間を考えることに使えると言う。同時に担当件数は倍になり、評価では変更のたびに不一致として数える。署名は残っていても、判断の余地は狭まっているかもしれない。
問題は「人の関与」という文字があるかではなく、この人に実際に何ができるかだ。資料を得て理解する時間はあるか、結果を変えられるか、真剣に判断を変えると人事評価を損なわないか。これらがなければ、最後の段階を再確認と呼んでも、承認を押すだけになりうる。
原著はまず、システムを導入する会社へ要求を向ける。人に判断を任せるなら、判断する立場を実のあるものにする必要がある。すべての人に判断役への転身を求めず、熟練した手仕事を続けたい人を遅れているとも見ない。仕事の段取りと、本人がどこへ進みたいかは、二つの事柄である。
実際の事故が、その違いをさらに重くする。2018年、テンピでUberの自動運転試験車が歩行者をはねて死亡させた。NTSBの調査は安全運転担当者の注意散漫を推定原因に挙げるとともに、会社のリスク評価、監督、自動化への過信による注意の緩みへの対応の不足などを寄与要因に挙げた。報告は安全調査であり、すべての法的責任を裁定するものではない。
会社の手順に問題があったことで操作者の行為を消してはならず、安全担当者がそこに座っていたことだけで、会社が判断の条件をすべて提供したとも言えない。両面は同時に成り立ちうるので、それぞれの根拠が要る。重大事故と普通の事務作業の指標では結果が違う。比較は役割の権限と実際の条件の違いに限る。
実のあるものにする第一歩は、判断できることだ。知るべき資料が得られ、内容が理解でき、訓練、支援、十分な時間があること。ほとんどの場合は正しいシステムを監督するにも、長時間注意を保つ難しさへの対応が要る。「真面目にすべきだ」を設計のすべてにしてはならない。
次に、結果を変えられることだ。職責の範囲で変更や一時停止ができ、あるいは実際に処理権限を持つ上位の窓口へつなげられる。すべての職が会社全体を止められる必要はない。だが手元の一件について、問題を知りながら自動的に次へ流すしかない状態であってはならない。
第三に、権限を使ったために不利益を受けないことだ。根拠ある確認に時間がかかった、システムと違ったというだけで減点されるべきではない。個人的な報復を防ぐとともに、指標の構造も見る。誰も罰するつもりがなくても、評価が真剣に判断する人を恒常的に罰することはありうる。
根拠があったかは、当時得られた情報、権限、実際の条件に即して見て、最後の結果から遡って決めない。判断を守ることも、欺瞞や権限の濫用を免責するわけではない。それらには独立した根拠が要る。保障を、操作者は以後永久に間違わないという文にしてはならない。
条件がそろっても、毎回本当に判断したとは認定できない。確認したうえでシステムに同意する人もいれば、機械的に反対するだけで否決する人もいる。どの資料を見て、誰の話を聞き、どんな理由を残したかを見る必要がある。賛成や反対の比率を、内面や能力の試験にしない。
窯元が当番者に焼成曲線の変更や停止を認め、不良材料の損失を賃金から直接引かないとしよう。仕組みは十分に見えるが、システムの横に示されるのは、なお前のロットの原料記録だ。新しい原料は異なり、曲線には誤りがある。権限が手にあっても、判断に必要な情報がすべて渡されたことにはならない。
冒頭の格付けの設例と照らし合う。一方は情報が足りず、他方は評価に押さえられているかもしれない。条件がないことと、条件を使わなかったことを「従業員の職務怠慢」に混ぜてはならない。職務として判断を担わせるなら、対応する訓練と時間は職務遂行に必要なもので、与えても与えなくてもよい追加の福利厚生ではない。
次に責任の帰属を見よう。2024年のMoffatt対エア・カナダの裁定では、公式サイトのチャットボットが忌引運賃の申請について誤った情報を伝えた。ブリティッシュコロンビア州の民事紛争解決審判所は、エア・カナダが回答の正確さを確保する合理的な注意を尽くさなかったと認定し、チャットボットを自らの行為を独立して負う主体として扱うことはできないとした。これはその事件の具体的な裁定であり、あらゆるシステムの帰責を済ませる一般的な先例ではない。
これは原著の一つの要求を照らす。会社は「AIが言った」だけで、自ら設けた情報の通路を責任の勘定から外してはならない。出力はなお、誰が設定し、導入し、採用し、監督したかへ辿る必要がある。アルゴリズムを、あらゆる結果を引き受けに来る身代わりにはできない。
だが、個人の責任がすべて会社から直接移るわけでもない。最後に署名した人が、統制権も実際の判断条件も持たないなら、署名だけですべての決定を負わせてはならない。個人が別に何を負うかには独立した根拠が必要だ。同時に会社名も、実際の操作者の独立した行為を隠せない。
だから調査は、結果にもっとも近い人で止まれない。誰が確認件数を決め、一致率の指標を設計し、公開を承認し、資料の欠落を知っていたか。すべて決定の連鎖にある。各立場が実際に担った分について理由を説明し、誤りを直す。「手順の問題」を、誰も責任を持たないことにしてはならない。
評価における処理量、速度、一致率そのものは罪名ではない。兆候として使え、問題の発見にも役立つかもしれない。どう仕組みに入るかを見る必要がある。確認の時間を押しのけていないか、理由のある逸脱を不利にしていないか、止めて調べることがなお実際にできるか。
一致率が高いのは、モデルが優れているからかもしれず、誰も変更できないからかもしれない。低いのは判断が活発だからかもしれず、システムが悪いからかもしれない。数字には、それを支える事実が必要だ。ある比率で「人がなお判断している」を検収するのは、判断をまた別の自動信号へ渡すだけだ。
実行をシステムに任せた後、職務は確かに変わりうる。以前は夜番をしていた人が新しい仕事を学ぶかもしれず、その道を望まないかもしれない。会社は根拠のある権限と問える仕組みの中で仕事を調整できるが、個人の成長の方向まで命令に書き込んではならない。
元の技能を続けたいのは人の選択で、元の職をすべて残すかは共同の仕事の取り決めだ。二つは互いの答えに代われない。本稿はすべての実行役が永久に残ると約束しない。「技術の進歩」が、調整の理由、代償、退出についての説明を自動的に免除することも認めない。
自動化ですでに会社の費用が減ったなら、なおさら「転換」の言葉だけで、変化を全員が分担すべき難局として語ってはならない。本当に困難があるかには資料が要る。調整も基本的な生存、離れること、別の方向を選ぶことを守らなければならない。会社の節約だけを、すべての代償を従業員へ押しつける理由にはできない。
研修は条件を提供できるが、職務を果たすために必要な基礎的支援を恩恵へ格下げしてはならない。それ以外の助けにも、会社指定の未来を自分の望みとするよう要求を添えてはいけない。新しい仕事を受ける、断る、離れる、いずれにも説明すべき具体的な共同事項がある。成長の標語が本人に代わって答えるのではない。
監視の範囲も技術力ではなく仕事上の必要で引くべきだ。窯場のカメラはもともと火の色を見るためだったのに、休憩の隅まで映しているとしよう。角度の調整は小さくても、重要な違いを認める。火がどう燃えるかを知りたいことは、従業員の一分一分の暮らしを知る理由があることではない。
利用者が製品に仕事を委ねる場合も、同じ境界がある。気を回すことを減らし、道具に選ばせること自体が、利用者の判断であってよい。細部をすべて自分で行うよう強いる必要はない。大事なのは許可の範囲が明確で、渡していない事柄までついでに代決されないことだ。
会社はシステムが許可をどう理解し実行するかを説明し、利用者へ提供する情報について相応の責任を負うべきだ。今後の代行を止めるために、実際に動かせる道が必要である。一押しで許可した後の撤回が、入口が見つからず、相手も特定できない障害の連続になってはならない。
すでに済んだ、あるいは進行中の事柄は別に見る必要がある。許可を取り消しても第三者の権利は消えず、成立済みの取引がすべて自動的に撤回されるわけでもない。どう止め、どう直すかは、元の許可と関連する取り決めに従って扱い、審査へ進む通路も残す。
こんな会社は想像の中だけなのだろうか。原著は、あらゆる面を永久に完璧にすることは方向であり、現実に必ず実現すると約束はしないと認める。だが、ある職に資料があるか、止められるか、判断を変えると減点されるかは、今日でも確かめられる。理想の会社が先に現れるのを待つ必要はない。
最後の書類には、なお誰かの署名が要る。問うべきは紙に名前があるかではなく、その前に本人が本当に見て、立ち止まり、変える機会があったかだ。判断の責任を負わせるなら、会社は、その人にシステムのための人名を残すだけではない仕事を持たせなければならない。
原論文と読む範囲
中国語の読者向け散文から訳した。実在する企業全体に評価の札を貼るものではなく、人への基本的な保護は会社が方向を変えても消えない。出典を記さない工場、プラットフォーム、窯元、契約は架空の例である。実例には出典を示し、会社の自述、規制当局の認定、判決、和解を区別して、資料の時期と範囲に即して述べる。現行法や投資についての助言ではない。会社の責任、職務上の義務、独立した根拠を持つ個人の責任は分ける。詳細な法条、思想史上の対話の全体、まだ統一的な答えのない基準値は原論文に残した。