核能杀手Therac-25：治病机器与杀人软件
图片来源@视觉中国
文 | 郭华
01 杀手的诞生
1973年，苏联开始在基辅修建切尔诺贝利核电站，除了满足乌克兰的用电需求外，还希望借此向世界展示苏联“和平利用核能”的形象。
差不多同时，加拿大一家造核电站的公司AECL，成立了医疗部门，开始开发放射治疗仪。
核能有三个主要的应用领域，分别是核武器、核动力、核医学。一般来说，后两者被认为是和平的，且越靠后就越和平。
AECL全称Atomic Energy of Canada Limited，成立于1952年，由加拿大国家控股，其使命就是和平利用核能，所以AECL开发放射治疗仪似乎天经地义。不过AECL的医疗部门并不是从头开始的，他选择了和法国的CGR公司合作，然后把CGR的两款老产品进行升级，变成了自己的新产品，分别起名为Therac-6和Therac-20。
这算借腹生子？还是借子生子？都不重要，重要的是孩子已经有了。
可能是这两款产品让AECL站稳了脚跟，也可能是双方在市场上产生了分歧，总之因为一些未公开的原因，AECL和CGR的合作在1981年终止。
这年，切尔诺贝利的第三个反应堆建成开始发电，按照预期，六个反应堆都建成后切尔诺贝利将成为苏联最大的核电站。
AECL的脚步也没有暂停，他在结束合作的一年后推出了Therac-25。
Therac-25有很多特别之处。
在AECL的产品体系中，后缀表示辐射能量，Therac-6的能量是6MeV，Therac-20是20MeV，Therac-25就是25MeV。所以他的能量是最大的，更大的能量意味着能够触达更深的病灶。而且他更先进，因为他能够完全由软件进行控制——就像2007年的iPhone、2010年的特斯拉一样，更发达的软件就是先进的表现，至少是现今的表象。借助于发达的软件，他省去了很多硬件，甚至包括安全锁，所以他的成本也更低。
更重要的，他是AECL的亲儿子。
1983年，加拿大总领事馆在美通社新闻中对其进行了隆重发布，并在随后交付出了11台，其中5台在美国，6台在加拿大。巧合的是，后来发生爆炸的切尔诺贝利四号反应堆也是在这年上线的。
辐射的衡量单位是伦琴。
在切尔诺贝利爆炸的反应堆旁站十分钟，受到辐射量大概是5000伦琴。
Therac-25在事故中给患者施加的剂量是切尔诺贝利的4倍，能够达到20000伦琴以上，是常规治疗的100倍。
而短期内全身接受1000伦琴的剂量便会致人死亡。
所以说如果切尔诺贝利像一个核弹，那么Therac-25就像一个杀手，披着治病救人的外衣反复作案——在1985-1987年间，他总共制造了6起事故，其中4人死亡，2人重伤。
02 失控的核能
Therac-25系列事故的本质就是AECL的失控——他的软件无法控制他的硬件，他也控制不了他的软件，而他的软件和硬件一起，又正在控制着核辐射。
1985年6月，美国佐治亚州的肯尼斯通肿瘤中心，第一起。
这是一次胸部肿瘤的常规放射治疗，射线强度预期200伦琴，照射位置为前胸，患者是一名61岁女性。但治疗开始后不久，患者便感觉到了剧烈的灼烧感，随后前胸的照射点、后背的贯穿性对应位置都出现了红肿，这很像辐射伤。医生立即停机并联系了AECL。
三天后，AECL回了电话，表示过量辐射是不可能的。
患者不认可这个结论，医院又给不出其他合理解释，于是患者便把医院和AECL一块告上了法庭。但AECL始终拒绝承认Therac-25有问题，再加上治疗当天Therac-25的打印功能被禁止了，当时的机器参数并没有备份，所以该起诉讼最终庭外和解。
患者的胸部被切除，后来经过测算，当时的辐射强度大概在15000伦琴到20000伦琴之间。
这起事故发生在美国，美国有个FDA（食品药品监督管理局），但Therac-25上市并没有经过FDA的测试。
FDA的上市认可有两种，一种是PMA（Pre-market Approval)），一种是510K。PMA需要厂家充分证明该设备的安全性，并通过FDA组织的临床试验与实验室测试。而510K则轻松的多，只要证明该设备与市场上已存在的设备具备等同性即可。
Therac-25上市用的是510K，大概是因为他与Therac-20具有某种意义上的等同性。
实际上不仅FDA没有对Therac-25进行过独立测试，AECL也没有，他在1986年提交给FDA的事故报告里承认了这一点。
AECL表示一直以来所有设备（Therac-6、Therac-20、Therac-25）上的软件都是一块进行测试的，没有单独对Therac-25进行过完整测试。Therac-25的很多代码是从Therac-6中移植过来的，大概AECL认为测过Therac-6就相当于测过Therac-25了吧。
另外还需要一提的是，Therac-6的代码都是法国伙伴CGR编写的。
后来的事实证明，AECL对这些代码知之甚少。
1985年7月，加拿大安大略省癌症基金会，第二起。
和第一起类似，患者在治疗过程中感觉到了剧痛和灼烧感，但诡异的是，明明是辐射过量，Therac-25显示器却多次报出了“No DOSE delivered （没有剂量传输）”信息。
随后AECL派了工程师去调查，无法复现错误。
但他还是表现出了一副控制了局面的样子。
他“猜测”问题是由电路故障导致的，然后基于这个猜测，AECL召回Therac-25进行了改造。根据说明，这次改造可以将安全性提升5个数量级，也就是原来的10万倍。
不知道这个数字是怎么来的，更不知道为什么如此安全，AECL还是在改造说明中建议用户使用Therac-25时最好进行“目视检查”。
这起事故的患者三个月后死亡，后来经过测算，当时的辐射强度大概在13000伦琴至17000伦琴之间。
1985年12月，美国雅基玛谷纪念医院，第三起。
这次事故中的Therac-25刚刚经过了AECL的所谓5个数量级安全性的改造。
和之情的情况类似，先是病人在放疗后身体出现了疑似过量辐射的红斑，于是医生联系AECL，之后便是AECL的否认三连：先回复不可能，然后表示从没有出现过类似的情况，最终猜测可能是其它原因。而且这次AECL还附了一个两页纸的说明，详细列举了Therac-25不可能过量辐射的理由。
医生没有办法，最终只能在院方的报告中将事故原因归为未知。
病人没有死亡，但留下了残疾和伴随终生的疼痛。
03 Debug
debug是查找软件bug的过程，其中的关键是复现。
所谓复现，是指找到bug发生的条件，然后模拟这些条件，让bug重复发生。前面事故一件件发生，而AECL始终没有成功复现过问题。
直到第四起和第五起。
这两起都发生在一个地方，前后间隔不过三周，本质就是一次天然复现。
1986年3月，美国东德克斯说肿瘤中心，第四起。
事故的迹象都是一样的，患者的症状也是一样的，AECL的回复同样是一样的：不可能、没听说、应该是其它原因。
这次AECL给出的其它原因是漏电，大概因为患者在描述当时的感觉时说像遭受了电击，并听到了滋滋声吧。
和之前一样，AECL靠着否认三连又一次控制了局面。
但很快，第五起就发生了。
1986年4月，美国东德克斯说肿瘤中心，第五起。
第五起和第四起发生在同一个地方，对医院和患者来说，这显然是一种巨大的不幸。但对整个事件来说，这却像一种幸运，因为正是如此才让Therac-25的bug现了原形。
不过复现bug的不是AECL，而是这个医院的医生。
第五起事故发生后，他不再相信AECL三周前给出的解释，开始自己调查事故原因。
他发现两次事故中，一个共同点是操作员都修改过处方。
图1是Therac-25的电脑输入界面。Therac-25支持两种射线模式，一种是X射线，一种是电子束，在正常的流程中，操作员依次从左上角输入到右下角，输入患者姓名、射线类型、射线能量等参数，最终光标会停到右下角，也就是绿色高亮的位置。
在这两次事故中，操作员均是在一切都输入完成后发现了错误：射线类型（BEAM TYPE）一栏应该是E（电子束），但错误输入成了X（X射线）。于是他移动光标对其进行了修改，然后又将光标移回了绿色高亮位置，随后点击确认，启动治疗。
图1 Therac-25的操作界面
但这个操作还不能保证复现问题，经过反复试验，医生找到了其中的关键，那就是时间，时间要快。
确切的说，修改要在八秒以内，这样bug就能稳定复现。
然后在医生的帮助下，AECL终于找到了Therac-25的bug。
图2 Therac-25 伪代码片段
实际上这个bug相当简单，仅仅是一句放错了位置的代码（见图2），但其隐蔽性要结合Therac-25的操作流程（图3）来解读才能显现出来。
图3 Therac-25执行流程图
把大象装冰箱要分三步，用Therac-25进行治疗也要分三步：第一步，操作员输入处方；第二步，Therac-25根据处方进行机器设置；第三步，开始治疗。正常情况下，三步顺序执行没有任何问题。
但这两次事故中操作员修改处方数据，实际上形成了一种并行。
并行是计算机领域的一个术语，指多件事同时执行，很多简单问题一并行就变的难以理解。
Therac-25的原始射线非常集中，而这对人体危害是很大的，所以Therac-25会在射线路径上放置一系列磁铁，来对射线进行分散。
设置磁铁的伪代码见图2。
如果懂一些编程的话，应该可以发现其标黄的用以清除标记位的指令（注释3）放错了位置，应该放在Magnet函数的循环外（注释4）。
不懂编程也没关系，只需要知道这段代码有bug，而这个bug会让Therac-25在调节磁铁的时候，忽略操作员对处方进行的修改。
调整磁铁需要8秒钟左右，这8秒，便是Therac-25的死亡窗口。
在这两起事故中，操作员的修改均发生在这个窗口内，所以修改都没有生效，也就是说，Therac-25实际执行的是X射线模式。
在Therac-25的设计中，X射线模式的能量只有一种，就是系统最大的25MeV，然后用一个射线过滤器来调节高强度的原始射线，将其减弱到治疗所需强度。
只不过这个过滤装置需要手工放置到照射路径上，而在这两次事故中显然都没有，因为操作员都以为正在执行的是电子束模式！
所以悲剧就这样发生了。
患者受到了原始的高强度射线的照射，事故中他们听到的滋滋声不是电流声，而是射线测量器被射线穿透后发出的声音，就像把42度量程的体温计扔到开水里一样，它已经饱和失效了。
后来经过测算，当时的辐射强度为25000伦琴，是站在爆炸的切尔诺贝利反应堆旁边十分钟接受的量的5倍。
两名患者均在不久后死亡。
04 后知后觉的监管
第五次事故发生后，医生把事故和复现事故的详细步骤告知了AECL。
AECL立即给所有用户发了一份声明，告知Therac-25存在问题，并给出了修改方案：
禁止向上移动光标。
就这么简单。
然后他又给FDA做了汇报。
这是AECL第一次正式给FDA汇报问题，前面四起事故中，只有第二起（发生在加拿大）AECL告知了美国的FDA，但只含糊的说Therac-25存在一个需要“目视检查”的问题，而且他还进行了召回。
不过AECL到底还是晚了一步，在此之前，FDA已经获得了来自德克萨斯州健康部门的“非法”汇报，并且已经开始调查AECL的问题了。
说“非法”，是因为当时的美国法律只要求医疗设备的制造商汇报问题，并没要求医院等使用者，所以FDA一直不知道发生了这么多起事故。实际上当时FDA对医院发生的、因医疗设备问题而引起的伤亡事故所知不足1%。Therac-25事件后，美国对这条规则进行了修改，同样要求使用者向FDA汇报问题。当然这都是后话。
当时FDA很快否定了AECL那个禁止向上移动光标的用户声明，并要求他按照《健康与安全辐射控制法》的规定进行整改，具体包括：通知所有购买者、调查问题、确定解决方案、提交对应的改进计划。
这时时间是1986年4月，惊世骇俗的切尔诺贝利大爆炸也发生在这一个月。
1986年5月，FDA再次要求AECL重新通知用户，详细说明问题，并提交改进计划。
这时Therac-25的用户也坐不住了，他们联合起来，举办了第一届Therac-25用户大会。
从某种意义上来说，这很像一种自救：事故在不断发生，而厂家给出的信息总是令人失望，对问题避重就轻，对改进夸大其词。作为用户，他们至少享有知情权。用户聚在一起，讨论了事故的详细经过，然后开始共同寻找解决方案。AECL也派人参加了会议，他们表示之前没透露太多信息完全是不想引发谣言，AECL绝对没有keep things quite的公司政治。
用户讨论后要求增加硬件锁。
AECL拒绝了他们，理由是多余。
但他表示自己正在开发一个能够把Therac-25的安全性再提升几个量级的补丁。这个补丁于1986年6月13发布，叫补丁V1。
不过FDA马上否定了补丁V1，并要求AECL给出详细测试计划。
AECL表示测试计划很难，但可以再加一个补丁，于是在1986年12月22日发布了补丁V2。
V2上线后的第25天，第六起事故发生了。
1987年1月，美国雅基玛谷纪念医院，第六起。
第六起和第三起发生在同一个地方。
在用户和FDA的压力下，AECL很快查明了问题。
简单来说，这起事故是由另一个bug引起的。和之前的一样，单从本身看，这个bug本身也不是什么大问题，仅仅是一个字节使用不当而已，但它们的影响都是致命的。
至此，AECL的信任被消耗的差不多了，哪怕他宣布立即上线之前被否定的硬件锁，也没有再让大家相信Therac-25的安全性。
FDA很快下线了所有的Therac-25。
AECL继续孜孜不倦的开发补丁。1987年7月21日，他发布了最后一版补丁，第5版，所以叫补丁V5。
但这个补丁并没有V5起来，后面的日子里，Therac-25江河日下。
1988年，AECL重组了开发Therac-25的医疗部门，将其更名为Theratronics，并试图打包卖给别人，未遂。
1991年，因为Therac-25的问题，FDA禁止了该公司的全部产品线。
2005年，Theratronics公司解散。
Therac-25事件后，FDA开始仔细研究医疗软件设备的审查标准，并逐渐发展成了现行的IEC62304（2006版，国内对应为YY/T0664）。这也是现在医疗软件开发过程管理的基本标准。
05 尾声
Therac-25其实就是一种机器人。
自机器人被发明，甚至被幻想出来开始，关于它不听话了要怎么办的担忧就没有停过。
而且这并不像科幻小说那么遥远，你肯定听过自动驾驶的故障，也用过只知道绕圈子息事宁人的智能客服，从广义上来说，这都是机器对你的碾压。
给牛顿写了墓志铭的英国人蒲柏有这么一句诗：
To err is human; to forgive, divine。
犯错是人性，宽恕是神性。
或许比起等待机器产生自我意识，然后要求它们凭借善良本性，遵循阿西莫夫的机器人三定律来，这会是一个更理性的选择。
毕竟我们都知道人不能因噎废食。
参考资料：
1.[Threac-25], https://en.wikipedia.org/wiki/Therac-25
2.[Medical Devices : The Therac-25], Nancy Leveson
3.[ An Investigation of the Therac-25 Accidents],Leveson, Nancy G.; Turner, Clark S
4.[Fatal Dose - Radiation Deaths linked to AECL Computer Errors],http://www.ccnr.org/fatal_dose.html
更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App
相关文章
-
小蓝象因用白银越野赛事故图宣传被罚60万
企查查App显示，近日，上海小蓝象服装有限公司被上海市浦东新区市场监督管理局罚款600000元，处罚事由为当事人在北京市朝阳区大悦城小蓝象门店里摆放了以甘肃白银越野赛参赛选手坐在地上抱团取暖的照片为背景，宣传小蓝象儿童排汗内衣广告KT板。甘肃白银越野赛是一个悲剧事件，当事人发布上述广告，违背社会良好风尚。此前，该公司还因产品质量、虚假广告等问题被罚。...
2021-09-09 11:02:15 越野赛甘肃广告 -
上海一童装品牌 擅用白银越野赛事故图做广告被罚60万
企查查APP显示，8月31日，上海小蓝象服装有限公司被上海市浦东新区市场监督管理局行政处罚，处罚内容为罚款60万元。处罚事由如下：2021年6月3日当事人在北京市朝阳区大悦城小蓝象门店里摆放了以甘肃白银越野赛参赛选手坐在地上抱团取暖的照片为背景，宣传小蓝象儿童排汗内衣广告KT板。2021年6月7日当事人撤掉了广告KT板并进行了销毁。上述广告费用为55元。甘肃白银越野赛是一个悲剧事件，当事人发布上述...
2021-09-09 11:02:02 越野赛万元当事人 -
顶楼3使用现实事故惨案画面被喷 制作组道歉并删除地震素材
顶楼是韩国非常火的一部电视剧，而且这部剧在中国也受到了网友们的喜爱。目前该剧已经拍到了第三季，不过一向备受好评的顶楼，最近在韩国遭到了不少骂。顶楼3使用现实事故惨案画面被喷，对此顶楼3的制作组已经发表了道歉声明，并且表示会删除所使用的真实地震素材。到底是怎么一回事呢？小编今天就来揭秘一下。 顶楼3使用现...
2021-09-07 22:30:52 惨案顶楼 -
蔚来“事故”之后，“故事”该怎么讲？
文|智能相对论，作者|Kinki8月12日，一名31岁的企业家在一起交通事故中罹难，在他的讣告中，特别提到了事发时，其驾驶的是蔚来ES8汽车，并启用了“自动驾驶功能”（NOP领航状态）。8月18日，莆田交警对该起车祸进行通报，表明将在事故调查基础上依法做出责任认定。同日，超500名蔚来车主发出《蔚来车主对NP/NOP系统认知的联合声明》，强调蔚来公司对NP/NOP的介绍、宣传未对其构成混淆和误导，...
2021-09-03 14:22:48 造车量产汽车 -
拆解碧桂园：毛利率下滑仍踩一道红线，安全事故未消除
图片来源@视觉中国文丨市值榜，作者丨何玥阳，编辑丨赵元在去年收入、利润等核心指标下滑之后，8月24日，碧桂园拿出了一份回暖的成绩单，收入和利润有不同程度的增长。涨幅不同的背后是毛利率的下滑。碧桂园在房地产开发上选择的是“薄利多销”，毛利率的下滑，意味着利润空间收窄。高周转被杨国强看做战无不胜的法宝，也是碧桂园登上宇宙第一房企之位的重要推手。高周转模式除了能带来效率提升，也会带来一系列负面效应：因为...
2021-08-25 11:12:36 碧桂园资金毛利率 -
蔚来技术人员因私自接触致死事故数据 被警方传唤
8月14日，一个名为“美一好”的个人公众号发布讣告称，2021年8月12日下午2时，上善若水投资管理公司创始人、意统天下餐饮管理公司创始人、美一好品牌管理公司创始人林文钦（昵称“萌剑客”），驾驶蔚来ES8汽车启用自动驾驶功能（NOP领航状态）后，在沈海高速涵江段发生交通事故，不幸逝世，终年31岁。目前，事故原因仍在调查之中。8月16日上午，林文钦家属委托代理此案的北京权佑律师事务所执行主任林丽鸿律...
2021-08-16 15:04:40 里程交通事故公司 -
蔚来事故启示录：被夸大的和被误导的自动驾驶
文丨商业数据派，作者丨罗宁8月14日晚，一则讣告再次引发了人们对于蔚来汽车及自动驾驶安全性的担忧。名为“美一好”的公众账号发布内容，称在8月12日，上善若水投资管理公司创始人、意统天下餐饮管理公司创始人、美一好品牌管理公司创始人林文钦驾驶蔚来ES8汽车在沈海高速涵江段发生交通事故，不幸逝世，终年31岁。讣告中特别提到，发生事故时，林文钦启用自动驾驶功能（NOP领航状态）。对蔚来而言，这已经是一个月...
2021-08-16 10:21:11 用户汽车数据 -
阿里巴巴公布处理决定 蔚来又出死亡事故|科技周报011期
作者：锦上花来源：GPLP犀牛财经（ID:gplpcn）企业动态阿里巴巴公布处理决定犀牛科技消息：阿里巴巴(BABA.NYSE)董事会主席兼CEO张勇在阿里内网公布了“女员工被侵犯”的阶段性内部调查结果和处理决定：同城零售事业群总裁李永和和HRG徐昆引咎辞职，阿里巴巴首席人力资源官童文红记过处分，涉嫌男员工被辞退，永不录用，其是否存在违法行为，警方正在调查取证。巨人教育回应停发薪资传闻犀牛科技消息...
2021-08-15 19:11:25 亿元犀牛消息 -
蔚来又出死亡事故，31岁企业家“自动驾驶”致死始末 | 钛媒体独家
8月14日晚间，一个名为“美一好”的个人公众号发布讣告称：2021年8月12日下午2时，上善若水投资管理公司创始人、意统天下餐饮管理公司创始人、美一好品牌管理公司创始人林文钦先生（昵称“萌剑客”），驾驶蔚来ES8汽车启用自动驾驶功能（NOP领航状态）后，在沈海高速涵江段发生交通事故，不幸逝世，终年31岁。“可以确定的是，事发时蔚来汽车正处于NOP状态，这是蔚来工作人员告诉我们的。”林文钦好友郑先生...
2021-08-15 07:11:07 事故车辆汽车 -
众鑫智充：以智能监控实现充电自动断电，降低电动车火灾事故发生
【猎云网（微信号：）海南】8月13日报道（文/林美余）电动车充满电一般最多只需要8-10小时，而传统充电设备没有定时充电和充满自停功能，极易造成电池过度充电，时间超过后引起电瓶起火或爆炸的几率将大大提高。同时，电动车大多在室内停放和充电，有的甚至停放在走道、楼梯间等公共区域，由于电动车车体大部分为易燃可燃材料，一旦起火，燃烧速度快，并产生大量有毒烟气，人员逃生困难，极易造成伤亡。近年来，电动车引发...
2021-08-13 21:00:52 电动车智能充电站
| 留言与评论（共有 0 条评论） |
