谷歌新突破丨AI实时筛查癌细胞,普通显微镜简单改装登上Nature子刊

和人类费时费力取材切片固定染色找癌细胞不同,这台智能显微镜能从海量细胞中自动寻找癌细胞病灶,完成实时检测。并且,这台显微镜加入AR技术,可将诊断结果直接叠加到显微镜原来的图像中。

作者: 大健康派编辑 来源: 量子位 2019-08-16 16:45:28

检测号称人类健康头号杀手癌症,现在实现了质的飞跃。一个偏远小镇的乡村诊所,现在也有机会用AI,采用人机结合的方式,筛查出难度极高的淋巴结转移的乳腺癌、前列腺癌了。谷歌这项潜力无限的研究,登上了Nature Medicine。


Nature Medicine.jpg


和人类费时费力取材切片固定染色找癌细胞不同,这台智能显微镜能从海量细胞中自动寻找癌细胞病灶,完成实时检测。并且,这台显微镜加入AR技术,可将诊断结果直接叠加到显微镜原来的图像中。


此前观察癌细胞,效果是繁杂累眼的:


癌细胞.jpg


而谷歌的显微镜,开挂了:层层锁定,一招制敌!


相比从前天荒地老的显微镜下地毯式搜查,AI能瞬间抓捕癌细胞,堪比生物界的安防摄像头。而需要这样大的运算量,竟然还能在本地完成。无需联网、无需接入云端,在终端即可完成。

是不是需要很高大上的设备?


nonono,只需将普通光学显微镜略加改装,加入摄像头连接计算机,就能完成乳腺癌、前列腺癌的识别。设备简单,能够快速复制。


可离线,可实时,而且算法模型稳定、硬件成本兼具性价比,整个工作高度自动化……在一个医疗AI普遍处于大哥大的时代,谷歌AI迈出了类似安卓智能机的一步。甚至有网友直言:比起人类我更信任这个机器。


网友评论.png


这是台能救命的显微镜。


准确率超90%


在这台显微镜下,以淋巴结和前列腺结节的样本,分别在10倍放大和20倍放大下做实验,发现可以成功的标注出有癌细胞的地方。从ROC曲线图上可以看出,10倍显微镜下淋巴结检测AUC达到了0.92,20倍显微镜下淋巴结检测AUC达到了0.97,10倍显微镜下前列腺结节检测AUC达到了0.93,20倍显微镜下前列腺结节检测AUC达到了0.92。


前列腺结节.jpg


最后,无论是追求准确率、精确率还是召回率,四个实验中所有数值结果都超过了0.9。


试验数值.jpg


另外,除了癌症之外,各种其他的也能显示出来,比如黄体酮受体染色计数、有丝分裂计数、细胞计数、微生物检测……等等。


染色体.jpg


而这,也意味着除了诊断疾病之外,这项成果还能用在生物学研究、法医鉴定等多个领域。


显微镜构造


整个AR显微镜包含三个部分:显微镜本体、深度学习算法、跑算法的计算机。先来看显微镜本体。本体就是一个普通的明场光学显微镜,这里用到的是Nikon Eclipse Ni-U。


显微镜.jpg

Nikon Eclipse Ni-U显微镜


看起来跟中学生物课堂上用的差不多是不是?现在,给这台显微镜加装两个模块。


显微镜构造.jpg


一个模块是摄像头,可以捕捉当前显微镜视野内的高分辨率图像。另一个模块是为显示器,可以为摄像头捕捉到的原始图像增加数字信息,进行叠加。摄像头模块拍下的图像,在经过深度学习算法处理后,就可以不算自动筛查、找到病灶,交给显示器。

计算机方面,AR显微镜包含一块高速图像采集卡BitFlow CYT,还有一块英伟达Titan Xp GPU。


英伟达GPU.jpg


针对每张显微镜视野图像,需要经过几个过程:先把当前视野拍下来,之后将图像转换为RGB像素值,在图像上运行深度学习算法,之后找到病灶。


实时不卡顿


因为最大限度的利用到了不同的硬件来完成不同的任务,所以,这个过程成本更低,比传统的全片扫描仪(whole slide scanners)成本低一两个数量级。并且,整套系统可以方便的迁移到各种普通显微镜上。神经网络使用的是1000×1000的尺寸,但显微镜视野更大,达到了5120×5120,因此,需要滑动窗口来逐步处理整张大图。


为了提高速度,研究团队将完全卷积网络(FCN)应用到了InceptionV3深度学习构架中,组成了InceptionV3-FCN,减少了75%的计算量。


计算量.jpg

计算量.jpg


并且,改造之后,延迟也降低了,从2126ms降到了296ms,FPS从0.94提高到了6.84。之后,再用其他软件方法优化,延迟最终降为了37ms,FPS也高达27,基本上不卡了。


柱状图.jpg

谷歌AI大手笔


这一次,是Google Brain团队的又一次大手笔研究,谷歌AI总负责人、深度学习大牛Jeff Dean也位列作者行列。共同一作共三位,分别为:


Po-Hsuan Cameron Chen,博士毕业于普林斯顿大学神经科学研究所,此前还在国立台湾大学获得了电子工程学学士学士,主要研究大脑工作原理。


15.jpg


Krishna Gadepalli,毕业美国北开来罗纳大学,入职谷歌12年。此外,还有Google Health部门的研究人员Robert MacDonald。这篇论文是今年6月19日向Nature提交的,7月2日确定被接收了,从提交到接收只经历了18天,接收速度令网友感叹了一把。

此前,也不是没有过智能显微镜的研究。


Global Good基金会投资的中国显微镜制造公司Motic,曾经推出过一款智能显微镜EasyScan Go,可用于诊断疟疾。但其样本检测需要20分钟,在向缩短至10分钟迈进。在去年的腾讯全球合作伙伴大会上,腾讯AI Lab也发布了一款智能显微镜,医生不能从显微镜中实时看到AI反馈,需要与电脑连接后,从电脑显示屏中读取显微镜中的图像和AI辅诊意见。


但即便是在国内走在前列的腾讯觅影,目前也还处在顶级定点医院的合作状态,还达不到谷歌AI这样的端到端、可复制,开箱即用。所以具备实时诊断、AI+AR可在显微镜视野中直接叠加、还能诊断转移病灶的能力……谷歌的这台显微镜当前看起来已经万事俱备,只欠FDA批准的东风了。


【凡本网注明来源非大健康Pai的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】 


谷歌 AI 医学影像AI 癌症筛查

关注大健康Pai 官方微信:djkpai我们将定期推送医健科技产业最新资讯