【DF冬季AI挑战赛第三轮】+AI远程医疗手术机器人系统 简单

问题的提出：

这次新冠病毒的爆发突出显示了流行性疾病爆发时，严重地区医疗资源的严重不足。党中央通过统一调配全国医疗资源，最终我们控制了病毒的蔓延。广大医务工作者从全国各地逆行奔赴湖北，付出了巨大的努力，承担了巨大的风险，令人钦佩。报道中我们看到他们没有好的休息、穿着层层的防护设备整天大汗淋漓、满脸勒痕，还有些给危重病人进行风险极高的插管手术。正好带着儿子和他的朋友参加比赛，我们就思考能不能利用机器人协助医务工作者工作，减轻他们的负担和风险。正当我们没啥头绪的时候，第二轮比赛得到的二哈让我们如虎添翼、脑洞大开，孩子们也根据二哈的特点提出了很多很好的思路。我们思考有没有办法让医务人员在所在地就能给疫区提供医疗帮助，我们想到了网络、人工智能视觉识别等技术，经过不断的思维导图分析、碰撞，确定了AI远程医疗手术机器人系统这个方向。

基本思路：

AI远程医疗手术机器人系统为了达到更好利用远程优秀医生资源、及时快速实施危重急患复杂手术、解决手术的复杂精确操作、减少手术的医患相互感染风险的目的，通过医生在本地带上3D眼镜看到远端病人手术实景并操作手术模拟器械，二哈把捕捉到的手术动作坐标细节传输到远端网络，远端网络实时接收到坐标数据后转化为手术机械臂的实际动作给病人进行远程手术。

视觉识别模块：

(HuskyLens）AI 视觉传感器简称二哈，具有人脸识别、颜色识别、标签/二维码识别、物体识别、巡线、物体追踪等功能。这个我们用到人脸识别和颜色识别功能。人脸识别功能会确认医生的身份，确认其是否有操作手术机器人的权限。由于这个传感器颜色识别功能能同时识别多个颜色物体，所以我们使用颜色识别功能识别两个设置颜色标签的镊子模拟手术器械。视觉传感器能实时采集到镊子颜色中心的坐标（传感器坐标范围是：X：0-320，Y：0-240、左上角坐标：0，0、中心点坐标：160，120）。采集到的颜色块中心坐标会实时传输给Micro：bit主板。使用前需要让(HuskyLens）AI 视觉传感器学习具体的人脸和两种标签颜色。

手术器械：

我们在镊子前塞入两种不同颜色的彩色纸作为颜色标签以供传感器识别坐标，这样就能获得两个手术器械的实时坐标。用乐高模块做一个操作台，两边乐高模块调整限制位置，以防止镊子移除二哈的视线范围。

当然如果有多个二哈，可以在侧面再加两个二哈测量镊子颜色标签中心的坐标Z值（加两个是为了防止两个镊子颜色标签互相遮挡），或者在前面设立两个视觉传感器同时测量同一物体在两个传感器（相当于人的双眼）的坐标差异测算出坐标Z值。这样就可以建立镊子的空间坐标，然后后面可同步精确控制手术机械臂的空间位置。

主控模块：

使用Micro：bit主板作为主控板，编写程序逻辑。程序逻辑是：开机后打开无线通信功能、设置无线频道、进行人脸识别、人脸识别通过后进行颜色识别，把颜色识别的两个镊子坐标加上特征码（因为不加上特征码另一端的接收端将无法分解出对应的信息）无线实时不断发送给远端。

视觉监控模块：

不作为主要表达功能，使用成品的小米3D眼镜盒子用两个手机开启微信或facetime等及时通讯功能建立视觉通道，通过3D眼镜（未有3D功能）能看到远程的手术图像。

手术机械臂模块：

使用6个舵机组装成左右手术机械臂，舵机采用兼容乐高模块的舵机，可以通过乐高插件快速搭建机械臂，实现3自由度。最前面用一次性医用手套包裹。

视觉监控模块：

不作为主要表达功能，手术台上方放一个手机和控制端的另一手机通过微信或facetime等及时通讯功能建立视觉通道，控制端通过3D眼镜（未有3D功能）能看到远程的手术台图像。

主控模块：

使用Micro：bit主板作为主控板，编写程序逻辑。程序逻辑是：开机后打开无线通信功能、设置无线频道、初始化手术机械臂位置、手术机械臂进入准备位置、不断接收远处控制端发送的无线数据信号，根据特征码拆分出坐标信息、把坐标范围映射为舵机角度范围驱动舵机带动手术机械臂动作，达到人机协作的目的。注意定义函数约束手术机械臂的舵机角度范围，否则会移动到不合理的地方。

AI远程医疗手术机器人系统通过AI视觉识别功能、无线网络、机械臂等技术实现了远程医疗手术，能更好地利用远程优秀医生资源、及时快速实施危重急患复杂手术、解决手术的复杂精确操作、减少手术的医患相互感染风险。二哈，能力真不错，让我们体验了售价高达几千万的手术机器人。二哈，有你的！最后AI手术机器人被孩子们玩出新花样，变成了打架机器人：）