理化学研究所和大阪大学的研究小组宣布,他们开发了一种实验机器人,该机器人能利用生成式人工智能(AI)自主做出准确判断并有效工作。该机器人设计用于处理形状、大小和排列各异的样本,如同植物的叶子。这项技术有望应用于化学等领域,超越了人类的个体差异、时间限制等限制,提高了实验的效率和可靠性。
使用生成式AI的实验机器人将化学溶液滴在植物叶片上的实验概述。(理化学研究所、大阪大学提供)
在生命科学实验自动化中,能完成将精确量的化学品加入试管等简单任务,但处理个别变化的样本一直是个挑战。同样,复制环境和与其他生物体的相互作用等外部因素也很困难。手工操作面临诸如人的感知变异、准确性和时间限制等挑战。为此,研究小组利用生成式AI,开发了一种能根据情况生成动作的实验机器人。
这款机器人的机械臂末端装有一支能够将化学溶液滴加到样品上的移液器(类似滴管的仪器)和一个用于拍摄周围环境的3D相机。首先开发的是一种系统,人们可以直接操纵机械臂,教导机器人一系列大致的动作。然后在计算机上以3D形式重现了移液管、化学溶液容器等物体的位置。依靠这些线索,机器人能自主做出判断,并根据生成式AI进行适当的操作,无需精确确定器具和样本的位置,也不需要编写命令。
虽然装在移液管上并用来添加化学溶液的吸头是一次性使用并且针对每个样品都需更换,但无论其放置于何处,机器人都能正确地装上它。传统的机器人特别不擅长这类精细的操作。
该机器人与理化学研究所的自动栽培观察装置结合使用,对众多植物样本进行了测试。系统经过大量正确数据的训练,能够识别各种叶子的形状、大小和排列,并使AI能够从图像中识别出叶子。机器人对依次搬运至其附近的盆栽植物进行了六种操作,例如选择三种化学溶液中的一种并将其滴在最大的叶子上或植物体的中心。在测试的96个样本中,所有的滴液操作都成功了。尽管在确定滴液位置方面有少量识别问题,例如将两片叶子误认为一片,或中心识别稍有偏差,但总体结果仍然是令人满意的。
机器人装上移液管吸头,正确选择化学溶液,然后连续地将溶液滴在被逐一搬运过来的盆栽植物的最大叶片上,或者植物体的中心。虽然照片中没有显示,但之后,机器人还会自行取下移液管吸头。地点位于日本横滨市鹤见区的理化学研究所。
开发出的机器人能理解“最大的叶子”、“中心”等词汇,并且能够根据每个样本微调化学溶液的种类、量和滴加的位置。它不仅有望用于研究病虫害和营养素对叶子影响的实验,也适用于处理细胞生物学和化学实验中的反应时间变化。
田中信行・理研高级研究员和万伟伟・大阪大学准教授
在新闻发布会上,理化学研究所生命功能科学研究中心的高级研究员田中信行表示:“在生命科学领域,现今越来越多地需要比较多样的条件和大量数据,人类的能力已难以应对。根据实验内容,有时还需要避免光照或呼吸的影响。这一成果可能会成为解决这些问题的方法。”负责驱动该机器人的AI软件的大阪大学基础工程学研究科的副教授万伟伟表示:“AI机器人与生命科学的共同发展,将加深我们对未知机制的理解。”
这一成果于2023年11月27日发表在美国自动控制领域的专业期刊《IEEE Transactions on Automation Science and Engineering》上,并于2023年12月25日由理化学研究所和大阪大学发布。
开发的生成式AI实验机器人还能自己打开和关闭电子天平的门。
(原文出自https://scienceportal.jst.go.jp/newsflash/20240125_n01/,本文为翻译稿,图片为原稿件复制。)
本文相关论文 信息如下:
标题:Integrating a Pipette Into a Robot Manipulator With Uncalibrated Vision and TCP for Liquid Handling
作者:Junbo Zhang, Weiwei Wan, Nobuyuki Tanaka, Miki Fujita, Koichi Takahushi, Kensuke Harada
文章地址:10.1109/TASE.2023.3312657
本文由CAAICAAI认知系统与信息处理专委会供稿
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。