向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
最“狡猾”的毒株?XBB.1.5毒株或将横扫美国******
中新网1月4日电 近来,奥密克戎变异毒株的亚型XBB.1.5在美国等国家和地区的传播引发外界关注和担忧。该毒株是否会引发新一轮疫情浪潮,导致更严重疾病?疫苗对其还有用吗?人们应该如何进行防护?
资料图:美国纽约曼哈顿14街一处新冠病毒检测站为居民做检测。中新社记者 廖攀 摄XBB.1.5毒株将“横扫”美国?
XBB为新冠病毒奥密克戎BA.2衍生的2个变异株BJ.1和BM.1.1.1的重组毒株。XBB.1.5是XBB衍生的子分支。
英国《独立报》援引全球流感共享数据库(GISAID)的统计数据显示,已有至少74个国家和地区发现XBB.1.5,包括美国、英国、印度、巴基斯坦等。其中,美国有43个州检测到该毒株。
美国有线电视新闻网(CNN)称,2022年秋天,XBB曾在新加坡掀起了一波疫情浪潮。而今,XBB.1.5可能正在美国推动新一波的疫情浪潮。
美国疾病控制和预防中心(CDC)预计,与其它毒株相比,XBB.1.5每周的新冠病毒感染占比大幅增加,其中2022年12月的新感染病例占比从约4%升至41%。CDC还预计,在该国东北部,XBB.1.5导致了约75%的新病例。
华盛顿大学医学院病毒学实验室的新冠病毒测序主任罗伊乔杜里(Pavitra Roychoudhury)说:“几个月来,我们还没有看见过以这种速度传播的变体。”
西雅图福瑞德·哈金森癌症研究中心的计算生物学教授贝德福德(Trevor Bedford)也表示,“预计它会在未来几周推动传播增长。”
他指出,这种增长可能不会反映在病例数上,因为越来越多的人选择在家中进行检测。“因此,我希望将弱势年龄组(如老年人)的住院情况视为更合适的(疫情)浪潮指标。”
资料图:图为伦敦一美食街上,民众户外就餐。中新社发 张梦琪 摄两大特性或助推XBB.1.5传播
美国有线电视新闻网(CNN)指出,XBB.1.5之所以可能会推动新的疫情传播,与其两大特性有关。
一是其极为“狡猾”的免疫逃逸能力。
哥伦比亚大学微生物学和免疫学教授何大一最近在实验室进行了病毒测试,这些病毒被设计成具有XBB和XBB.1以及BQ.1和BQ 1.1的尖峰,以对抗不同类型的受试者血液中的抗体,包括感染病毒的群体,接种了原始株和二价疫苗的群体,以及既感染病毒又接种疫苗的群体。其团队还测试了23种针对这些新亚系的单克隆抗体疗法。
研究发现,XBB.1是其中“最狡猾的”。它被感染者和接种疫苗者血液中的抗体中和的可能性比BA.2低63倍,比BA.4和BA.5低49倍。此外,就免疫逃逸性而言,这些变体已“远离”人类制造的用于对抗它们的抗体。
何大一称,其免疫逃逸水平“令人担忧”,并表示这可能会进一步损害新冠疫苗的功效。XBB.1.5 在抗体逃逸方面与 XBB.1 相同,这意味着它有可能逃脱疫苗接种和过去感染所带来的保护。它还能抵抗所有当前的抗体治疗。
除高度免疫逃逸能力外,XBB.1.5另一可能有助于传播的“技能”在于——该毒株在486位点有一个关键突变,这使得它可以更紧密地与 ACE2 结合。ACE2相当于病毒用来进入人体细胞的“大门”。
弗雷德哈钦森癌症中心的计算病毒学家杰西布鲁姆(Jesse Bloom)表示,“这种突变显然让XBB.1.5更好地传播。”
不过,专家们也表示,现在很难知道XBB.1.5的增长在多大程度上可归因于病毒的特性或者传播时机。比如,假期期间,人们很可能会进行社交和旅行,而这给任何感染——无论是流感、新冠病毒还是呼吸道合胞病毒——带去更大的蔓延空间。
资料图:旅客抵达美国加州旧金山国际机场的国际航班到达区域。 中新社记者 刘关关 摄XBB.1.5会导致更严重疾病吗?
值得注意的是,多数专家预计,XBB.1.5有可能导致更多感染,但他们并不认为这些感染一定会更严重。
负责明尼苏达大学传染病研究和政策中心的奥斯特霍尔姆(Michael Osterholm)指出,更新版加强针应该能够提供一些保护,甚至可以抵抗XBB.1.5这种具有高度免疫逃避能力的毒株。
“他们仍然能提供一定程度的免疫力,可能无法阻止你被感染,但可能对你是否患重病和死亡产生重大影响。”他说,“我们掌握的最新数据显示,对于那些接种了二价疫苗的人来说,他们的死亡风险比那些没有接种的人低三倍。”
CNN指出,快速检测、佩戴口罩、做好室内空气的通风和过滤等等也将继续发挥作用,因此,即使病毒继续进化,人们仍然有很好的方法来保护自己免受感染。
“它似乎没有引起任何更严重的疾病,所以我认为今天流行的情况与一年前截然不同。”奥斯特霍尔姆说。
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |