色 专访云知声黄伟：多模态是东说念主工智能的必经之路
撰文 | 李信马
题图 | 云知声
几天前，云知声发布了一段视频，视频里女声与男声的东说念主机对话听起来十分当然，以至于听到一半，才会诀别出哪个是东说念主类哪个是机器。而机器效法女声的时候，险些听不出来离别——这是刚刚发布的山海多模态大模子的实机展示。
对话中，山海不错作念到及时流通回应，险些莫得延长，甚而不错打断和插话，还有对话中富饶表情的口吻、节拍、曲调变化等，就像在和真东说念主对话。能够流通对话的大模子，意味着进入了东说念主工智能最前沿的多模态鸿沟，此前，在OpenAI 发布 GPT-4o 时，雷同的展示中GPT-4o阐扬出了堪比东说念主类的水平，一度让东说念主感觉中好意思大模子之间的差距被拉大，但只是3个月后，这一率先上风就被国产大模子追上。
东说念主工智能是当下巨匠科技鸿沟竞争的焦点，多模态技巧上更复杂，期骗场景更庸碌，是雷同赛点一般的存在。恰是少数如云知声这么的科技公司存在，才填补了咱们在前沿鸿沟的空缺，并冲击宇宙一活水平，也让行业在畴昔贸易化落地的时候，有执意且可靠的大模子复旧。
但对科技公司而言，为什么要插足到多模态大模子的竞赛？多模态大模子又是如何真金不怕火成的？畴昔会创造什么样的价值？怀揣着这些疑问，咱们采访了云知声的独创东说念主兼CEO黄伟博士。
一、东说念主工智能的必经之路
2012年，云知声在北京厚爱成立，那时国内东说念主工智能的高涨才刚刚兴起，以“AI四小龙”为代表的创业公司们行将迎来十年的“黄金期间”。
不外，在今天的黄伟看来，那是属于“AI 1.0”的期间；2022年底，跟着ChatGPT的横空出世，“AI 2.0”的期间大幕就此拉起。
“以前咱们更多把 AI 看作是一种判别式 AI，也即是说，它只可作念一些判断题，是对咱们已有事物的分类，而生成式 AI 不错口耳之学，创造一个透顶不同的新宇宙。”
关于如何终了 AI 2.0 ，云知声也有我方的探索策画。2022年底，云知声启动大模子立项；2023年5月24日，云知声发布了自研的千亿范围的大模子“山海”；在本年的8月23日，云知声进一步推出了山海多模态大模子。
践诺上，GPT-4o发布时，山海多模态大模子仍是在紧锣密饱读的研发之中，云知声不错说是国内最早一批明晰意志到多模态的价值，并兼并念念想进行策画和插足的科技公司。
采访中，黄伟认为，从妄语语模子到多模态大模子，是东说念主工智能发展势必的旅途，妄语语模子作念到了从 0 到 1 的冲破，而冲破后一方面通过 Agent、RAG 等技巧捏续进步妄语语模子“才智”，另一方面则以多模态引颈从1到2，“二生三，三生万物”。
“我以为多模态才是东说念主工智能的本源，咱们谈东说念主工智能的时候，不息会把机器智能和东说念主的智能进行类比。东说念主的智能不光有大脑，还有眼睛、耳朵、鼻子、嘴巴、触觉等，今天东说念主工智能的数据来源更多是笔墨，畴昔唯有将声息、图片、视频，还有感觉、触觉等更多的感知数据纳入，才会真实形成一种类东说念主的智能。”
他举了个例子，东说念主类想要和机器通过当然话语来交流，淌若通过纯正的妄语语模子，那么要分红三个阶段：开头，是将东说念主类的声息识别升沉成笔墨；其次，妄语语模子凭证输入生成笔墨内容；第三，将笔墨内容再升沉成音频播放。
这么，一个任务就被分红了三个任务，每个任务都会引入旋即的延长，最终东说念主机交互的延长就会很昭彰，用户体验差。而要有较快的反应速率，那就要通过多模态大模子来终了。刻下山海多模态大模子的时延八成在 0.3 秒到 0.4 秒傍边，基本上仍是和泛泛东说念主的交流速率出入无几了，况兼声息还会带上对应的表情，而非冰冷的播音腔。
黄伟瞻望，畴昔的大模子会是“宇宙模子”，大模子不错通过感知开辟和技巧来感知物理宇宙，和会物理宇宙的运行礼貌，从而科罚现实中的复杂问题。
自2018年，云知声衔接六年上榜了 CB Insights 巨匠东说念主工智能独角兽榜单，在东说念主工智能鸿沟是少有能达成这一竖立的创业公司。尤其在大模子兴起后，不少曾经的明星创业公司也启动“星光阴霾”，而云知声却与时俱进，在大模子鸿沟的势头凶猛。
黄伟先容，山海大模子的方针是通用才智达到宇宙一流，在医疗等关节鸿沟达到宇宙第一。刻下，山海大模子在多个海外巨擘评测中都位列前茅，在刚刚最新发布的SuperCLUE 国表里通用大模子基准榜单中，山海大模子位列第一梯队；在医疗鸿沟，曾经登顶MedBench、MedQA、C-Eval等多个评测榜单。
但知易行难，云知声的技巧转型，又是如何告成终了的呢？
二、旧的传承，新的征途
黄伟认为，从技巧本源上来讲，妄语语模子以及多模态大模子都不是从零启动的，而是对原有技巧的升级。“之前是BERT，再之前是Transformer，技巧上是全始全终的，只是今天咱们的范围更大，数据量也更大，量变激发了质变，模子产生了领会才智，咱们夙昔蕴蓄的上风，依旧会在居品得到体现。”
在技巧研发的旅途上，云知声采选“分步走”，简便来说，即是分阶段作念多模态大模子，先作念文本和语音的和会，再作念图像视频的和会。这么的克己是相对比拟肃肃，毕竟多模态大模子巨匠都还处于探索之中，莫得笃定告捷的教悔，另一方面，是能够阐扬出云知声在智能语音鸿沟的上风。
行为国内对话式 AI 独角兽，云知声在智能语音鸿沟有着丰富的蕴蓄，曾在interspeech、VoxSRC 2023、BC海外语音合成大赛等多项国表里顶尖的语音交互评测/比赛中取得过冠军或收录论文，也有着丰富的工程化和居品化教悔。
山海多模态大模子，是在山海大模子的基础献技进的。据黄伟先容，在算法和数据方面，开头，云知声团队用不同的编码器，将海量的不同模态的数据（文本、音频、图片等）进行了编码，然后通过适配器和原有的山海大模子进行和会预检修。
“这内部的难点，第一个是数据配比，笔墨的数据密度很高，但音频和图片的数据密度并不高，比如5TB的数据，内部不同类型数据的比例不同，那数据要怎么合理分派成果才最佳？第二个是咱们要通过多任务的教唆微扶助对皆，让模子来和会各样教唆，但你如何快速地构造这个教唆检修器？靠东说念主工的话，无法欢乐数目和速率的需求。此外，数据平台要如何搭建？是以说真实想把多模态大模子作念好，这内部有好多的挑战。”
还有一些难点，来自于算力和存储。多模态大模子预检修对算力的条目极高，而音频、图片数据由于愈加寥落，对存储的条目也更高，因此，团队要有相等熟练的搭建策划平台和散播式检修的教悔。
比如云知声，刻下仅语音检修数据就有几十万小时，“咱们构建了相等完善的散播式数据的中枢历程，几十万小时数据，你不可光靠灌音来取得，咱们通过算法合成的样式，差未几不错作念到每天合成几万小时的数据。”
科罚这些难点，对研发团队的工程化才智也建议了极高的条目，需要丰富的教悔和妙技。回想夙昔的两年，云知声的研发团队履历了无数防碍，黄伟感触说念：“我以为克服防碍的过程，是比防碍更大的防碍，团队不啻需要富裕的才智，还需要执意的韧性。今天来看，不错云淡风轻的总结教悔，但那时却是不停的出现问题和煎熬，好在咱们都科罚了。”
三、贸易化：新酒、新瓶
作念大模子最要紧的是什么？
行为率先 AI 1.0 期间的行业老兵，黄伟认为，是将大模子形成真实在场景中为客户创造价值的居品和做事。
“拿着锤子找钉子”，是遥远以来对东说念主工智能行业贸易化的形容，早些年，不少创业公司讲一个好故事，就能拿来融资，进步估值，但技巧迟迟不可升沉为收入，故事就像泡沫相通被吹爆了，公司也飞快从“黄金期间”进入“昏黑期间”。
初创阶段、扩展阶段和昏黑阶段，云知声都履历过，因此濒临阛阓愈加清醒，在黄伟看来，大模子带来了机遇，但大模子本人并不是商品，而是高大的本钱开销。
“在 AI 1.0 期间，咱们无论是作念语音识别如故图像识别，可能几台做事器就够用了。但今天作念生成式AI，咱们需要几百台做事器，畴昔还需要更多，光这些做事器本人即是不小的本钱，还有东说念主力、电力和数据等。你作念一个模子，能不可带来贸易升沉是一个首要的挑战，对中国的创业者来说尤其如斯，因为在中国的贸易环境里，哪怕你花了一个亿去作念研发，客户可能都不肯意付给你一百万。”
本钱的陡增，也让贸易化愈加近在咫尺，不少大模子厂商采选按tokens计费“卖模子”的模式，不外黄伟认为，这并不是独一的看法。云知声策画的大模子贸易化旅途，不错形容为“先用陈腔浮言，再用新酒注新瓶”。
“旧瓶”是指云知声仍是熟练落地的贸易化场景，比如在医疗鸿沟，云知声推出过语音病历录入系统，进步了医师的责任遵守。而“新酒”则是指大模子技巧，不错让居品的才智进一步升级。黄伟举了个例子，在问诊标准，医师和患者对病情不停进行问答：
医师：您好，没来看过是吧，您有什么不舒心啊?
患者：之前体检，说我甲状腺功能不泛泛。
医师：什么时候查的？
患者：有半年啦
医师: 您有心慌、怕热、出汗多的症状吗?
患者：莫得
漫展偷拍医师：拉肚子呢?
患者：也莫得
医师：除了体检化验，其他荒谬的感觉都莫得？那你论述带了吗？
患者：是这么，那时我去咱们社区病院看过，大夫说我是甲亢，给我开了赛治
医师：赛治吃的多广泛?
患者：一顿两片，一天就吃一次
医师：刻下一直吃着呢是吗?
患者：莫得，我吃了一段时辰，也没感觉有什么不相通，一又友跟我说不一定是甲亢，药盒上还写了一大堆可能出现的反作用，我就停啦。
两边对话的同期，大模子也在不停输入对话的内容，当对话戒指时，就会给出了一份会诊建议和调整有接洽。中国医疗资源相对阑珊，散播也不平衡，这么的东说念主工智能，在中西部地区和社区康养的场景下，就相等于给医师提供了助手，也给患者安排了私东说念主医师。
还有在手术室，医师人术包袱重亦然病院的常态，以往手术戒指后，医师还要写手术记载，既加多了窘况感，也可能会健忘中间的具体细节。而云知声的居品，不错现场记载医师和照拂之间的对话，然后基于对话识别手术的关节信息，当手术戒指后，自动生成一份记载。
“咱们并不是手里拿着锤子找钉子，咱们是把锤子升级，快速欢乐现存客户的需求。”多年前，云知声尝试让医师使用麦克风来疏导，好多医师用不惯，但当他们发现居品果然好用后，渐渐用的东说念主就越来越多了，技巧和居品即是这么不停迭代和实践。
而当居品打磨熟练后，云知声又不错开拓新的行业，新酒注入“新瓶”中。黄伟先容，除了医疗行业，山海大模子在互联网、汽车、交通等行业也在缓缓落地。
正确的说念路不啻一条，阛阓的需求也各样各样，贸易模式存在即有其合感性，要紧的是，企业要采选合乎我方的贸易模式。东说念主工智能赛说念是一场漫长而泼辣的淘汰赛，无论是“四小龙”如故“五小虎”，都是期间的绚烂，但能活到终末的，才算是跑完毕全程。
关于行业畴昔的发展，黄伟给出了“任重说念远”四个字，“无论是妄语语模子，如故多模态大模子，咱们都看到了相等清醒的前景，然则挑战也相等大，对通盘从业者来说，想要作念更好的技巧、更好的居品，打造更健康的贸易模式色，就要消释飞舞的心态，去追求居品落地。唯有这么，中国东说念主工智能行业才能健康发展，而不是充满泡沫——淌若泡沫破坏的话，对中国东说念主工智能行业将是高大的伤害。”