毕竟端侧语音助手的核心矛盾就是算力和体积的庞大。
如今小音助手之所以那么聪明，就是因为有庞大的伺服器集群做支撑。
毕竟自家有算力卡，根本不用像外面那么小气，但这就导致……云端ai是一个非常庞大的模型。
要把这个模型压缩到手机晶片里运行，还要保证速度和准確率，跟在螺丝壳里做道场差不多。
简单来说就是不可能，或者说以现在的技术根本不可能。
现在行业里的云助手大部分都是云端传话器，大部分运算都在伺服器上完成，本地只做个简单的唤醒和指令上传。
真要是完全断了，本来就是属於人工智障的模型就会变得更加……
更加的智障。
“再试一次，把唤醒词模型再剪枝20%。”
张磊一狠心，还是决定再试一下，“准確率降点就降点，先解决延迟的问题。”
“可是剪完之后，误唤醒率会飆升……”
“先测试，毕竟就咱们的模型，哪怕唤醒率飆升，也比他们的强。”
就在眾人准备行动的时候，实验室的门被推开了。
沈飞走进来的时候，主人瞬间停下了手里的动作，毕竟老板又来视察工作了。
“沈总？”张磊稍微有点慌，连忙迎了上去，“您怎么来了？”
此时他內心已经脑补了这一段时间的所有研发过程，还以为是这边的进度让老板不满意，所以亲自来……
追责！
此时他的额头上已经开始出现一点冷汗，毕竟传音公司的工资福利实在是太高了。
“不要慌，我就是过来看看进度，看看有没有什么能帮忙的地方？”
沈飞看了一眼屏幕上的测试曲线，也没有说他们的问题，反而笑著问道:
“遇到瓶颈了。”
张磊脸上一热，有点不好意思:“是……模型压缩遇到了天花板。
本地算力有限，要保证识別率，延迟就降不下来。
要压延迟，准確率就掉得厉害。
我们试了十几种剪枝方案，都达不到项目的目標。”
“要不……我们主推的就是云南模式，本地做个简化版，能实现基础功能就行。
我相信大多数人也不会遇到这种极端情况。”
其实张磊一直在想一个问题，小音的云端模型已经领先了其他同行，本地……本地模型，其他家更是连ppt都没有立项。
传音这边能做出来就已经是遥遥领先，没必要追求过於极致的响应，比如0.3秒。
沈飞却摇了摇头，这个问题没得商量。
“不行。
端侧语音的核心就是本地响应，如果还要依赖云端，那这一次技术叠代搞什么？”
“而且大家都在做云端，拼的是谁的伺服器好，谁的余粮多。
虽然算法可以拉开差距，但这个军备竞赛还是太小了，老黄那边的战力卡销量其实还是不好，必须得给他们上上压力。”
张磊瞬间吸了一口凉气，他终於明白了老板为什么要这么做了。
这哪是要搞新模型，这分明是要把友商带偏，然后好卖算力卡。
这时张磊突然小声地嘟囔著:“老板，咱们这样是不是有点不道德？
毕竟咱们能做出来的东西，他们不一定能做的出来。”
此时张磊心中的一些怨念也彻底消失不见，毕竟他老张家的人，最擅长乐於助人……
所以……
此时我们组的其他成员也露出了微妙的表情。
“一个个这种表情干什么？我刚才什么都没说。”
看著眾人的士气瞬间提了起来，沈飞也开始耍赖。
“我刚才耳聋了，你说什么？”
隨著一个人的带头，其他人纷纷附和，毕竟这一段时间吃的苦，其他友商的工程师也一定要好好吃一下。
【其他友商的工程师:……】
“坑有啥？只不过是个小插曲，但本地模型还是要好好做的，毕竟有些地方，还是需要端侧模型的。”
“把你们的模型架构图调出来我看看。”
张磊看到老板要指导工作，连忙把复杂的模型图投到了大屏幕上。
沈飞扫了一会，心里就有数了。
团队的思路没问题，就是传统的模型剪枝量化那一套，能挖的潜力基本上都挖完了。
靠他们自己慢慢磨，说不定再熬半年就能摸到门槛，但时间太久了，他等不起。
他要开掛。
於是他伸手从口袋里掏出个u盘放在了工作檯上。
“这里有一套新的语音模型架构，还有配套的压缩算法。
你们照著这个方案改重新训练模型。”
“新架构。”
虽然张磊有点疑惑，但还是快速地从沈飞手里接过来那个u盘，毕竟传音实验是第一定律，老板的实力不要质疑。
“对。
这个模型採用了轻量化动態网络结构，不用暴力剪枝。
能在保证98%识別率的前提下，把模型体积压缩到原来的十分之一。”
“十分之一。”
周围的几个工程师都凑了过来，脸上全是好奇之心。
毕竟他们的模型已经压缩到了8gb，那压缩后的结果就是800mb？
这个大小的模型，还能做到0.3秒的响应，这听起来就是天方夜谭。
“別在那里傻愣著了，考进去试试。”
沈飞指了指他们。
张磊回过身，赶紧把u盘插进电脑。
打开文件夹，里面不仅有完整的架构代码，还有详细的训练指南和优化笔记，甚至连常见的坑都已经標註清楚了。
他越看越激动，毕竟这套架构採用了一种他们想都没想过的方式，解决了模型体积和准確率的矛盾。
就像有人在死胡同里，直接开了一扇新的大门。
“这……这也太牛了……”
“动態路由分配算例，用小模型拼接出大模型的效果……我们之前怎么没有想到呢？”
张磊直接傻眼了，果然有名师指导，瞬间就可以醍醐灌顶，古人诚不欺我。
“现在想到也不晚。”沈飞笑了笑，“给你们一周的时间，把模型调教好，能做到吗？”
“能。”
张磊和一眾工程师连连点头。
“別说一星期，给我们两天就行，或者说上发布会都没问题。”
“不用那么著急，这是等產品进入平销期拉热度用的。
不过你们可以提前爆料，吸引一下同行的工程师。”
