
电商直播最怕什么?主播喊“三二一上链接”,观众盯着屏幕却还没看到字幕。这个让人抓狂的延迟,快手刚刚给解决了。
快手电商直播技术团队搞出了一套叫 Live Captioning Engineering 的实时字幕方案,把主播说话到字幕出现在屏幕上的时间,从原来的1.5到2秒,硬生生压到了400到500毫秒。你可能觉得半秒还是有点慢,但要知道,人眨一次眼差不多就是300毫秒,这已经接近“话音刚落、字就到位”的水平了。
更关键的是,字幕不光要快,还得准。这套方案把字符错误率从7.81%降到了3.51%,相当于原来每100个字里差不多有8个错,现在只剩3个半。而且它还要扛住千万级观众同时观看——电商直播间的流量洪峰,可不是闹着玩的。
直播字幕为什么这么难做?因为语音是连续的,主播一句话没说完,AI就得开始猜。猜错了怎么办?等听到后半句,前面识别出来的字可能得全部推翻重来。这就像你边听别人说话边记笔记,记到一半发现理解错了,赶紧划掉重写,还不能让看笔记的人察觉到你在涂改。
快手这套方案把整个流程拆成了四段接力:第一棒是语音识别,把声音转成文字;第二棒是时间戳对齐,确保字幕和主播嘴型对得上;第三棒是分发,把识别结果推到千万观众的手机上;第四棒是手机端渲染,由播放器把字画出来。四棒里任何一棒拖后腿,观众看到的字幕就会慢半拍。
最考验功力的是“流式修订”这个环节。系统得搞清楚三件事:当前是哪句话(用 sentenceId 锁定)、这句话改到第几版了(用 revision 标记)、修订后的字幕该在哪个时间点刷新(靠播放器时间线决定)。三样东西配合好了,字幕才能在不断修正的过程中不闪烁、不串行,稳稳当当地贴在画面上。否则观众看到的可能就是字幕乱跳,或者上一句和下一句叠在一起。
这套方案的价值不只是让快手直播间的字幕变快了。对于那些正在搭建高并发实时AI系统的团队来说,怎么处理“流式、修订、对齐”这三个难题,比单纯追求识别准确率更有借鉴意义。毕竟在真实场景里,系统要面对的是网络抖动、设备差异、流量洪峰,光有漂亮的实验室数据远远不够。
快手这次把电商直播字幕推进到500毫秒以内,算是给行业打了个样:实时AI落地,不光要模型强,工程能力也得跟得上。接下来就看其他平台什么时候跟进了。