上一周基本跑通了整个流程,也拿到一些结果,但有一个问题始终困扰着我:
用 whisper-mlx 把录音转成中文后,所有的标点都丢失了,英语倒还好。这样以来,问题很大,因为 whisper 的模型是根据根据时间窗口切割结果的,比如3秒,10秒之类的,但没有标点就无法重新分句,只能硬拿3秒10秒这样的切块和英语做对比。尽管也能看出一些眉目(抄得太厉害了),但总归难以说服自己。
我一开始想直接在切块里添加标点,然后再分句。但这样的问题很大,每个切块都是破损的,这样直接喂给模型,效果还是很差。后来我想,要不干脆直接把所有一段录音的所有切块直接拼在一起,然后再添加标点,再分句。查了查,还真有人这么玩过,而且还有专门的模型。结果拿来一试,不光分句的问题解决了,后续的问题也解决了不少。
有了 agent,这就是一两小时的事,没有 agent,恐怕是一两周的活。
2026年9月3日 864