科大讯飞发布星火大模型V3.0,智能汽车座舱、音效、智驾三大方向产品全线升级
2023-10-27 15:43:43出处:中国创投网
10月24日,科大讯飞发布星火大模型V3.0,七大能力持续提升,整体超越医疗领域超越GPT-4。星火3.0升级启发式对话、AI人设功能,能够打造更个性化的AI助手。
同期,以“释放想象力·智能新出行”为主题的2023科大讯飞智能汽车新品发布会在合肥举行,会上,科大讯飞发布了基于讯飞星火V3.0的座舱、音效、智驾三大方向的产品升级。
一、讯飞星火+座舱:赋能人车交互体验跃升
10月24日最新发布的讯飞星火V3.0将赋能智能座舱全面升级,面向多样化的汽车使用场景,科大讯飞推出星火座舱OS、星火汽车APP和星火座舱域控,支持实时检索,可以实现插件化调度,并集成了多模态生成的能力,为合作伙伴提供自主可控、组件化、更开放的座舱解决方案。
星火座舱OS包括星火汽车助理和星火场景应用两大部分,将语音与视觉模态深度融合,让识别更精准,语音合成MOS>4.6,大模型业务贯穿支持十轮以上的上下文语义继承,新增的实时检索能力打破大模型认知边界,时新信息即时查询,为用户带来更自由、更智能、更自然的人车交互体验。借力大模型赋能,星火座舱OS打造了多个沉浸式的使用场景,并支持自定义,一句话生成复杂场景,触达200+车控动作。星火汽车APP围绕用车场景打造的多样化大模型车端应用,如用车顾问、儿童故事、口语陪练、心灵SPA、旅行伙伴等等,将大模型能力托身于众多实用小场景,为用户带来可感知的、能用好用的AI超能力。
星火座舱域控是智能化AI新底座,拥有丰富成熟的接口能力,面向行业输出兼容核心AI算法的“核心板”,基于全栈的座舱AI算法和结合芯片的异构算法优势实现芯算融合,SOC算力消耗降低10%,并与国内厂商深度合作,大幅度提升国产平台的渲染效果。星火座舱域控旨在以更少的资源、更短的开发周期实现差异化产品创新。
二、讯飞星火+iFlySound Plus24ch:智享动听
作为驾驶场景下最安全和高效的交互方式,听觉感官在车内备受关注,用户对汽车场景下的听感品质要求逐渐提高,对高级别车载音响系统的需求也在持续增长。
本次发布会现场,科大讯飞发布了最新的iFlySound Plus24ch功放硬件平台,将基于应用场景的交互、听感、内容、显示与车控深度融合,让车载音效体验从单维向多维、从单场景向多场景演进,重新构建汽车声音链条,形成整车智能化声音交互闭环,用智能化升维汽车座舱声音体验。
在硬件层面,iFlySound Plus24ch功放硬件平台使用高性能浮点DPS,拥有最高2GHZ*2的高速音频处理加速器和128通道数字音频处理能力,可以获得高达 24bit 96kHz 的HD Audio支持,并且兼容未来E-E架构,拥有超强的硬件扩展能力和音频推动能力,性能超越当前市面上大部分主流硬件设施。同时,科大讯飞还在保证性能的前提下有效降低了硬件的尺寸和重量,实现“小型化轻量化”。
在软件算法层面,科大讯飞核心技术自主研发,当前已具备3D环绕、声场分区、ICC、响度补偿、主动降噪、虚拟音效、多音区交互、高拟真主动声浪、车内交流偿、低品质音源修复、场景增益控制、声场分区、车载K歌和大模型音效等多个全自研的高阶音效算法,并推出基于持续丰富的声音库、声浪库、音效库、功能库的订阅模式。
在调音层面,基于大模型声学理论体系实现人机耦合,端云协同AI调音,与车企共同打造AI之音,基于iFlyDSP GUI工具,无需代码更改,可以快速完成定制需求,全自研MCU基础软件架构使得跨平台代码复用度超70%,灵活的软硬一体平台配置可以积极适配不同定位和级别的车型。
当前,科大讯飞车载音效产品已获得国内13家主流车企平台化项目定点,合作车型超过30款。
三、讯飞星火+智驾:让辅助驾驶更安心
大模型的理解、推理、表达和多模态知识学习等能力给自动驾驶带来了更多新的技术思路,基于讯飞星火认知大模型,科大讯飞带来了两款高性价比的行泊一体智驾解决方案——智驾STD和智驾PRO,配备增强型高速NOA(HNOA)、记忆行车和记忆泊车等功能,让汽车驾驶更安全,更智能,更有乐趣。
科大讯飞行泊一体智驾解决方案通过强大的AI算法研发能力、高效完整的数据闭环云平台、深厚的工程技术能力,打造车云一体的智驾研发体系。大模型利用海量数据以及驾驶领域知识的强化,可以用于自动驾驶场景数据以及驾驶策略的生成,并支持以交互的方式增强对基础驾驶模型的理解。科大讯飞自研了从深度学习训练到模型调优量化、模型推理部署的全栈工具链,并打造了智驾应用开发框架和中间件,确保系统稳定,支撑跨平台算法快速移植。自研4D重建与自动标注系统有效提升了标注的效率和质量。
星火大模型将从技术架构层面赋能BEV+transformer智驾感知大模型的研发,解决智能驾驶当前存在的感知不精准、决策不智能、长尾不收敛三大技术难题。通过统一的BEV+Transformer网络,可以实现多模态、多任务、长时序4D感知。基于机器学习的超声波感知算法应用,有效提升感知准确性和泛化性。结合星火座舱强大的人车交互能力,将舱驾信息进行深度融合,加强人车交互性能、提升用户体验,同时用户可以自由下达车控和智驾相关指令,行泊流程自如可控,让辅助驾驶更智能、更安心。
同时,科大讯飞讯飞在生态方面也保持着的巨大优势,除了基于讯飞自研的儿童教育、K12教育、音娱资源、听见会议以及讯飞翻译五大自建生态资源外,讯飞星火大模型赋能的智能座舱已经与支付宝、咪咕、腾讯音乐、喜马拉雅、高德、火山引擎、雷石、能链、喜泊客等九家企业开展了深度生态合作,积极建立车主全旅程运营服务链条,满足车主多元化需求,提供高效、便捷的车载场景体验,此外,科大讯飞智能座舱还与百余家企业生态积极合作,力求以丰富全面的软件生态赋能智能座舱,助力中国汽车产业智能化的发展。
进入智能化的下半场,大模型“上车”正在重新定义人机交互与相关服务生态,继5月6日正式发布以来,讯飞星火已在汽车领域取得了丰富的成果,当前,讯飞星火已与包括奇瑞、广汽、长城、长安在内的几十家车企和合作伙伴强强联手,构建汽车AI星火生态。后续,科大讯飞将继续落实大模型在汽车领域的深度运用,与广大合作伙伴共同推动中国汽车产业智能化的颠覆式革新。
纽斯葆欲捐100万助全红婵救母,网友:好企业,望能落实!
8月5日,全红婵以总分466 20分的超高成绩获得冠军并打破世界纪录,为中...
中国老龄事业发展基金会关爱之家基金在京成立 暨关爱之家APP上线
创新社区生活关爱无处不在中国老龄事业发展基金会关爱之家基金在京成立...
中美“三剑客”纵论街头艺术 黄建南:石峁壁画是街头艺术的鼻祖
近日,著名电视节目主持人周正(Joey Zhou)在位于美国加利福尼亚圣地...