近日,联发科举办了第一届天玑开发者大会2024(MDDC 2024),以“AI予万物”为主题,通过多项成果,引领基于生成式AI的移动生态创新。

本次大会上,联发科与合作伙伴共同启动了“天玑AI先锋计划”,发布了《生成式AI手机产业白皮书》,公布了旗舰5G生成式AI移动芯片天玑9300+,还展示了生成式AI端侧部署解决方案“天玑AI开发套件”、星速引擎游戏生态、多场景端侧AI应用。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第1张

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第2张

天玑AI先锋计划由联发科主导,联合阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米等众多云服务、大模型、终端厂商,面向全球开发者。

该计划将整合联发科与产业生态伙伴的资源,为探索端侧生成式AI应用与场景创新的开发者,提供丰富的开发资源、技术支持和商业机会。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第3张

目前,已经有大量的应用开发厂商和开发者加入了天玑AI先锋计划,现场登台助阵的就有小红书、美图、酷狗音乐、虎牙直播、抖音、腾讯AI Lab、Soul、全民K歌、RWKV、COCOS等等。

不少应用都在会场同步展示了各自的AI新体验,我们会在后边的环节和大家分享。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第4张

联发科与权威市调机构Counterpoint携手阿里云通义千问、百川大模型、虎牙、酷狗音乐、零一万物、OPPO、Soul、腾讯AI Lab、腾讯混元、vivo,联合发布了《生成式AI手机产业白皮书》,共同定义了“生成式AI手机”的概念和典型特征。

按照这份白皮书的定义,生成式AI手机就是可以利用大规模、预训练的生成式 AI模型,实现多模态内容生成、情境感知,并具备不断增强的类人能力。

白皮书还详细阐述了生成式AI与智能手机深度融合的趋势,深入探讨了生成式AI手机生态中芯片厂商、手机厂商、大模型厂商、开发者的AI战略,以及生成式AI手机的软硬件科技全景,并展望了生成式AI手机的发展趋势。

联发科作为底层硬件供应商,可为生成式AI手机提供强大的硬件支持,包括先进的移动计算平台、集成或独立的NPU单元、大容量和高带宽的内存、稳定高速的网络连接、硬件级和系统级的安全防御。

最新发布的天玑9300+,就是典型代表。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第5张

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第6张

天玑9300+继续采用台积电第三代4nm先进工艺和全大核CPU架构,包括四个X4 超大核,最高频率可达3.4 GHz,以及四个A720大核,主频2.0GHz,还有12核心的Immortalis-G720 GPU、18MB缓存,支持LPDDR5T 9600Mbps高频内存。

天玑9300+内置第七代AI引擎APU 790,有着强大的生成式AI算力,率先在端侧支持AI推测解码加速技术,生成速度可提升120%。

支持天玑AI LoRA Fusion 2.0技术,也就是双LoRA融合,生成效率提升100%,内存空间节省50%,使得生成式AI体验更高效、更个性化。

支持前沿主流的生成式AI大模型,覆盖文字、图像、音乐等AI多模态场景,包括阿里云通义千问、百川、百度文心一言、谷歌Gemini Nano、零一万物、Meta Llama 2/3、ERNIE-3.5-SE。

尤其是它在业内率先实现了以每秒22 tokens在端侧高速运行Llama 2 70亿参数大模型。

此外还支持AI框架ExecuTorch,可加速端侧生成式AI应用的开发。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第7张

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第8张

同时,联发科的星速引擎全面升级,为游戏开发者提供MAGT自适应技术软件开发套件、硬件光线追踪技术软件两大开发套件,通过精准性能管理、光追效果优化、网络质量监测等关键技术,提升画面的逼真度、流畅度,触控和网络的响应度,设备续航的持久度。

星速引擎可以打通硬件平台、游戏之间的隔阂,为彼此沟通建立桥梁,实现性能的实时按需响应。

MAGT技术打开之后,游戏载入速度可加快11%,从而更持久满帧。

再结合精准的系统监控、与头部游戏的深度联合调校,可以保证游戏满帧的同时功耗进一步降低10%

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第9张

网络质量监测技术方面,通过与腾讯云联合,可以实时监控游戏网络的连接质量,让游戏更高效地运用Wi-Fi、蜂窝网络并发技术,在玩网络游戏时更加稳定。

相比传统的Wi-Fi/蜂窝网络双网并发技术,它可以提前100ms预测弱网,准确率超过90%,而在Wi-Fi弱网环境下开启,可节省10%的满帧功耗、25%的数据使用量。

此外,联发科还积极与Arm、Google、Khronos、UE虚幻引擎等行业伙伴共同进行前沿技术的探索,扩大天玑游戏生态圈,尤其是推动硬件光追游戏加速落地。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第10张

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第11张

本次大会的另一个看点,就是天玑AI开发套件,包括四大模块,分别是快速高效的GenAI最佳实践、覆盖全球主流大模型的GenAI Model Hub、高效提升性能的GenAI优化技术、Neuron Studio 一站式视觉化开发环境。

联发科表示,天玑AI开发套件可以为开发者提供“快、全、强、易”的专业开发体验,加速终端生成式AI应用的开发全流程。

其中,GenAI最佳实践通过模型量化、模型编译和模型推理技术,加速大模型的终端部署,可使原本需要几个星期的工作量,缩短为区区一天。

GenAI Model Hub适配行业前沿主流的大模型,为开发者提供创建生成式AI应用所需的丰富大模型资源。

GenAI优化技术只要包括推测解码加速、LoRA Fusion等等。

Neuron Studio集成开发环境可提供一站式可视化的开发环境,跳出传统的代码开发环境,让开发变成“所见即所得”。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第12张

目前,天玑AI开发者套件已覆盖智能手机、智能汽车、物联网、PC电脑等众多智能终端设备,赋能全场景的生成式AI应用开发。

目前,联发科已携手阿里云通义千问、Cocos、王者荣耀、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴,打造体验截然不同的生成式AI应用。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第13张

这是联发科第一次举办开发者大会,堪称联发科历史上的一个重要转折点,更是整个行业的一个里程碑,引领着生成式AI移动生态的变革。

它标志着,联发科天玑平台的角色,已经从以往的技术引领者,变成了移动行业的创新领导者,不再局限于自身的发展,更把眼光和视野拓展到了行业的推进。

天玑品牌诞生以来,联发科通过持续的技术投入与开放合作,赢得了终端厂商、应用开发商、消费者的广泛青睐,也形成了蓬勃的移动生态。

今天,生成式AI正在悄然改变各个计算行业,尤其是移动产业,势必会颠覆所有人的生活、工作、娱乐体验。

在这股浪潮之下,联发科提供的已经不仅仅是基础性的底层硬件,还有全链一站式的开发工具、优化技术,更肩负着领导与枢纽的职责,联合众多行业伙伴,共同定义新概念、新技术,共同推进应用与生态发展。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第14张

接下来,我们逐个体验一下与联发科平台合作优化的手机端侧生成式AI应用。

先看一段现场视频:

https://www.douyin.com/video/7366396666703826210

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第15张

抖音带来了两项应用,一是AI实时特效,基于联发科APU,在硬件算力基础上结合算法打磨、工程优化,在效果、流畅度、功耗方面带来更出色的体验。

二是端侧SDXL-Lightning高画质文生图,由抖音智能创作团队开发。

它采用渐进式对抗蒸馏技术,可以在4步甚至2步之内生成高质量和分辨率的图像,更是1步即可为超时敏感应用生成图像。

根据内部测试,1024*1024分辨率在手机端生图速度1步约为2秒,2步约为5秒。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第16张

虎牙直播,率先实现了AI实时换脸,基于图生图的AI算法,可以丰富主播直播内,并给用户带来端上画质增强。

它支持450P分辨率两倍超分,变成900p;还支持720P原画增强,可以去除原画噪声,增强画面纹理细节。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第17张

酷狗音乐,支持歌词生图、快速配图、手动生图等玩法。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第18张

全民K歌率先将端侧模型歌曲生成SVC模型落地天玑9300,保证高性能的同时,提升了推理速度,可以轻松还原美妙歌声,一键演唱实力歌手歌曲,还能生成你和歌手的合唱作品,堪称五音不全者的救星。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第19张

Soul APP,主打AI情感陪伴,率先引入LoRA技术,单模型支持多形象切换,无需联网,隐私安全。

支持LLM+SD混合切换,LLM只需一次配置就能支持多轮对话。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第20张

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第21张

阿里云通义Qwen Al Agent(智能体),号称你身边的超级AI助手。

基于通义大模型,Qwen Al Agent可以感知环境、进行决策并执行指令,可以思考并调用工具完成目标。

通过通义千问APP(或接入通义大模型的应用),本地模型可以离线完成任务需求整理->路线规划设计->任务确认->指令下发对应服务并执行任务的全流程闭环,交互体验、处理效率、准确性等均远超传统交互方式。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第22张

火山引擎的AI创作SDK套件,可以一剪成片,无论是在手机、平板还是汽车上都可以随时创作。

其中,EffectOne SDK为手机应用、OEM客户提供完整的端侧图片、视频创作技术解决方案,包含拍摄、编辑、特效(2D/3D/AIGC)、视频模板等。

The Moment SDK为车载端创作套件,提供更简便的车端创作能力,包含一键成片、剪同款、高光成片等自动成片能力,也包含更灵活的基础编辑能力,结合AIGC、海量特效提供丰富的模板选择。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第23张

《逆水寒》手游和《暗区突围》率先落地移动端硬件光线追踪技术、MAGT游戏自适应调控技术。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第24张

《王者荣耀》海外版的玩家私人游戏教练,率先实现游戏教学音伴AI在天玑手机端侧的落地。

它通过TTS文本语音转换建立AI与玩家的桥梁,教会玩家MOBA游戏玩法/场面预判/出装建议,结合精准的语音生成,打造独特的音色乐律和人设背景,让玩家更容易沉浸。

包括开局英雄出装辅导,对战中英雄消失提醒、敌方出装提醒、团战准备等,消灭对方英雄后击杀鼓励、胜率播报。

生成式AI手机时代 联发科天玑变了!振臂一呼引领行业变革  第25张