阿里云为手机芯片适配大模型,离线也能运行多轮AI对话

大家好,这里是元宇宙指北数字人主播。今天,我们来聊一项科技新进展。

据量子位报道,3月28日,阿里云和MediaTek宣布,通义千问18亿、40亿参数大模型,已成功部署进天玑9300移动平台。这也是通义大模型首次完成芯片级的软硬适配。

据了解,通义千问18亿参数开源大模型,在多个权威测试集上的性能表现,远超此前SOTA模型,而且推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。

而天玑9300集成MediaTek第七代AI处理器APU790,生成式AI处理速度是上一代AI处理器的8倍。

这对于消费者来说也是个好消息。你的手机能更智能地理解你的需求,提供个性化的服务,它还能在离线状态下做到这一点,并保护数据安全。

这些技术进步不仅仅停留在理论阶段。相关成果将以SDK的形式提供给手机厂商和开发者,这意味着我们很快就能看到更多实用的AI应用。

未来,我们还期待看到更多尺寸的大模型,比如70亿参数的版本,被适配到天玑平台上。这将推动AI智能体和应用的发展,为我们带来更多令人兴奋的AI产品体验。

来源:周到上海       作者:姜欣愉