7月4日-7月7日，2024世界人工智能大会(WAIC)在上海举行，来自国内外的数百款大模型集体亮相，呈现了AI大模型智能涌现、赋能千行百业的生动场景。在各色技术及应用的创新体验区中，一个具备高度交互能力的多模态机器人引起了人们的注意。
它就是来自岩芯数智RockAI，搭载了树莓派5代芯片的“小智”，在极低算力的设备上实现了强大的多模态能力。
继年初推出超强性能的Yan1.0云端大模型后，RockAI再次突破了端侧AI“原生无损”门槛，并在这款机器人上部署了此次首发的Yan 1.2大模型。与传统的自动控制机器人不同，小智具备多模态认知能力，能够基于Yan1.2的语音和视觉处理能力，准确理解用户的模糊指令和意图，并据此控制其机械躯体高效完成各类复杂任务。随着这款智能机器人在各种模糊指令下描述“视觉”场景、展现“四步成诗”，一场关于端侧AI的全新想象也铺展开来。
风云再起，端侧AI打响突围赛
端侧AI通常指在终端设备上直接运行和处理人工智能算法的技术，其优势在于可以直接利用设备的计算能力进行数据处理，不需要将数据发送到云端或服务器进行处理，从而降低对云端计算资源的依赖。且无论网络环境如何都能即时生成响应，确保用户数据安全性的同时，减少了相关算力成本开支。
自去年下半年以来，随着大模型的竞争从技术驱动过渡到市场驱动，端侧AI以其广泛的应用场景备受青睐，开始释放出全新的发展价值。全球范围内各大模型厂商纷纷通过各种技术手段，尝试将大模型在物理意义上融入终端。
但受制于端侧AI落地的算力和功耗等挑战，传统轻量化部署往往均以性能损失为代价。
如目前大热的AIPC是把Transformer架构的模型通过量化压缩部署到个人电脑，仅70亿参数的大模型还需要额外定制PC芯片为其提供算力。而此前在微型电脑主板树莓派5上打出“1.89tokens每秒速度运行、支持8K上下文窗口”战绩的Llama3 8B，同样止步于“有损压缩”。压缩后的模型不仅性能大打折扣，还会失去再训练、再学习的能力，成为无法定时更新底层知识的“一次性AI”。
Yan1.2为端侧设备而生
而RockAI此次首发的Yan 1.2大模型，则可以“原生无损”地以6+tokens/s的速度运行于算力仅普通电脑八分之一的树莓派上，并在这个仅有信用卡大小的芯片上实现超强的多模态能力，不仅能“听说读”，还可以识别模糊指令，进行学习、创作及互动。
这一成果，起初是得益于对于大模型基础架构的“破坏式”创新。早在今年1月，RockAI发布了国内首个非Transformer的Yan架构大模型。该架构通过对Attention机制的替换，将计算复杂度降为线性，大幅降低了对算力的需求，用百亿级参数达成千亿参数大模型的性能效果，并且率先实现了在主流消费级CPU等端侧设备上的原生无损运行。
为了实现树莓派等更多更低端设备的无损适配，RockAI基于全新自研的Yan架构，在实验室对人工神经网络最底层的反向传播算法进行挑战，寻找反向传播的更优解尝试，进一步实现Yan模型的降本增效。同时在算法侧，RockAI采用了基于仿生神经元驱动的选择算法，实现了类脑分区激活的工作机制，使大模型可以根据学习的类型和知识的范围分区激活，大幅减少了数据训练量，同时也能有效发挥多模态的潜力。故而，模型迭代到1.2版本，已经可以实现在PC端、手机端、树莓派端和机器人端等设备上的无损运行。
“同步学习”打造设备端“最强大脑”
历经了卷参数、卷市场的阶段，大模型当下正集中于一个“卷智能”的时代，因此，让大模型无损跑通更多低算力设备只是第一步，接下来就要思考如何提高端侧大模型的知识密度、智能密度。但RockAI CEO刘凡平还有一个更高的目标，就是在实现通用人工智能的同时，将AI与每个人独特的地方结合在一起，模型具备自主学习能力，让每个设备都拥有个性化的智能。
机器人小智
为了实现这种个性化的通用人工智能，RockAI团队首创了“同步学习”理念，让模型具备像人一样实时学习的能力，在推理的同时进行知识更新和学习，无需像云端大模型一样“返厂”进行再次更新或预训练。从而实时、有效且持续性地提升大模型的智能密度，应对各类个性化场景中出现的问题。
基于神经网络的底层技术创新，RockAI不断尝试寻找反向传播的更优解，试图能更低代价更新神经网络，实现对现有知识体系的快速更新，辅以模型分区激活降低功耗、实现部分更新，使大模型像人类学习一样建立自己独有的知识体系，实现模型的边跑边进化。会上，RockAI展示了“同步学习”的实验室示例，并表示该机制已处于实验室最后验证阶段。
而对于Yan模型在设备端的落地，刘凡平则透露，团队正加紧进行设备端的适配工作，目前已与众多硬件和芯片厂商建立了沟通与合作。
RockAI以Yan架构大模型为核心的技术突破与创新实践，标志着端侧AI正逐步克服技术壁垒，向更广泛的应用场景迈进。不仅是对现有计算范式的挑战与超越，更是对未来智慧生活的前瞻布局。
随着全模态支持+实时人机交互+同步学习的落地，Yan 2.0或将重新定义设备的价值，成为设备的“最强大脑”，真正做到“让世界上每一台设备都拥有自己的智能”。
