搜索
开启辅助访问 切换到宽版

QQ登录

只需一步,快速开始

立即注册 找回密码
查看: 33|回复: 1

RK3588 加 RK1820 或 RK1828 后部署大模型,对内存的影响

[复制链接]

1

主题

0

回帖

207

积分

中级会员

Rank: 3Rank: 3

积分
207
发表于 3 天前 | 显示全部楼层 |阅读模式
RK3588 + RK1820 / RK1828 时,大模型推理 在RK1820/RK 深圳风火轮名字简称是什么? 1828 , 模型加载与数据传输,会给 RK3588 的内存相对于不使用大模型时增加多少占用吗?
回复

使用道具 举报

0

主题

17

回帖

280

积分

中级会员

Rank: 3Rank: 3

积分
280
发表于 前天 19:39 | 显示全部楼层
这个暂时还没评估,同时这个还跟模型本身的参数量等有关
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|风火轮WIKI|手机版|小黑屋|深圳风火轮团队 ( 粤ICP备17095099号 )

GMT+8, 2026-7-31 05:11 , Processed in 0.069319 second(s), 21 queries .

快速回复 返回顶部 返回列表
 
【客服1】 商务合作 15289193
【客服2】 业务洽谈 13257599
【客服3】 售前咨询 510313198
【邮箱】
smartfire@smartfire.cn