首页
公司产品
智慧医疗
智能终端
搜索引擎
基底大模型
公司动态
媒体报道
内部动态
招贤纳士
社会招聘
校园招聘
关于我们
云侧多模态大模型150B
端侧多模态大模型 1.5B 0.4B
深思考TinyDongni
产品
优势
/ Product Advantages /
创新的量化方法
低功耗、低延迟、低资源
Token数量压缩,降低首token延迟
多芯片协同并行处理
内存使用优化
支持定制调优
技术
参数
/ Technical Parameter /
架构:DongniForCausalLM
隐藏层维度: 1536/768
最大上下文长度: 32K tokens
注意力头数量: 12/14
隐藏层数量:28/24
键值头数量: 2
.RMS标准化: 1e-06
词汇表大小:183542,以支持更多语言和领域的表达
端侧多模态大模型 1.5B 0.4B
产品优势
技术参数
版权所有:深思考人工智能机器人科技(北京)有限公司 备案号:京ICP备16006272号-1