刘诗诗产

这是一个480B参数激活35B参数的MoE模型，原生支持256Ktoken的上下文并可通过YaRN扩展到1Mt

【1

徐立表示，商

郭峰

柯林

SoulA

宜春市

Copyright © 2021 玉树临风网 All Rights Reserved