马斯克AI大模型Grok开源，体量3140亿参数号称“全球最大”

北京时间3月18日，马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型Grok-1，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。

Grok-1的模型细节包括：基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；3140亿参数的MoE模型，在给定token上的激活权重为25%；2023年10月，xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。
这个时候，马斯克也不忘忘了嘲讽OpenAI一番，其在X平台上发文称：“我们想了解更多OpenAI的开放部分”。