GPT-4揭秘：模型架构、训练成本和视觉特性

SemiAnalysis发布了一篇付费订阅的文章，详细「揭秘」了关于GPT-4的相关信息，包括其模型架构、训练成本、数据集等方面的内容。

据报道，GPT-4采用了由8个混合专家模型组成的集成系统，每个模型拥有2200亿个参数。在推理过程中，它使用相对简单的混合专家模型路由方式。该模型的训练数据集包含约13万亿个标记（token），训练时间为90到100天，耗资6300万美元。而每处理1000个标记的推理成本约为0.0049美分。

此外，文章还详细介绍了GPT-4的视觉多模态能力以及推测式解码等独特特性。这些揭示的数据对于理解OpenAI的架构决策具有重要意义。

除此之外，该文章还探讨了在A100上训练和推理GPT-4的成本，并且阐述了如何将这一经验应用于下一代模型架构H100。