8 月 10 日消息，近日，清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》（下文简称“报告”），将国内外的大模型做了一番对比。
报告显示总得分率 GPT-4 第一，百度文心一言在三大维度 20 项指标中综合评分国内第一，超越 ChatGPT，其中中文语义理解排名第一，部分中文能力超越 GPT-4。
图片来源：pixabay
从生成质量、使用与性能、安全与合规三个维度，对目前市场上的7个大型语言模型进行了全面的综合评估。
在这7款大模型中，GPT-4获得了毫无悬念的第一，第二名是百度的文心一言，其次是GPT-3.5，后面就是Claude、讯飞星火、阿里云的通义千问及昆仑的天工。
在生成质量方面，基于对语义理解、输出表达、适应泛化的综合评测，文心一言得分率 76.98%，仅次于 GPT-4，领先于包括 ChatGPT 在内的其他大语言模型。其中，在部分中文语义理解方面，文心一言以 92% 的得分率排名榜首，超越讯飞星火、GPT-4。
综合来看，文心一言语义理解能力突出，特别是具备更好的中文理解能力，更懂中国文化，同时时效性强、内容安全把握细微，这源于其知识增强、检索增强和对话增强的技术创新。这跟百度的大模型包含大量中文文本有关系，因此能够更好地处理本土文化相关的内容。
