导语:52B高性能、开源多语言大模型

4月27日上午,2024中关村论坛年会“人工智能主题日”主论坛——未来人工智能先锋论坛成功举办。会上,中国电信人工智能研究院(TeleAI)和北京智源研究院联合发布Tele-FLM——52B高性能开源多语言大模型。

据悉,Tele-FLM能力比肩甚至超过GPT-3.5通过损失预测等技术,提高了基础模型的能力,BPB loss 指标在英文上优于Llama2-70B和 Llama3-8B,在中文上优于Qwen1.5-72。经过微调的对话模型进行了客观、自动化的能力评测,评测结果显示,总分上Tele-FLM完成了对GPT-3.5-Turbo的超越。在分项得分中,Tele-FLM在总共的11个分项中有十项达到或超过GPT-3.5-Turbo水平。

仅今年,TeleAI便相继开源7B、12B参数规模大模型,吸引国内外开源社区开发者广泛讨论和使用。此次与智源联合发布的52B参数规模Tele-FLM也已全面开源,基础模型已发布在Hugging Face上;核心技术如超参搜索、稳定训练等全面公开在GitHub上,超参搜索曲线、Loss曲线、GradNorm、过程评测等多维度训练细节也已在技术报告中详细阐述。

据悉,TeleAI将在年内开源千亿级参数大模型,构建全尺寸开源格局,通过更丰富的应用场景、更广泛的落地应用、更繁荣的行业生态,助力中国大模型技术进步与落地应用。