腾讯混元开源并发布 0.5B、1.8B、4B、7B模型
腾讯混元团队宣布推出四款开源的小尺寸模型,参数分别为0.5B、1.8B、4B和7B。这些模型专为消费级显卡设计,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,并支持垂直领域的低成本微调。这一举措进一步丰富了混元开源模型体系,为开发者和企业提供了更多尺寸的模型选择。
这四款模型的推出是腾讯混元大模型持续开源的一部分,旨在为开发者和企业提供更多选择,以满足不同场景下的需求。目前,这些模型已在Github和HuggingFace等开源社区上线,并得到了Arm、高通、Intel、联发科技等多个消费级终端芯片平台的支持。
新开源的四个模型属于融合推理模型,具备推理速度快、性价比高的特点。用户可以根据使用场景灵活选择模型的思考模式:快思考模式提供简洁、高效的输出,适合简单任务;慢思考模式则涉及解决复杂问题,具备更全面的推理步骤。在效果上,这些模型在语言理解、数学、推理等领域表现出色,在多个公开测试集上得分达到了领先水平。
这四个模型的亮点在于其agent能力和长文处理能力。通过精心的数据构建和强化学习奖励信号设计,这些模型在任务规划、工具调用和复杂决策以及反思等agent能力上表现出色,能够轻松胜任深度搜索、Excel操作、旅行攻略规划等任务。此外,模型原生长上下文窗口达到了256k,意味着模型可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容,相当于一口气读完3本《哈利波特》小说,并且能记住所有人物关系和剧情细节,还能根据这些内容讨论后续故事发展。
在部署方面,这四个模型均只需单卡即可部署,部分PC、手机、平板等设备可直接接入。模型具有较强的开放性,主流推理框架(例如,SGLang,vLLM和TensorRT-LLM)和多种量化格式均能够支持。
应用层面,这四款小尺寸模型能够满足从端侧到云端、从通用到专业的多样化需求,并且已经在腾讯多个业务中应用,其可用性和实用性经过了实践的检验。例如,依托模型原生的超长上下文能力,腾讯会议AI小助手、微信读书AI问书AI助手均实现对完整会议内容、整本书籍的一次性理解和处理。在端侧应用上,腾讯手机管家利用小尺寸模型提升垃圾短信识别准确率,实现毫秒级拦截,隐私零上传;腾讯智能座舱助手通过双模型协作架构解决车载环境痛点,充分发挥模型低功耗、高效推理的特性。
官网体验地址:https://ift.tt/pfu37ky
【Github】
Hunyuan-0.5B:GitHub - Tencent-Hunyuan/Hunyuan-0.5B
Hunyuan-1.8B:https://ift.tt/ST4ARFQ
Hunyuan-4B:https://ift.tt/FbnNcD4
Hunyuan-7B:https://ift.tt/TFI1xO8
【HuggingFace】
Hunyuan-0.5B:https://ift.tt/w5XeA63
Hunyuan-1.8B:https://ift.tt/N5esDYj
Hunyuan-4B:https://ift.tt/Bh421lC
Hunyuan-7B:https://ift.tt/QgZ03GL
空空如也!