目录
- 语鲸大模型是什么？
- 语鲸大模型可以做什么？
- 语鲸大模型测评结果
- 如何使用语鲸大模型？
- 关于深言科技
语鲸大模型是什么？
LingoWhale-8B是由深言科技推出的语鲸系列大模型中首个开源的中英双语大语言模型，拥有约80亿参数，在数万亿token的高质量中英数据上进行预训练，具有强大的基础能力。在预训练阶段，模型使用8K的上下文长度进行训练，能够完成更长上下文的理解和生成任务。
语鲸大模型可以做什么？
“语鲸大模型”具备强大的语义理解与文本生成、代码理解与生成、逻辑推理等能力，提供文本创作、数学计算、代码补全等服务，在中文理解和生成能力上行业领先，做到了更懂中文，更懂中文使用场景。
语鲸大模型测评结果
语鲸大模型在各种公开评测基准上进行了测试，比如C-Eval、MMLU和CMMLU。这些评估基准提供了标准化的测试和度量，用于评估语言模型在不同任务和领域上的性能和能力。
- 在C-Eval测试中，LingoWhale-8B取得了63.6的评分，表现优异。
- 在MMLU测试中，LingoWhale-8B的评分为60.2，展示了强大的语义理解能力。
- 在CMMLU测试中，LingoWhale-8B取得了62.8的评分，领先于许多同类模型。
- 在GAOKAO测试中，LingoWhale-8B取得了50.3的评分，显示了其在中文理解和生成上的优势。
- 在HumanEval测试中，LingoWhale-8B的评分为32.9，展现了其代码生成能力。
- 在GSM8K测试中，LingoWhale-8B的评分为55.0，展示了其数学计算能力。
- 在BBH测试中，LingoWhale-8B取得了47.5的评分，表现出色。
- 在AGIEval测试中，LingoWhale-8B的评分为43.8，体现了其综合能力。
如何使用语鲸大模型？
语鲸大模型已经开源，供学术研究免费使用，商业用途需要通过申请获取授权。
在开源模型权重的同时，语鲸大模型也提供了符合用户习惯的Huggingface推理接口以及LoRA等参数高效微调示例，便于开发者快速使用LingoWhale-8B模型。
开源地址：
- GitHub: https://github.com/DeepLangAI/LingoWhale-8B
- Huggingface: https://huggingface.co/deeplang-ai/LingoWhale-8B
- ModelScope: https://www.modelscope.cn/models/DeepLang/LingoWhale-8B
- Wisemodel: https://wisemodel.cn/models/DeepLang/LingoWhale-8B
若你期望将此源模型或其衍生品用作商业用途，请填写问卷进行申请，通过后即可免费商用。
关于深言科技
深言科技官网：https://deeplang.ai/
深言科技（DeepLang AI）由清华大学计算机系自然语言处理实验室（THUNLP）与北京智源人工智能研究院（BAAI）共同孵化，是国内最早开展大模型研发与探索大模型落地的创业公司之一。
公司创始团队曾深度参与智源悟道大模型的研发，目前已发布产品包括世界首个中文及跨语言反向词典WantWords、名句语义检索系统WantQuotes、智能写作工具深言达意等，已为超过800万用户提供智能文本信息处理服务。
公司成立以来已获得多项荣誉，包括入选《中国企业家》大模型新锐9名单、中国最具价值AGI创新机构TOP 50、第十一届中国创新创业大赛（初创组）优秀企业等，并已入选北京市通用人工智能产业创新伙伴计划。
