• 全国 [切换]
  • 二维码
    混灰机械

    手机WAP版

    手机也能找商机,信息同步6大终端平台!

    微信小程序

    微信公众号

    当前位置: 首页 » 商业资讯 » 经商之道 » 正文

    大模型书生·浦语再开源,推出200亿参数版本

    放大字体  缩小字体 发布日期:2020-03-24 19:47:18   浏览次数:487  发布人:6f7a****  IP:61.145.11.***  评论:0
    导读

    9月20日,上海人工智能实验室宣布与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语大模型(InternLM)200亿参数版本InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发。同时,书生·浦语面向大模型研发与应用的全链条工具链升级,与InternLM-20B一同继续全面开放,向企业和开发者提供免费商用授权。上海人工智能实验室是人工智能领域

    9月20日,上海人工智能实验室宣布与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语大模型(InternLM)200亿参数版本InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发。同时,书生·浦语面向大模型研发与应用的全链条工具链升级,与InternLM-20B一同继续全面开放,向企业和开发者提供免费商用授权。

    上海人工智能实验室是人工智能领域的新型科研机构,主要开展战略性、原创性、前瞻性的科学研究与技术攻关。在大模型的应用价值日趋受到关注的背景下,上海人工智能实验室联合多家机构推出中量级参数的 InternLM-20B 大模型,其重点在于性能先进且应用便捷,以不足三分之一的参数量,达到了当前被视为开源模型标杆的Llama2-70B的能力水平。

    自今年6月首次发布以来,书生·浦语已历多轮升级,此次其发布的20B量级模型具备更为强大的综合能力,在复杂推理和反思能力上尤为突出,因此可为实际应用带来更有力的性能支持;同时,20B量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级GPU上,因而在实际应用中更为便捷。

    在相对有限的参数规模下,研究人员在架构设计时面临重要的取舍——提高模型的深度还是宽度?通过广泛的对照实验,书生·浦语团队发现,更深的模型层数更有利于复杂推理能力的培养。因此在架构设计时,研究人员把模型层数设定为60层,而7B与13B模型通常采用32层或者40层设计;同时内部维度保持在5120,处于适中水平。通过架构设计上的新取舍,InternLM-20B在较高计算效率的条件下实现了复杂推理能力的显著提升。

    相比于此前的开源模型,InternLM-20B的能力优势主要体现在更长的语境。通过外推技术,InternLM-20B支持16K语境长度,可以支持长文理解、长文生成和超长对话。

    工具调用是拓展大语言模型能力边界的重要手段,也是OpenAI近期推出大模型的重点特性之一。InternLM-20B对话模型支持了日期、天气、旅行、体育等数十个方向的内容输出及上万个不同的 API。

     

     
    (文/匿名(若涉版权问题请联系我们核实发布者) / 非法信息举报 / 删稿)
    打赏
    免责声明
    • 
    本文为昵称为 6f7a**** 发布的作品,本文仅代表发布者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,发布者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们154208694@qq.com删除,我们积极做(权利人与发布者之间的调停者)中立处理。郑重说明:不 违规举报 视为放弃权利,本站不承担任何责任!
    有个别老鼠屎以营利为目的遇到侵权情况但不联系本站或自己发布违规信息然后直接向本站索取高额赔偿等情况,本站一概以诈骗报警处理,曾经有1例诈骗分子已经绳之以法,本站本着公平公正的原则,若遇 违规举报 我们100%在3个工作日内处理!
    0相关评论
     

    (c)2008-现在 hunkui.com All Rights Reserved.