马斯克开源Grok-1，3140亿参数迄今最大
当地时间3月17日，特斯拉首席执行官（CEO）马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称，其遵照Apache 2.0协议开放模型权重和架构。
xAI官方网站截图
据第一财经报道，Grok-1参数量远超OpenAI GPT-3.5的1750亿，是迄今参数量最大的开源大语言模型。
17日，马斯克还在社交平台上发文对OpenAI进行了嘲讽：“告诉我们更多关于OpenAI开放部分的信息。”
2023年11月，xAI官网发布文章，公布了Grok的详细进展。
文章称，Grok是一款仿照《银河系漫游指南》设计的AI，几乎可以回答任何问题，它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆，所以如果你讨厌幽默，请不要使用它”。
xAI官方网站截图
文章介绍说，Grok的一个独特且基本的优势是，它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。
文章指出，Grok仍然是一个非常早期的测试版产品，是“我们在2个月的训练中所能做到的最好产品，期望在您的帮助下每周都能快速改进”。
文章表示，Grok-1的研发经历了四个月。期间，Grok-1经历了多次迭代。“宣布创立xAI后，我们训练了一个330亿参数的LLM原型（Grok-0）。这个早期模型在标准LM测试基准上接近LLaMA 2（70B）的能力，但只使用了一半的训练资源。在过去两个月里，我们在模型的推理和编码能力方面取得了显著进步，Grok-1终于诞生。”
文章称，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%，在MMLU中达到了73%。
为了了解对Grok-1所做的性能改进，xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准，对其进行一系列评估。
在这些基准测试中，Grok-1显示出了强劲的性能，超过了其计算类别中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型，例如GPT-4，才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。
同时，文章也指出，由于这些基准可以在网上找到，并且他们不能排除模型无意中进行了相应的训练。因此，他们在收集完数据集之后，根据去年5月底公布的2023年匈牙利全国高中数学期末考试题，对他们的模型（以及Claude-2和GPT-4模型）进行了人工评分。结果，Grok以C级（59%）通过考试，Claude-2也取得了类似的成绩（55%），而GPT-4则以68%的成绩获得了B级。文章称，他们没有为应对这个考试而特别准备或调整模型。
本文系东方军事独家稿件，转载请注明出处。
相关文章
-
台湾长荣客机一外籍乘客试图在厕所轻生
（观察者网讯）据台媒“中时新闻网”、“中央社”报道，长荣航空证实，一架长荣航空班机（BR67）日前从泰国曼谷飞往英国伦敦途中，乘务员于航机准备降落前执行安全检查，发现1名外籍乘客疑似在厕所内试图轻生。乘务员随即找来其他组员帮忙，并寻求机上具医疗背景的乘客协助，立即进行急救。长荣航空表示，班机于当地时间15日晚间7点抵达伦敦，该乘客进行急救后，已由当地医护人员、警方接手，送医治疗。...
2024-03-18 11:15:42 乘客乘务员长荣 -
马斯克开源Grok-1，3140亿参数迄今最大
当地时间3月17日，特斯拉首席执行官（CEO）马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称，其遵照Apache 2.0协议开放模型权重和架构。xAI官方网站截图 据第一财经报道，Grok-1参数量远超OpenAI GPT-3.5的1750亿，是迄今参数量最大的开源大语言模型。17日，马斯克还在社交平台上发文对OpenAI进行了嘲讽：“告诉我们更多关于O...
2024-03-18 11:15:37 模型文章基准 -
情人节，女人想被你“搞定”的三个暗示，别后知后觉
文/叶飞飞yff图/源于网络我是叶飞飞yff，一个非著名情感导师，写走心的情感文字，希望用有温度的文字，给你带来一些心灵上的慰藉。匡匡在《时有女子》里写：“我一生渴望被人收藏好，妥善安放，细心保存，免我惊，免我苦，免我四下流离，免我无枝可依。”每个女人都渴望遇见真爱，能够跟心爱的男人恋爱结婚，这是一辈子的幸福。因此，女人一旦遇到了心动的男人，就会憧憬美好的爱情，为了顺利建立关系，她会有意给出暗示...
2024-03-18 11:07:41 你的女人和你 -
心理学家：你的长相早已暴露了你的层次
每天耕耘最有趣、最实用的心理学辩证法认为，宇宙之中唯一不变的就是世界上任何事物都在永恒的变化着。因此，我们每个人的相貌也在不断的改变。由于生理方面的原因，人的年龄和环境的变化会导致面部肌肉和皮肤的衰老，从而引起相貌的变化。而在心理方面，中国古语“相由心生”则表达了这个意思。古时候认为，人们的心理因素改变可以引起相貌的改变，由于一个人的心理发生了变化，也可以使她的面部、头部等组织也发生了变化。所以...
2024-03-18 11:07:27 的人相貌漂亮 -
“礼物这么没档次，看不起谁啊，这门婚事不同意”“那不结婚了”
我是后来确实因为未来婆家的原因而分手的时候，才彻底明白，我父母的坚持没有错。其实我也知道，恋爱是两个人的事情，而结婚就是两个家庭的事情了，我也一直这么嚷嚷。事实上，我恋爱后，也觉得这句话是对的。但我一直认为，一个人要是讲道理拎得清，那他的家教应该也不会差到哪里去。文|胡小乖，图|网络换句话说，他爸妈应该不会很难相处。但我爸妈不这么认为，他们说，一个人慢慢长大，离开家乡后，多多少少都会为了融入一个...
2024-03-18 11:07:26 爸妈他的的人 -
20岁结婚，出过一次轨，不管我怎么表现也再回不到从前了
20岁结婚，出过一次轨，不管我怎么表现也再回不到从前了我和我老公是一个乡的，我们都在乡里的初中上学的时候就认识了，或者说就恋爱了。我们俩学习成绩都一般，所以初中毕业之后我去了职高学幼师，他跟着村里的师父学了木工。但我们一直没有断了联系。我20岁那年他让家里去我们家说媒，我们俩就结婚了。从那时候开始我就成了他的贤内助，他在外面干活挣钱我，我在家里做家务照顾老人。结婚第二年有了我们的孩子，我更是一天...
2024-03-18 11:07:24 我在去了老公 -
想女人时，不要总说“我想你”，这样说可以让女人自动找你
说话需要字斟句酌，到位的话就可以驾驭感情的走势，情商越高越会说出有水平的情话，只言片语让女人自动找你不是梦。一、我料定你还没有吃饭，因此我在你单位附近餐厅点好你喜欢吃的饭菜，已经让厨师开始烹饪了，等你到了，估计正好能做好。约会需要学会先斩后奏，所谓的先斩后奏需要建立在女人的需求之上，倘若是在工作日，你就在饭点来临之前，在女人工作单位附近选择女人喜欢去的餐厅以及点上女人喜欢吃的饭菜，声称让厨师先烹...
2024-03-18 11:07:21 女人找你衣服 -
-
48岁歌手李玟因抑郁症轻生去世：抑郁症不是矫情，是一种疾病
7月5日，歌手李玟因抑郁症轻生去世的消息震惊文艺圈。据其姐姐所言，李玟在数年前患上了抑郁症，经过与病魔长时间的斗争，最终还是没能走出阴霾。近些年来，不仅常见明星罹患抑郁症，普通人患上抑郁症的比例也在增加。爽朗、明媚、灿烂，这是李玟留给世人的印象。站在家庭的角度，用今天大家习惯的话来说，她真的是一个标准乖乖女：努力、上进、听话。但最终，她却因抑郁症结束了48岁的人生。对内地歌迷来说，她带来了一个新...
2024-03-18 11:07:12 抑郁症患者抑郁 -
结婚后发现老婆隐藏多年的秘密，我该在外面找个情人还是和她离婚
“我和她结婚也七年了，孩子也四岁了，眼看着再有几年就四十岁的人了，可自从婚后性生活就基本宣告结束，一年有个一两次。我也是婚后才知道她是同性恋，也没有想过这个事情能让自己遇到，谈过吵过，她苦苦哀求说不要离婚。其实主要是顾忌孩子，有几次离婚的协议都写好了，可最终也没有实施下去，生活还是这样继续。精神上我真的希望找个人出轨一下，可现实中还没有迈出哪一步。一来心理上还没有迈过去，二来普通人一个哪有那么些...
2024-03-18 11:07:09 孩子想过你的
