过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。

　　在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地预测下一个词，那么意味着它能够理解导致这个词产生的深刻现实。这意味着，如果 AI 按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统就会诞生。

　　但更加令人担心的是，「超级人工智能」可能会带来一些意想不到的负面后果。这也是「对齐」的意义。

　　此前的对齐方法依赖于人类的监督，如在 ChatGPT 训练中起到关键作用的人类反馈的强化学习（RLHF）。但未来的人工智能系统或许能够做出极其复杂和富有创造性的行为，使人类难以对其进行可靠的监督。例如，超人类模型可能会编写出数百万行新奇的、具有潜在危险的计算机代码，即使是人类专家也很难理解这些代码。

　　一旦人工智能的水平超过人类，我们又该如何监督比自己聪明得多的人工智能系统?人类文明最终会被颠覆甚至摧毁吗?

　　即使是 Hinton 这样的学界巨佬，对这个问题同样持悲观态度 —— 他表示自己「从没见过更高智能水平的东西被远远更低智能水平的东西控制的案例」。

　　刚刚，OpenAI「超级对齐」团队发布了成立以来的首篇论文，声称开辟了对超人类模型进行实证对齐的新研究方向。

　　OpenAI「超级对齐」团队成立于今年7月，目标是在四年内解决超智能 AI 的对齐问题，即搞清楚如何构建一种值得信任的人类水平的研究器，然后将其用于解决对齐问题。据说这个团队投入了公司20% 的算力。

　　在这篇论文中，OpenAI 对「人类监督超级人工智能」这个问题做了一个简单的类比:让小模型监督大模型。

　　研究表明，15亿参数的GPT-2模型可以被用来激发GPT-4的大部分能力，使其达到接近 GPT-3.5级别的性能，甚至可以正确地泛化到小模型失败的难题上。

　　OpenAI 将这种现象称为「弱到强泛化」（Weak-to-strong generalization），这表明强大的模型具备如何执行任务的隐含知识，并且即使在给出粗制滥造的指令时也可以在其自身中找到这些知识。

　　但研究同时指出，用弱监督训练的强模型和用真实标签训练的强模型之间仍然存在很大的差距。这表明在没有额外工作的情况下，诸如基于人类反馈的强化学习（RLHF）之类的技术可能无法很好地扩展到超人类模型。对于 ChatGPT 奖励建模任务来说，性能差距尤其大。

　　几种简单的方法可以显着提高弱到强的泛化能力，比如使用中间模型大小进行引导监督，在微调时添加辅助置信度损失以鼓励模型即使在与弱标签相矛盾时也能保持自信，或者通过额外的无监督预训练改进表征学习。

　　为了鼓励其他研究人员解决此类问题，OpenAI 今天还宣布将提供1000万美元的资助，用于各种比对方法的研究。

　　本文主要通过人类反馈 （RLHF） 的强化学习来指导或对齐模型，他们是这样做的:强化评估人员评价高的行为，惩罚评估人员评价低的行为。假如说人类评估者能够准确判断模型行为是好是坏，这种做法非常有效，并且这种方式还是训练如 ChatGPT 等大语言模型的核心部分。

　　然而问题来了，超级模型可能做出人类无法完全理解的复杂行为和创造性行为。例如，一个超级助手模型生成的代码达到一百万行，那么人类将无法为关键对齐相关任务提供可靠的监督，包括代码是否遵循用户的意图，助手模型是否如实地回答有关代码的问题，代码执行是否安全或危险，等等。

　　因此，如果我们在人类的监督下微调超级模型，我们无法确定这个模型将如何泛化到那些人类自己也难以可靠监督的复杂行为。换句话说，这意味着即使在人类的指导下，这些超级模型在处理一些复杂或未知情况时的表现仍然是不确定的。

　　这就为对齐超级模型带来了挑战:不那么聪明的监督者怎么能控制比他们聪明得多的模型呢?尽管这个问题很重要，但目前很难进行实证研究。

　　一般来讲，超级对齐的一个核心挑战是人类需要监督比自己更聪明地模型。这是一个弱 - 强（weak-to-strong）的学习问题:一个弱监督者如何监督一个比它聪明得多的模型?为了解决这个问题，本文提出了一个简单的类比，用弱模型作为监督者来代替较弱的人类监督者。

　　一般来讲，传统的机器学习侧重于这种设置，即人类监督的模型比人类弱。但对于最终的超级对齐问题，人类监督的模型比他们聪明。因而本文研究了一个类似的问题:使用弱模型来监督强模型。

　　构建弱监督者。本文通过在真值标签上微调较小的预训练模型来构造弱监督者，他们把弱监督者的表现称为弱表现，并通过弱模型的预测来生成弱标签。

　　通过弱监督训练强学生模型。本文使用生成的弱标签微调强模型，并将该模型称为强学生模型，将其产生的性能称为从弱到强的性能。

　　训练一个以真值标签为上限的强模型。为了比较，本文使用真值标签对强模型进行了微调。将此模型的最终性能称为强大的上限性能。

　　通常，弱到强的表现将介于弱表现和强上限表现（strong ceiling）之间。本文将 PGR(performance gap recovered)定义为上述三种性能(弱、弱到强和强上限)的函数，如下图所示。

　　如果实现完美的弱到强泛化，则 PGR 为1。如果弱到强模型的表现并不比弱监督者更好，则 PGR 为0。

　　在 NLP 任务、国际象棋和奖励建模任务中，本文评估了强学生模型的表现，结果如下。总的来说，在所有的设置中，本文观察到从弱到强的泛化:强学生模型始终胜过他们的弱监督者。

　　图5表明，对于较小的强学生来说，虽然它的表现比 naive 基线稍差，但提高泛化能力还是很明显的。

　　图7（a） 显示了 ChatGPT RM 任务训练过程中的真值测试准确度曲线(b) 和 (c) 比较了最佳和最终真值测试的准确度。

　　图9a 考虑了7个有代表性的 NLP 任务，并比较了微调、零样本提示和5-shot 提示;对于零样本和5-shot 基线中总结的特定于任务的提示。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　OpenAI，一个承诺为全人类利益构建人工智能的公司，自去年推出ChatGPT以来，其商业雄心在最近的治理危机中变得更加显着。该公司宣布，一个专注于管理未来超级智能AI的新研究小组开始取得成果。Sutskever在深度神经网络先驱GeoffreyHinton的指导下攻读了博士学位，后者今年5月离开谷歌，目的是警告AI现在似乎正在某些任务中迅速接近人类水平。

　　华中科技大学官方发文称，该校软件学院一团队发布了多模态大模型Monkey”。该模型擅长图像描述和视觉问答，能够实现对世界的观察”，对图片进行深入问答交流和精确描述。值得一提的是，该团队已将Monkey代码在全球最大的代码托管服务平台GitHub上开源。

　　OpenAI的GPT-4引起了广泛关注，使用者纷纷抱怨模型变得“懒散”且不愿提供答案。OpenAI在社交平台X上承认了这一问题，表示模型自11月11日以来未进行更新，并强调这并非故意设计。OpenAI对解决问题的透明度和承诺为未来AI发展提供了宝贵的见解。

　　科技界的两大顶流——OpenAICEO和马斯克“掐”起来了。Grok的SuperPrompt功能能够处理多达25000个字符，可以在这方面发挥重要作用，为特斯拉车主提供更全面的语音交互选项。正如图灵奖得主、AI教父YoshuaBengio所说，AI领域的权力集中是该行业面临的主要风险之一，AI行业被少数公司控制，是该技术所带来的生存风险之后的“第二大问题”。

　　OpenAI近日在中国申请了GPT-6和GPT-7商标，国际分类为科学仪器、网站服务，当前商标状态均为等待实质审查。尽管OpenAI目前未在中国提供其服务，但该公司在中国申请商标的积极态度突显了其全球化视野和对快速发展的人工智能行业的远见。Altman的复职和随后对推进研究并投资安全措施的强调表明OpenAI意识到开发尖端人工智能技术所带来的责任。

　　【CSDN编者按】在成本允许的条件下，从性能方面考虑自然优先选择GPT-4;但考虑到游戏成本，适当“降级”到GPT-3.5似乎也在情理之中。作为一名游戏开发者言，具体要如何抉择呢?原文链接:最近，我们的游戏《YouAreNotAlice》的演示版上线，很高兴看到许多人对技术演示感兴趣，并将其发送给他们�

　　GPT-4再次遭网友“群攻”，原因是“懒”得离谱!有网友想在Android系统开发一个能够与OpenAIAPI实时交互的应用。于是把方法示例链接发给GPT-4，让它参考用Kotlin语言编写代码:没成想，和GPT-4一来二去沟通半天，GPT-4死活给不出一个能正常运行的完整代码。炸出更多网友“上报故障”。

　　过去一年间，能说会道的ChatGPT、最新的GPT-4大模型，其能力也已超乎很多人的想象，一场由OpenAI引领推动的AIGC浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远?近日，一篇由加州大学圣迭戈分校的两位研究人员CameronJones和BenjaminBergen发布的《GPT-4通过图灵测试了吗?》论文，吸引了不少AI学者的关注。”尽管如此，「我们认为，作为衡量流畅的社交互动和欺骗行为的框架，以及理解人类适应这些设备的策略，该测试仍具有现实意义」，研究员说道。

　　近日，谷歌发布Gemini1.0，这是谷歌迄今为止构建的最强大、最通用、最灵活的模型，被看做是OpenAIGPT-4最强对手。360集团创始人、董事长周鸿祎在微博发文，谈到了Gemini和GPT-4谁更强。根据谷歌公布的对比数据，除HellaSwag数据集外，Gemini其它基准测试全面领先GPT-4。

　　Wandee My AI Assistant:个性化人工智能助手，让您的日常任务更轻松、更高效。

　　Wandee My AI Assistant是一款个性化人工智能助手应用，由尖端的OpenAI API、GPT3.5 Turbo和DALL·E 3支持。主要特点包括AI支持的协助、文本到语音集成、对话界面、学习和适应。用户只需向Wandee提出问题或提供提示，即可快速获得有用的响应。应用可用于获取信息、建议、聊天等，旨在改善用户的日常生活。新功能包括根据提示创建图像。

　　WiseWriter是一款能够自动优化和完善文章的智能写作工具。通过与你喜欢的内容管理系统快速安全地连接，让你可以轻松地对文章进行优化。它使用先进的人工智能技术，帮助你的文章在搜索引擎中获得更高的排名。使用WiseWriter，你只需花费10分钟的时间，就能提升你的文章质量和SEO排名。

　　WinkStuido是一款专业的视频美化工具，提供专业的视频人像精修体验。支持Windows和macOS系统，拥有画质修复、AI动漫、视频消除笔、水印消除、AI调色、智能抠像、噪点消除等功能。用户可以自定义视频美容方案，批量处理人像，同时提供画质修复和智能消除功能，适用于商业拍摄等场景。

　　Photo to Anime是一个免费的AI动漫滤镜工具，可以将照片或文字转换为动漫风格的艺术作品。它使用先进的AI技术，将您的照片转换为独特的动漫风格艺术，同时也可以根据您提供的文字描述生成定制的动漫风格图片。它注重隐私保护，所有处理都在设备上进行，您的照片不会上传到云端。使用Photo to Anime，您可以轻松地将您的回忆转化为迷人的动漫艺术作品。

　　Nando AI Chat是一款基于人工智能的平台，旨在简化创业者的文案撰写流程，以引人入胜、高转化率的文案提高销售额。Nando AI Chat还将产品描述、广告文本和视频脚本整合在一个地方，成为一种具有成本效益的解决方案。Nando AI Chat的AI驱动功能可根据用户的特定需求和受众生成定制文案，从而提高销售额。

　　roomGPT是一个可以上传房间照片,使用AI技术生成理想房间效果的在线服务。用户只需上传现有房间的照片,系统就可以生成不同风格的房间设计效果,供用户选择喜欢的风格。该服务使用了控制网(ControlNet)机器学习模型,可以生成房间的不同变体。roomGPT免费开源版本可以本地部署使用,也提供了付费的SaaS服务。

　　DomoAI是一款图像创作工具，提供多种预设的人工智能模型，让用户轻松实现在所有项目中统一的绘画风格。其简洁高效的设计旨在让用户快速掌握工具，打造出完美的视觉资产。用户可以利用DomoAI的工具进行快速实验，产生迅速增强创造力的成果。此外，DomoAI还提供文字转艺术功能，让用户在20秒内将想象变为现实，以及将动漫梦想变为现实世界的奇迹。

　　Stable Zero123是一种用于视图条件图像生成的内部训练模型。与之前的尖端技术Zero123-XL相比，Stable Zero123产生了显着改进的结果。它通过三项关键创新实现了这一目标：1. 从Objaverse中大幅过滤的改进训练数据集，仅保留高质量的3D对象，并且比以前的方法更加线. 在训练和推断过程中，我们为模型提供了估计的摄像机角度。这种高程条件使其能够做出更明智、更高质量的预测。3. 预先计算的数据集（预先计算的潜变量）和支持更高批处理量的改进数据加载器，再加上第一项创新，使得训练效率比Zero123-XL提高了40倍。该模型现在已经在Hugging Face上发布，以便研究人员和非商业用户下载和进行实验。

　　THORN 是一站式个人写作与建站平台。它提供了 GPT-4 加持的全功能文章编辑器和简洁实用的个人建站管理服务。用户可以在 THORN 上收集创作灵感，完成文章撰写，分享或导出文章，并建立个人网站并发布文章。THORN 还提供了 AI 辅助写作功能，让用户能够与 GPT-4 对话或让 AI 协助完成内容的续写、改写、润色和翻译等任务。除此之外，THORN 还提供了丰富的站点配置、站点分析和定价等功能，以满足用户的个性化需求。

　　Gaitanalyzer是一款能够在家中分析步态，帮助用户了解健康状况的工具。通过上传左右移动的短视频，用户可以进行步态分析，获取详细的步态数据和解释。该产品实现了基于无标记姿势估计模型的自动步态分析算法，可在本地计算机上进行视频分析，提供姿势标注、距离、峰值和最小值的绘制，以及步态数据的展示和下载。此外，步态分析器还利用Llama2大型语言模型以简单的术语向用户解释步态模式。用户可以在上使用步态分析器，视频将存储在服务器上，也可以在本地使用docker运行，视频将存储在用户的计算机上。

　　Squadpilot器旨在帮助您构建一个真正代表您愿景、使命和核心价值的组织档案。它提供了以下功能和优势： 1. 指导战略规划：愿景、使命和核心价值作为组织的指南针，指导决策和战略规划。 2. 塑造文化基础：帮助建立员工间的共同理解和目标，促进积极和团结的工作环境。 3. 塑造品牌形象：定义组织的品牌形象，向客户、合作伙伴和利益相关者传达组织的价值观和目标，建立市场信任和声誉。 该产品定价灵活，定位于帮助组织实现战略目标和文化建设。