详细介绍

  上传一个 GIF ，然后输入你的提示，描述性和标志性的角色效果最好。比如要把什么样的效果，要转换成谁？ 例子：masterpiece, best quality, Michael Jackson 选择风格等待大约一分钟，就会完成... 挺有意思的！效果很不错我感觉是一个能挣钱的生意，可以让用户自己录视频转Gif接着进行各种转绘。使用Animatediff的工作流，部署在fal上。

  ACT 1 能够以不同的宽高比产生高清视频 通过利用大量的文字和视频配对作为样本来训练，它能理解和创造出很多不同的场景。 ACT 1 还使用了一种特殊的技术来理解和创造视频内容，让生成的视频内容更为丰富和贴近现实。 ACT 1 在创建视频时，不只是简单地根据文字描述生成画面，还会考虑这些描述背后的含义，如人物的动作、场景的特点等，使得生成的视频不仅与描述相符，还充满了生活化的细节和动态效果，让视频看起来更自然、更有趣。

  它专注于检索增强生成（RAG）和工具使用，以支持企业级的生产规模AI应用。 350 亿参数，128k上下文，在括中文等10种主要全球商业语言上进行了优化 可以通过集成外部API和工具来自动化复杂的任务 为公司可以提供一个可扩展的解决方案，以支持从概念验证到生产的各种用例，以及能够更容易地与企业的其他技术系统集成等。 测试了下，总体上还不错，但是针对中文可能还是有一些问题，需要优化。

  1、检索增强生成（RAG）：Command-R 能够最终靠检索增强生成（RAG）在大规模的信息库中快速查找有关信息，并将这一些信息整合到生成的文本中。这对需要访问和利用大量专业知识库信息来回答问题或提供相关建议的服务（如客户支持、在线咨询服务等）特别有用。

  2、智能对话系统与虚拟助手：借助于其先进的文本生成能力和工具使用功能，Command-R 可以驱动智能对话系统和虚拟助手，提供基于上下文的个性化建议、执行复杂的查询任务，甚至集成企业内部的特定工具和数据库，以自动化常规任务。

  3、工具使用：利用其工具使用能力，Command-R 能够集成和操作外部API和软件工具，自动化跨多个系统和平台的任务和工作流程，如数据分析、报表生成、CRM操作等，极大提升工作效率和准确性。

  模型大小：Command-R 拥有 350 亿个参数，这使得它在理解和生成文本方面具有强大的能力。

  架构：采用优化的自回归变压器（Transformer）架构，经过预训练后，该模型使用监督式微调（SFT）和偏好训练来使模型行为与人类对有用性和安全性的偏好一致。

  1、强大的准确性：Command-R 针对检索增强生成（RAG）进行了特别的优化，这使得它能够在生成响应时，通过搜索私有数据库或外部信息源，集成更为丰富和准确的信息。这种能力使 Command-R 在处理需要大量专业相关知识的查询时，相比其他模型更加精准。

  3、扩展的上下文理解：Command-R 模型包含 128k 的最大输入令牌（输入上下文窗口）和 4096 的最大输出令牌（输出上下文窗口），适用于复杂工作流程，如代码生成、检索增强生成（RAG）、工具使用和代理。

  4、多语言支持：Command-R 在设计上考虑了多语言支持和企业级应用的需求，特别优化了对包括英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、简体中文和阿拉伯语等在内的 10 种全球主要商业语言的解决能力，使其能够在多种语言环境下提供高质量的服务。

  5、工具使用和自动化能力：Command-R 可以通过集成外部API和工具来自动化复杂的任务，这种能力允许开发者将模型用于自动化流程和决策支持系统中，作为一个能够执行实际操作和自动化流程的核心引擎。特别是在有必要进行跨系统操作和复杂推理的场景。

  6、清晰的引用和减少错误创造：为了更好的提高信息的可靠性和透明度，Command-R 生成的内容包含清晰的引用来源。这不仅有助于减少模型生成错误或虚构信息（即“hallucinations”）的风险，同时也使得最终用户能验证和探索原始信息源。

  7、优惠的定价：相对于以往的模型，Command-R 提供了更长的上下文解决能力和更优惠的价格，使得在成本效益上更具吸引力。

  5、性价比高：以每千字符 0.015 美元 Deepgram Aura提供易于集成的 API 和开源演示，支持快速开发，新用户还可获得 200 美元的免费信用额度来测试。 GitHub：…在线体验：

  小镇的 AI 代理有自己的个性、愿望和日常活动，能够基于每日计划自主移动到家中/工作场所，并能实时与附近的代理进行对线D 地图和动画是手工制作的，但所有日常活动、对话和声音都是实时由 AI 生成的。

  使用 GPT-3.5-turbo 进行所有调用，优化了提示以拥有更小的上下文窗口，并实施了多线程处理。

  为了模拟一个实时的 7 天模拟，包含 3 个代理，大约花费了 7 美元的 OpenAI 积分。

  实现了一个“世界标记”系统，用于房间和 3D 物体，以便代理知道它们在世界的哪个部分。

  如果有更多时间，计划增加记忆功能、更多角色、更好的动画，并完善世界标记系统。

  最终目标是构建第一个 AI 原生 3D 模拟引擎，允许创作者用自然语言生成逼线D 世界和代码脚本。斯坦福生成代理论文的启发：他们将在 YC 演示日上进行展示

  1、一键安装：解决了安装ComfyUI复杂且容易遇到很多问题导致安装失败的问题，一键安装，几分钟成功

  3、更高效的使用：工作流管理功能，用户都能够查看所有历史工作流，无需手动导出和保存工作流。允许同时打开和运行多个工作流。

  4、更友好的使用者真实的体验：优化了许多细节体验，使使用的过程更加流畅。同时，Comflowyspace整合了教程，降低学习门槛。

  八、Meta 正在打造一个超大规模的AI计算平台 Llama3正在上面训练

  2、硬件平台：这些集群使用了Meta 自家设计的开放GPU硬件平台— Grand Teton，并已将其贡献给了开放计算项目（Open Compute Project, OCP）。体现了 Meta 对开放计算和开源的承诺，旨在推动整个行业的开放创新。

  3、支持先进 AI 模型开发：这些集群旨在支持当前和下一代 AI 模型，包括Llama 3等，以及 GenAI 和其他领域的研究和开发工作。

  4\AI 研究加速器 （RSC）：Meta 的AI 研究加速器（RSC）特别在Llama 和 Llama 2的开发以及其他高级AI模型的应用中起到了及其重要的作用。新的 AI集群在 RSC的基础上进一步发展。

  5、网络解决方案：Meta 构建了两种网络解决方案。一种基于 Arista 7800的远程直接内存访问（RDMA）覆盖以太网（RoCE）网络织物解决方案，另一种是采用 NVIDIA Quantum2 InfiniBand 织物。这两种解决方案都连接了 400 Gbps的端点，为大规模训练提供了必要的网络支持。

  6、存储解决方案：Meta 的存储部署利用基于 Meta Tectonic” 分布式存储解决方案的家族 Linux 文件系统（FUSE） API，以及与 Hammerspace 合作开发的并行网络文件系统（NFS）部署，满足了 AI集群的数据和检查点需要。这些解决方案使得成干上万的GPU能够以同步方式保存和加载检查点，并为数据加载提供了灵活和高吞吐量的exabyte 级存储。

  7、性能优化：Meta 在构建其大规模 AI集群时致力于同时最大化性能和易用性，通过优化内部作业调度器的网络拓扑感知调度作业，以及优化网络路由策略结合 NVIDIA 集体通信库（NCCL）的变更，实现了优化的网络利用率，使得大规模集群能达到与小规模集群相当的优秀性能。

  8.开放创新：Meta 持续支持开放硬件创新，作为OCP 的创始成员，使 Grand Teton 和 Open Rack 的设计可供 OCP社区使用，并作为 PyTorch 的最大和主要贡献者，支持开源软件创新。 详细：…

  该法案将 AI 技术分为不一样风险等级并据此进行监管，预计将对全球产生一定的影响。 法案要求某些所谓的通用AI系统的生产者，要对训练模型所用的材料来透明化，并遵守欧盟版权法。 法案将禁止一部分“威胁公民权利”的AI应用， 包括基于敏感特征的生物识别分类系统，以及从互联网或闭路电视录像中无目标地抓取面部图像，以创建面部识别数据库。 此外，操纵人类行为或利用人类弱点的人工智能也将被禁止。 该法案将根据风险对产品做分类并相应调整审查，其主要思想是根据AI对社会造成危害的能力对其进行监管：风险越高，规则就越严格。

  △ “对基本权利构成明显风险”的 AI 应用程序将被禁止，例如一些涉及生物识别数据处理的应用程序。

  △ 被视为“高风险”的 AI 系统，例如用于关键基础设施、教育、医疗保健、执法、边境管理等领域的AI系统，一定要遵守严格的要求。

  △ 垃圾邮件过滤器等低风险服务将面临“最宽松”的监管 △ 该法案还制定了一系列条款，以应对支持生成式 AI 工具和聊天机器人（例如 OpenAI 的 ChatGPT）的系统所带来的风险：要求某些所谓的通用AI系统的生产者，要对训练模型所用的材料来透明化，并遵守欧盟版权法。

  它能够遵循自然语言指令在各种视频游戏设置中执行各种复杂任务。 它不需要任何API和别的信息输入，只靠观察游戏画面和你的指令就可以执行任务！ 而且还能在一游戏中学习到的技能带到新游戏！

  1.玩多个游戏：SIMA不只是在一个游戏里能找到东西、走路或建造物品，它能在很多不同的游戏里学会这些技能。

  2.听懂人说的话：你可以用平常的语言告诉SIMA要做什么，它就能理解并执行，就像你告诉朋友帮忙一样。

  3.不需要特殊接口：SIMA不有必要了解游戏是怎么制作的，它通过看游戏画面和听取指令就能在游戏里活动，就像真人一样使用键盘和鼠标。

  4. 跨游戏学习泛化能力：通过在多个游戏和研究环境中进行训练， SIMA展现出了跨游戏学习和泛化的能力。SIMA在很多游戏中学习后，甚至能在一些它没玩过的新游戏里表现得很不错，因为它能从一个游戏学到的技能应用到另一个游戏中。

  5. 高级策略规划：虽然当前SIMA主要处理可以在大约10秒内完成的简单任务，但未来的目标是使其可处理需要高级策略规划和多个子任务才能完成的更复杂任务，例如“找到资源并建造一个营地”。

  6. 语言驱动的性能：SIMA的表现依赖于语言训练和指令。控制测试表明，没有语言训练或指令的情况下，SIMA表现出适当但无目的的行为，说明语言在其性能中起着关键作用。 SIMA的这些能力展示了利用语言驱动的AI代理在多种3D虚拟环境中实现复杂交互和任务执行的潜力，开辟了开发更通用、更有帮助的AI系统的可能性。

  Figure 01接入ChatGPT后获得了惊人的能力 如：视觉环境描述能力、决策推理能力、高层次请求的理解和执行行动的解释能力。 机器人可以有效的进行语音对话、描述视觉体验、规划动作、反思记忆、并口头解释推理过程。 结合Figure先进的神经网络，使机器人能够执行类似人类的快速、灵巧动作。表明这一合作已经取得了显著进展。

  描述周围环境。- 在做出决策时使用常识推理。- 将模糊、高层次的请求（如“我饿了”）转化为某些上下文-适当的行为（如“给人一个苹果”）。- 用简单的英语描述执行特定动作的原因。

  2、通过从机器人的摄像头获取的图像和通过机器上的麦克风捕获的转录文本，输入到一个大型的多模态模型中，该模型由 OpenAI 训练，能够理解图像和文本。

  3、模型负责决定运行哪种学习到的闭环行为以满足给定的命令，将特定的神经网络权重加载到 GPU 并执行策略。

  这一成果展示了如何通过综合应用多模态理解能力和机器学习，实现与机器人的自然交互和智能行为规划。

  - Figure的机器人使用搭载摄像头和OpenAI训练的大型视觉语言模型（VLM），实现200Hz的24自由度动作。