天津物业神秘顾客在一只柯基犬的 vlog 里

发布日期：2024-03-03 22:10    点击次数：142

诬告的翅膀，出错的数目，鹦鹉的尾巴跑到山公身上……

作家 | 连冉天津物业神秘顾客

剪辑 | 郑玄

「一只鹦鹉飞过青翠的哥斯达黎加森林，然后降落在树枝上与一群山公一谈吃一块生果的俯瞰图；黄金时段，35 毫米胶片。」这是彭博社给到 OpenAI 商榷东谈主员的教唆词，后者使用这些教唆词在 Sora 上创建了场景。

23 日，彭博社筹划 OpenAI 对 Sora 进行了测试，从末端来看，Sora 还未到「黄金时段」。

在给到的四句教唆语中，由于时辰甘休，Sora 团队只将其中两句教唆词生成了视频。

问题出现了。

在时长仅有 10 秒的视频中，一只鹦鹉在森林中翱游，乍看平方，细看就会发现，鹦鹉的翅膀在飞过山公时会诬告，何况，教唆语中之条目「一只鹦鹉」，Sora 输出的视频里却出现了好几只，何况，视频中一只山公的臀部似乎还有一条鹦鹉的尾巴。这样看，似乎有点「翻车」即视感。

对此，OpenAI 商榷科学家 Bill Peebles（比尔・皮布尔斯）也对彭博承认了这小数，「确乎会在片断中找到一些奇怪的动作」

在 The Verge 截取发布在 TikTok 上的这段由 Sora 生成的视频片断中相同不错看到一些不对理的情况，包括物体彼此穿过、变形，这背后反应的是 Sora 在还不大要准确领悟和呈现物体的物理特点：篮球穿过篮筐的侧面，狗在走路时彼此穿过，手的体式也有点奇怪。

篮球穿过篮筐的侧面｜图片着手：TikTok狗在走路时彼此穿过｜图片着手：TikTok

YouTube 上也有一位博主更为刺目地解析了 Sora 产出的视频中存在的问题，与 The Verge 展现的访佛，除了狗狗似乎在彼此穿过体魄的那支视频，在一只柯基犬的 vlog 里，有一只海鸥飞到了相机前却又倏得隐没，随后画面里又出现了另一只，以歪邪的情势在行走；在一个建筑工地的视频里，一辆叉车似乎不错不受周围物体的影响应酬通过。此外还有一个生辰派对的场景，参与者的情势和动作看起来齐有种说不出的诡异感。

看起来，诚然 Sora 不错生成出色的视频，但马上景复杂时，天津物业神秘顾客它可能会给出一些不稳当推行场景的动作。OpenAI 官方也暗意，Sora 还有很长的路要走，有好多时刻挑战需要处理 —— 包括前边提到的体魄部位的杂沓问题和对物理学的领悟水平。

OpenAI 在 Sora 的时刻讲明中指出，Sora 看成视频生成模子在模拟推行天下时面对一系列挑战和局限性。具体来讲，Sora 在时刻层面存在以下主要局限：

物理交互的准确性：Sora 在模拟一些基本的物理交互表象时存在不及，举例无法准确模拟玻璃幻灭等物理表象。

对象情景变化的一致性：在模拟如进食等交互时，Sora 可能无法产生正确的物体情景变化，导致视频中出现不连贯的视觉着力。

永恒样本的连贯性：在生成较永劫辰跨度的视频样本时，Sora 可能会出现连贯性问题，导致视频中出现不当然的过渡或物体的倏得变化。

物体的自愿出现：Sora 有时会在视频中自愿地生成物体，这些物体可能与场景不匹配或在逻辑上不对理。

手部和体魄部位的处理：Sora 在处理手部和体魄部位时存在问题，如手部可能发达得不当然或与其他物体发生不信得过的交互。

盘算资源的需求：Sora 生成视频需要较多的盘算资源和时辰，这甘休了其在及时或快速响应场景中的利用。

模子的泛化才调：尽管 Sora 在某些特定场景下发达出色，但它在泛化到新场景和处理各种化输入方面可能还有待进步。

视频剪辑和扩张的才调：诚然 Sora 大要履行一些视频剪辑任务，如扩张视频或更变场景确立，但这些功能可能在复杂场景中发达欠安。

由于上述时刻局限，在让外界惊鸿一转后，Sora 的旋即「翻车」似乎也并不令东谈主未必。

看成一款文本转视频模子，Sora 接纳了 Diffusion transformer 时刻（包括特征索要、编码、序列组合等多个智商）。

与大模子处理文本的旨趣访佛，Sora 将视频实质判辨成一系列 patch（视觉编码块），这些 patch 访佛于视频的视觉词汇，然后，它会对这些 patch 进行降维处理，以便于分析和领悟，在这已经由中，Sora 通夙昔噪时刻，从带有噪声的 patch 中瞻望出显着的原始图像信息，最终合成为连贯的视频。换句话说，Sora 的检修经由访佛于东谈主类的阐述经由，这小数让它极地面优化了视频生成的着力。

跟着时刻的破损，问题会处理。关于推新连忙的 OpenAI 来说，应该用不了很久。

本文来自微信公众号：极客公园 （ID：geekpark），作家：连冉

告白声明：文内含有的对外跳转流通（包括不限于超流通、二维码、口令等时局），用于传递更多信息天津物业神秘顾客，从简甄选时辰，末端仅供参考，IT之家通盘著作均包含本声明。

　　声明：新浪网独家稿件，未经授权不容转载。 -->

• 神秘
• 顾客
• 天津
• 一直
• 物业