之前的方法假设我们拥有大量未标注的目标数据。但如果目标领域只有很少如1-5张图像怎么办https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_47.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_49.png我们提出了一种少样本图像翻译方法。目标是给定一张源内容图像和一张目标风格图像生成一张既保留源图像内容如物体姿态又具有目标图像风格如物种、纹理的新图像。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_51.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_53.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_54.png关键技术我们设计了一个内容条件化的风格编码器。它不仅接收风格图像还接收内容图像的信息从而能更好地根据内容来调整风格生成更逼真、更准确的翻译结果。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_56.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_58.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_59.png例如我们可以将一张猫的图片内容翻译成具有特定品种狗的风格同时完美保留猫原有的姿态。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_60.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_62.png要点通过让风格编码同时依赖于内容和风格图像我们可以在仅有极少数目标样本的情况下实现高质量的跨领域图像翻译为后续的模型适应提供了可能。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_64.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_66.png超越对齐自监督与一致性学习 领域对齐并非唯一途径尤其当源领域和目标领域的类别集合不完全相同时称为“类别偏移”强行对齐所有特征可能导致灾难性后果。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_68.png本节我们介绍两种不依赖严格对齐的方法。1. 自监督学习处理类别偏移当目标领域存在源领域没有的“未知类别”时我们采用自监督学习策略邻域聚类利用预训练模型初始化通过自监督损失如让相似特征靠近不相似特征远离将目标数据中属于“已知类别”的点聚类到源领域对应类别附近而将“未知类别”的点推远。熵分离进一步鼓励模型对可能属于未知类别的点预测概率分布熵值高产生低置信度实现异常值拒绝。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_70.png这种方法在存在类别偏移的适应任务上性能显著优于传统的领域对齐方法。2. 自监督预训练与一致性训练https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_72.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_74.png另一种强大的组合是自监督预训练在源和目标数据上执行自监督任务如图像旋转预测让模型学习对领域变化更鲁棒的特征表示。# 例如预测图像被旋转了0°, 90°, 180°, 还是270°rotation_lossCrossEntropyLoss(predict_rotation(features),rotation_label)一致性训练对未标注的目标图像进行数据增强裁剪、颜色抖动等要求模型对原始图像和增强后图像的预测保持一致。这鼓励模型学习更本质的、不受低级视觉变化影响的特征。要点在领域适应中除了对齐特征分布我们还可以利用自监督学习和一致性训练等策略来学习更具判别性和鲁棒性的表示从而提升模型在目标领域的性能。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_76.png总结 本节课中我们一起学习了如何驯服数据集偏差。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_78.png问题认知我们认识到数据集偏差是深度学习在实际部署中的主要挑战它源于训练与测试数据分布的不同。核心方案领域适应技术利用未标注的目标数据实现知识的迁移可视为一种无监督微调。经典方法对抗性领域对齐在特征空间对齐两个领域的分布。像素空间对齐通过图像翻译在像素层面使数据风格一致。前沿进展少样本适应即使目标样本极少也能实现高质量的图像翻译。超越对齐采用自监督学习、一致性训练等方法处理更复杂的场景如类别偏移学习更鲁棒的特征表示。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_80.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/e777f37231a2d4102afe165994bf89e2_81.png希望本教程能帮助你理解领域适应的重要性与基本原理并为解决实际中的数据偏差问题提供思路。11迈向AI驱动的3D内容创作 https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_1.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_3.png在本节课中我们将探讨如何利用深度学习技术来促进三维内容的创建。我们将从宏观愿景出发逐步深入到具体的技术方法包括如何生成场景、创建三维资产以及模拟动态世界。课程内容主要基于英伟达团队及合作者的研究工作。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_7.png概述为何需要AI进行3D内容创作https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_9.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_11.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_13.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_15.png计算机图形学领域正经历一场革命新的渲染技术与AI的结合使得实时、高质量的内容创作成为可能。三维内容在建筑、游戏、电影、VR/AR以及机器人仿真等领域无处不在。然而传统的手工创作方式耗时耗力。例如艺术家仅为了对齐一张现实世界的照片来重建一个场景就可能需要花费四个小时。对于像《侠盗猎车手》这样的大型游戏则需要上千人工作数年。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_17.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_19.png因此我们的目标是利用AI特别是深度学习来加速甚至自动化三维内容的创建过程包括场景布局、资产生成和世界动态模拟。1. 生成场景从概率语法到可学习模型上一节我们介绍了AI在3D内容创作中的宏观目标本节中我们来看看如何具体生成一个三维场景。在游戏开发中创建多样化的大型世界通常依赖于过程化生成技术其核心是使用概率语法或规则来定义如何组合场景元素如车道、汽车、树木使其看起来合理。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_21.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_23.png核心概念一个场景可以表示为一个图Graph其中节点代表资产类型如汽车、建筑属性包括位置、旋转、颜色等。艺术家手动设置这些属性的分布例如城市中汽车的数量和类型。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_25.png我们的目标是让AI从真实数据如驾驶录像中自动学习这些分布而无需人工标注。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_27.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_29.png方法可微渲染与图神经网络我们提出了一种名为Meta-Sim的方法。其核心思想是从一个初始的、手工设定的概率语法生成场景图。使用一个图神经网络GNN来修改图中每个节点的属性如旋转、颜色。通过一个可微渲染器将修改后的场景图渲染成图像。计算渲染图像与真实世界图像分布之间的差异使用如最大均值差异MMD的度量。利用这个差异通过强化学习和数值梯度反向传播以更新图神经网络使其生成的场景更接近真实数据。以下是该流程的简化表示初始场景图 --(GNN修改属性)-- 新场景图 --(可微渲染器)-- 合成图像 | 损失计算 (MMD) | 更新 GNNhttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_31.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_33.png学习场景图的结构上述方法优化了属性但场景图的结构如有几条车道、多少辆车仍然是手工定义的。更进一步我们可以让AI也学习生成场景图的结构。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_35.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_37.png我们使用概率上下文无关语法PCFG来建模场景生成过程。网络学习在给定当前已生成图部分上下文的情况下预测下一个应扩展的符号如“增加一条车道”的概率。结果经过训练模型能够从初始化很差的语法生成几乎空荡的场景进化到生成与真实城市数据分布高度匹配的多样化场景。例如生成场景中的汽车数量分布与真实数据集如KITTI的分布非常接近。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_39.png评估通过从生成模型中合成大量带标注的图像并用于训练目标检测器等模型然后在真实数据上测试其性能提升可以证明生成数据的有效性。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_41.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_43.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_45.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_47.png2. 创建三维资产从单张图像到3D模型https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_49.png上一节我们探讨了如何生成整个场景的布局本节中我们来看看如何创建场景中具体的物体资产例如汽车、建筑。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_51.png理想情况下我们希望仅通过互联网上广泛存在的单张物体图片就能自动生成其带纹理的三维网格模型。这被称为“逆渲染”问题。核心思路利用可微渲染将计算机视觉从图像到3D和计算机图形学从3D到图像连接起来。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_53.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_55.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_57.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_59.png可微渲染管线https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_61.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_63.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_65.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_67.png基本流程如下一个神经网络接收输入图像并预测三维属性如网格顶点、纹理、材质、光照。将这些预测输入一个可微渲染器合成出一张新的图像。计算合成图像与输入图像之间的损失如像素差异、感知损失。由于渲染器可微损失可以反向传播从而更新神经网络使其预测的三维属性能更准确地重建输入图像。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_69.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_71.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_73.png公式化表示如下输入图像 -- 神经网络 -- (网格, 纹理, 光照...) -- 可微渲染器 -- 合成图像 | 与输入图像计算损失 | 更新神经网络https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_75.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_77.png数据获取的挑战与巧思https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_79.png大多数现有方法需要同一物体的多视角图像进行训练而这在网络数据中很难获得。一个巧妙的解决方案是利用生成对抗网络GAN如StyleGAN。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_81.png研究发现在GAN的潜在空间中存在一些维度专门控制视点而其他维度控制物体内容。通过固定内容代码并遍历视点代码我们可以为“虚拟”的物体生成多个视角的图片从而自动创建出训练所需的多视图数据。结果使用这种“合成”的多视图数据训练上述可微渲染管线后模型能够从单张汽车图片预测出其三维形状、纹理和材质如金属、玻璃。预测出的模型可以放入游戏引擎或模拟器中甚至能进一步进行物理动画如让车轮转动。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_83.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_85.png3. 模拟动态世界神经模拟器https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_87.png我们不仅需要静态的场景和物体还需要让世界“活”起来具有动态和行为。传统上这是游戏引擎的职责。本节我们探索能否用神经网络来模拟世界动态即构建一个神经模拟器。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_89.png目标用神经网络替代或模仿游戏引擎。用户输入动作如方向盘、油门神经网络根据当前状态预测出下一帧的画面从而模拟出世界的物理变化和视觉表现。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_91.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_93.png架构神经渲染游戏引擎https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_95.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_97.png我们设计了一个模块化架构主要包括动态引擎一个神经网络负责根据当前状态和用户动作更新世界的内部状态潜在表示。渲染引擎一个神经网络负责将更新后的内部状态解码渲染成下一帧图像。记忆模块帮助模型保持长期一致性避免游戏逻辑混乱。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_99.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_101.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_103.png应用实例https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_105.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_106.png吃豆人Pac-Man模型需要学会游戏规则吃豆子、躲避幽灵、吃能量丸等并合成出连贯的游戏画面。这是一个验证概念的有趣起点。驾驶模拟在更复杂的3D环境如CARLA模拟器甚至真实驾驶视频上训练。模型接收转向和速度控制尝试合成出后续的驾驶帧。结果显示模型能够学习到相当一致的世界表示和动态尽管在细节上还不完美。这项工作展示了用纯数据驱动的方式学习世界模拟的潜力为构建无需精确3D模型即可进行仿真的系统提供了新思路。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_108.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_110.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_112.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_113.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_115.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_117.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_119.png4. 社区与工具Kaolin库https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_121.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_123.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_125.png解决如此宏大的问题需要社区共同努力。为此我们发布了一个名为Kaolin的三维深度学习工具库旨在加速该领域的研究。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_127.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_129.pngKaolin 提供一个PyTorch 库包含优化的3D数据处理操作网格、点云、体素。一个交互式可视化工具方便在训练过程中实时查看3D预测结果。灵活的可微渲染器模块帮助研究者轻松搭建“逆渲染”等应用。支持在网页浏览器中远程可视化训练进度。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_131.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_133.png鼓励大家利用这些工具构建自己的3D内容生成与理解应用。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_135.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_137.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_139.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_141.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_143.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_145.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_147.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_149.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_151.png总结与建议https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_153.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_155.png本节课中我们一起学习了利用AI进行3D内容创作的几个关键方向场景生成通过结合概率语法、图神经网络和可微渲染从真实数据中学习并生成符合现实分布的复杂场景。资产创建利用可微渲染和生成模型如GAN提供的数据实现从单张图像到带纹理、材质的三维模型的自动重建。世界模拟探索使用神经网络作为模拟器学习世界的动态规则并合成连续帧为仿真和游戏提供新范式。工具生态介绍了Kaolin库它为3D深度学习研究提供了必要的工具支持。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/9a5a4bf0fb96963fc1cb5e68edbadc3b_157.png最后给研究者的建议保持热情专注于解决真正的问题而非论文数量积极寻找跨领域的合作者并享受研究过程中的乐趣。三维内容创作的AI自动化是一个充满挑战但前景广阔的领域还有许多问题等待探索和解决。12人工智能在医疗保健领域的应用 https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_1.png在本课程中我们将探讨人工智能特别是深度学习在医疗保健领域的应用、机遇与挑战。我们将了解其如何帮助解决医疗资源不均、提升诊断精度并讨论如何构建更公平的人工智能系统。概述人工智能技术尤其是深度学习正深刻改变着医疗保健行业。本课程将介绍其在计算机辅助诊断、病理学分析、基因组学等领域的应用实例。同时我们将深入探讨如何利用这项技术促进医疗公平性并审视其在公共卫生等更广泛领域的潜力。人工智能在医疗保健中的兴起上一节我们概述了课程内容本节中我们来看看推动人工智能在医疗领域应用的关键因素。深度学习在医疗保健领域的成功应用得益于几个关键趋势的成熟。首先是端到端学习能力的成熟使得模型可以直接从原始数据中学习。这在计算机视觉和语音识别领域的进步对医学极具价值。其次通过GPU实现的本地化计算能力大幅提升这使得神经网络的性能超越了过去的非神经网络方法。第三是开源大型标记数据集的价值。例如ImageNet虽非医疗领域以及医疗领域的公共数据集如英国生物银行UK Biobank和MIMIC都非常有帮助。MIMIC实际上是在麻省理工学院实验室开发和生产的。医疗保健的独特需求与技术匹配了解了技术背景后我们来看看医疗行业有哪些独特需求能与人工智能的能力相匹配。我们确保关注行业需求并将其与技术能力进行匹配。医疗保健每年产生大量复杂的海量数据估计每年产生数千艾字节的健康数据。为了正确看待这个数据量据估计整个互联网的数据量大约是数百艾字节。因此医疗数据量是互联网的数千倍。我们现在看到的应用程序稍后您将看到是模式识别以及识别病变、肿瘤和图像中非常细微特征的能力。人工智能有用的另一个领域是解决全球医学专业知识有限的问题。如果你想看右边图表一位医学专家如放射科医生与人口的比例大约是一比一万二千。但在发展中国家这个比例看起来更像是一比十万、一比一百万甚至更少。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_3.pnghttps://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_5.png因此人工智能在医疗保健中的好处在于它可以帮助扩展执行许多专家有能力完成的复杂任务。第三点是真正解决人类判断的不一致性问题。我们稍后会讨论这一点特别是在我们谈论生成标签时。人工智能模型没有明显的近因偏差或认知偏差。它们也能够不知疲倦地工作这在需要加班时在医学领域经常发生是一个优势。关键应用领域在匹配了需求与技术之后本节我们将深入几个具体的应用领域看看人工智能如何解决实际问题。肺癌筛查我们开发了一种计算机辅助诊断模型用于通过低剂量CT扫描帮助筛查肺癌。通常如果癌症在早期被发现存活率会急剧上升。但大约80%的肺癌没有在早期被发现。用于这些筛查的是低剂量CT扫描。如果你看右边的图这是发生在你全身的三维成像它创建了数百张图像供放射科医生查看。肺癌的征兆很微妙。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_7.png因此我们的模型所做的我们认为不仅仅是超越了最先进的技术更重要的是我们将其与放射科医生进行了比较看看是否在假阳性和假阴性方面都有绝对减少。假阳性会导致医疗系统的过度使用假阴性则会导致癌症无法被足够早地发现。通常一旦两者都减少了就能带来益处。病理学分析https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_9.png病理学是另一个受益于深度学习的领域它涉及甚至更复杂的数据。左边图中你可以看到在进行活检时身体组织的切片被放大四十倍并在每张幻灯片上创建大约10到15千兆像素的信息。本质上复杂的部分在于进行病理分析时你需要知道组织的高度放大水平A级以便描述病变的特征。你还需要了解整个组织结构为其提供上下文在较低的放大倍数下。因此这是一个多尺度问题。这也是固有的复杂性能够区分良性和恶性肿瘤。有数百种不同的病理状况会影响组织因此在视觉上进行区分非常有挑战性。我们建立的模型用于从病理图像中检测乳腺癌。病理学家实际上没有假阳性。该模型能够捕捉到超过95%的癌症病变相比之下病理学家只发现了73%。但这也增加了假阳性的数量。因此我们尝试将模型和病理学家的工作结合起来看看准确性能否提高。结果确实提高了。这种共同努力还导致了一种增强显微镜的发展你可以在显微镜视图本身中看到模型检测到的微小区块。我们稍后会回到模型存在某些弱点以及我们如何处理的问题。基因组学基因组学是另一个显著受益于深度学习的领域。值得注意的是当你进行全基因组测序时你所做的是将你的DNA分解成大约十亿条、每条约一百个碱基的读段。这样做时大约有30倍的覆盖度误差采样。当你尝试弄清楚序列时你想做的事情类似于拿三十份周日出版的报纸每份都有错误然后把它们切成二十个单词的片段再试着把它们重新组合在一起。这就是进行测序时发生的事情。因此我们将这个问题重新定义为深度学习问题。我们研究了图像识别特别是卷积神经网络如何能够在这个空间中执行。我们开发了一个名为Deep Variant的开源工具供任何人使用。随着时间的推移我们一直在改进它这被证明是一个非常准确的工具。美国食品药品监督管理局每隔几年举办一次精准FDA挑战赛Deep Variant表现出色在四分之三的准确度领域获奖。你可以在右边看到当你在测序中得到假变异错误时在视觉上很明显。所以这是一个巧妙的方法。扩展医学专业知识与辅助工具我们讨论了医疗领域的不同需求其中之一是有限的医学知识。有一种方法可以帮助他们即扩展他们能够执行的任务使其自动化。这是另一种表述方式归还医生的时间。你在这张照片中看到的是一位医生在就诊时实际上是对着左边的电脑输入信息。这在医疗保健行业引发了许多关于技术成本以及它如何干扰患者护理的讨论。医生们现在每天花大约六个小时与他们的电子健康记录系统交互输入数据。一个成熟的、能够提供支持的领域是医学听写。人类抄写员已经被部署医学听写已经变得更好了。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_11.png自动语音识别现在有了非常精确的端到端模型。它在自然语言处理方面也有显著改进。因此这些更像是辅助性人工智能的方式帮助医生减轻文书负担。实现更大的愿景促进公平在介绍了具体应用后我们退一步思考更大的图景。我想谈谈我们如何实现更大的宏伟目标。让我退一步看看医疗保健目前的角色。它充满了巨大的碎片化这是相当客观的并且分布不均。我注意到的一件事是在技术方面如果你把它应用到一个系统上我们确实会放大该系统。因此技术是一种既能增强又能扩大现有事物的方式。所以如果你把它应用到一个激励不当的破碎系统上它不会从本质上修复系统反而会加速其问题。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_13.png但机器学习的核心以及这些深度学习技术我们正在做的是非常仔细地查看数据并利用这些数据来产生结果。在这种情况下鉴于世界并不公平你面临着训练出错误模型的风险。我们还发表了一篇论文来帮助解决这个问题。可以说社会不平等和偏见往往被编纂在我们使用的数据中。实际上我们有机会在开发模型时检查这些历史偏见并积极促进一个更公平的未来。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_15.png你可以通过纠正训练数据中的偏差来做到这一点。你也可以在模型设计和问题表述你想解决什么中纠正偏差。我们一会儿再谈这个。最后如果这些都不适用那么你还可以在部署人工智能模型时测试并确保结果的平等和资源的公平分配。这是……我以前在谷歌X工作那是谷歌从事“登月计划”的部门。我们定义“登月计划”的方式是一个巨大问题、突破性技术和激进解决方案的交集。这里的一个巨大问题是世界是不公平的、非人性化的并且也需要更高的精度。我们现在有一项突破性技术即人工智能和深度学习。我只想说数字和移动工具实际上是医疗保健领域的突破性技术因为它们往往比其他行业落后大约十年这是由于监管、安全、隐私和质量需求。因此一个激进的解决方案是我们实际上考虑的不仅仅是提高我们提供的护理质量还要确保当我们这样做时也使其更加公平。在我看到技术浪潮发生的每一个时间点我确实意识到在这一点上这是我们重塑未来的机会。因此在深度学习的背景下我想谈谈真正推动进步的机会。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_17.png构建公平人工智能模型的关键我没有意识到幻灯片没有前进。我想谈谈让人工智能模型更加公平的机会以及我们将如何做到这一点。因此我要讲的两个关键领域是社区参与以及这将如何影响模型以及在数据评估和规划模型限制方面我们如何有效地做到这一点。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_19.png社区参与与部署环境我们做的一件事就是与我们将直接部署模型的地区合作。左边以此类推在这里你可以看到我们与印度的团队合作。在右边是我们的团队与泰国的人合作。我们发现社会经济状况绝对重要就你将在哪里部署模型而言。一个例子是当我们与眼科中心合作时。糖尿病是全世界日益增长的失明主要原因。这是模型开发的地方但实际上在糖尿病中心用例最为严重。因此人们不会从内分泌科办公室跑一百米到眼科办公室因为访问问题以及与线路等相关的挑战。所以这是我们探索的一个领域广泛使用用户研究来确保我们仔细考虑人工智能模型将在哪里落地以及这将如何影响。通过高质量标签提升模型我们看到的是当我们为模型生成标签时你可以在左边看到正如你所期望的当你获得更多数据时模型会不断改进。所以它在这里变平了有六万张图像。在某个时候这就足够了你不会从中得到更多的改善。如果你看右边的图表我们的改进在于标签的质量或者我们所说的图像上的分级每个医生对一张图像给出一个分级这是他们对自己认为看到的东西的诊断意见。因为我们对单个图像有多种意见并且能够调和我们能够不断改进模型输出。处理意见不一致德尔菲法https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_21.png并提高精度。这是医疗保健领域经常说的话如果你问三个医生你会得到四种意见。因为随着时间的推移甚至医生自己也可能会与自己不一致。处理这一问题的方式在一些国家是使用德尔菲法。它是在冷战期间发展起来的在个人意见不同的地方它有助于确定共识。我们开发了一个工具来对不同的意见进行异步裁决。这导致了更高质量的“地面真相”数据创建。这是因为医生有时会错过另一位医生注意到的东西所以他们通常会进行调和并能够就实际的严重程度或诊断应该是什么达成一致。所以这是我们看到的真的这真的很有影响力因为当我们和眼科医生一起做分析时我们会看到医生们有60%的一致性。审视问题表述以避免偏见这是我想谈论的社区参与的最后一个领域。如果你更深入地研究问题的表述就会发现这一点。这是一个案例他们通过对模型和算法的输入该算法试图确定社区的使用需求使用了作为实际健康需求代理的健康成本。这导致了无意的种族偏见因为花在黑人病人身上的钱更少。这是在事实发生后被发现的。https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_23.png所以如果你再点击一次这是关键区域之一在哪里有来自社区的投入其实早就应该在算法开发时被发现。这是我们现在经常实践的事情。我知道你们在做项目所以这将是我想发布的民意调查之一只是我们看看能不能让它启动是其中哪一个方法实际上是潜在相关的为了你们正在做的项目。模型解释与评估https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_25.png好的我会继续说下去然后呢当这个被保存下来的时候在左边回顾一下是很好的。这里我前面提到过我们的病理模型在假阳性方面有一定的弱点。但它也比病理学家捕捉到了更多的癌症病灶。所以我们开发了一种方法来解释模型关注的图像区域。然后这是允许发生的是它使用了一种聚类算法能够找到病理学家未曾指出的特征。这可能是实际诊断或预后的有意义的指标。在这种情况下病理学家已经开始使用该工具从中学习。然后病理学家也有好处能够识别模型的任何问题并通知模型进行改进。因此你得到了模型和病理学家之间互相学习的良性循环。右边是我们用来解释模型输出的另一种方式你可以看到显著性图。这是一种能够识别哪些特征是模型实际在关注的方法。在这种情况下模型关注的是哪些像素并把它们点亮。我们这样做是为了知道模型实际决定诊断的方式不管是特殊的皮肤状况。他们正在看实际的皮肤异常而不是与肤色或人口统计信息的潜在相关性。所以这对你来说很有价值作为检查模型的一种方式。最后我提到的是对平等结果进行模型评估。里面有东西在皮肤科领域被称为菲茨帕特里克皮肤类型它可以让你看到不同的肤色。我们所做的是用不同肤色的测试集进行模型评估看看我们是否得到了同样的结果。作为模型开发人员你必须做出一些艰难的选择。如果你发现你的模型在某一特定类别或人口统计中表现不佳理想情况下你应该补充你的数据集这样你就可以进一步证明你的模型能够适当地解决这些区域。或者你可能不得不决定限制你的模型部署范围以确保有平等的结果。有时你实际上可能选择不部署模型。所以这些是开发医疗保健领域人工智能模型的一些现实世界的含义。超越疾病治疗公共卫生与健康我想和这个小组讨论的最后一个应用领域是健康的概念。在过去医疗保健通常是为病人想到的。虽然每个病人都是一个人但并非每个人都是病人。并且病人通常被认为在这里的左边生病或有风险的人他们正在进入医疗保健系统。当你想到这种性质的人时模型是完全不同的他们是否患有急性或慢性疾病。他们是我们刚才谈到的它们是关于筛查、诊断、预后、治疗。这些是模型倾向于关注的。如果你在看人们他们被认为是未被引用的但他们的健康每天都受到我们所说的健康的社会决定因素的影响你的环境和社会环境你的行为和生活方式选择以及你的基因是如何与环境相互作用的。就如何处理这个问题而言这里的模型看起来截然不同。他们倾向于专注于预防性护理合理饮食、睡眠、好好锻炼。他们还关注公共卫生。我认为这是一个很大的领域。当我们谈论公共卫生时可以有流行病学模型这些都是非常有价值的。但也有你知道现在正在发生的事情尤其是可能对公众健康最大的全球威胁之一是气候变化。人工智能应对气候变化与公共卫生所以在印度这样的地方正在发生的事情之一是印度公共卫生警报的洪水预报。实际上有很多警报疲劳所以实际上不清楚他们什么时候应该关心警报或者不是。这个团队所做的是他们专注于建立一个可扩展的高分辨率水力模型使用卷积神经网络来估计输入如降雪量、土壤水分估算与渗透性。这些水力学模型模拟了洪泛区的水行为而且比以前使用的模型要准确得多。这现在被部署来帮助在整个印度地区的季风季节发布警报。生态系统服务与人工智能所以我只想给这个团队留下这样的想法在气候变化方面现在有很多事情要做。自然对健康至关重要还有住在上面的人。因此我们目前依赖这些生态系统服务这意味着人们依赖清洁的空气、供水、粮食农业、授粉、土地稳定和气候调节。这是一个人工智能成熟的领域能够帮助更好地理解和重视那些我们目前没有支付很多费用但将来可能不得不支付的服务。总结https://github.com/OpenDocCN/dsai-notes-pt2-zh/raw/master/docs/mit-6s091-dl21/img/7b629cfe05a7ab0e9cfe2585cb52adbc_27.png在本课程中我们一起学习了人工智能在医疗保健领域的多种应用从肺癌筛查、病理分析到基因组学。我们探讨了人工智能如何帮助扩展有限的医学专业知识并辅助临床工作。更重要的是我们深入讨论了在开发与部署人工智能模型时如何通过社区参与、审视数据偏见、改进标签质量以及进行公平性评估来促进一个更加公平的医疗未来。最后我们展望了人工智能在公共卫生和应对气候变化等更广泛健康议题中的潜力。人工智能在医疗保健领域的发展依赖于跨学科团队的紧密合作以及对技术社会影响的持续关注。
