- 这是一份专家会议和知识交流的综合报告，其中提到了很多非常关键的内容。
控制媒体就能控制大众的眼睛和脑子，控制大众的脑子就能控制整个社会，这就是为什么自从有媒体的年代开始就同时有了媒体操纵。
而如今，每个在互联网上的人都是一个媒体，每个人都可以创造内容；而在算法专制的控制下，那些符合当权者议程的内容（不论真假）被更为广泛地获取和传播。
本文即将谈论的不完全是传统的断章取义、半真相、逻辑谬误等信息战操纵手段，而是在高科技协助下的、精心制作的逼真的假货。
以更微妙和更具变革性的方式操作内容已经变得越来越容易。
互联网上的视觉内容如此丰盛，以至于当可以创建高质量（或半高质量）的 *受控视觉内容* 时，人们很难区分真伪；并且至关重要的是，这需要时间、资源和技术。
人们说他们已经无法相信自己看到的任何东西 ——
造假泛滥的结果就是，它形成一种近似不可理喻的氛围，导致人们看什么都像是假的，纠正性信息也同时被埋没。
制作深度造假仍然需要些技术技能，但是这种情况正在迅速改变 ——
目前，要在视频中完全逼真的模拟真实面孔的能力仍然需要一支经过专门培训和技术培训的庞大团队。
但是，现在正是从手动合成图像（耗时且需要专业技能）到自动合成（仍然粗糙但速度更快并且不需要专业技能）的过渡阶段。
人们通过社交媒体创建的大量内容推动了这一过渡：因为它提供了太多的数据以训练算法，从而会快速改进深度造假的工具。
合成媒体和深度造假目前面临的主要检测挑战是什么？
用于检测的数据的质量很差、数量不足 ——
对于检测方法，您需要一定数量和质量的培训数据或其他信息，而这在特定技术中并不总是可用。
研究人员经常没有足够的数据来分析某些造假的信息，要做到准确的检测，不仅需要更多信息来训练检测工具，还需要高质量的信息。
部分操纵比较难以识别 ——
很难检测视频何时被 “部分操纵”（相对于完全操纵或根本没有操纵来说）。但是，完全操纵的视频留下了很多数字指标。
造假的音频更难以检测 ——
要检测造假音频是一组完全不同的挑战，目前为止在研究方面基本是空白。所以，如果有人上传一段音频，诉说一件耸人听闻的事，你需要小心。
制作深度造假的人和检测深度造假的人，谁会最终赢得了这场 “猫鼠”游戏？这是个问题 ——
目前，用于造假技术的资源（人员和投资）远多于检测技术的资源（这也是DARPA MediFor 计划启动的原因之一）。越来越多的研究人员承认这是一个问题。
我们不应该期望在检测中达到完美的性能水平，因为我们会看到深度造假技术不断升级以适应检测方法，并且造假的学习过程的本质是不断改善的。
相反，最好用那种能够使尽可能多的人难以做出逃避检测的造假产品的检测工具来定义成功。
技术/社交媒体平台之间也缺乏协调，无法跟踪虚假信息和被操纵的内容并将其删除 ——
我们认识到我们可以解决此问题，但这将同时带来审查问题，导致弊大于利。技术平台与该特定研究社区正在产生的东西之间似乎也存在脱节。
平台内的确有一些模型，用于与合作伙伴一起处理有问题的内容数据，例如有关恐怖分子的宣传内容或儿童色情图像，但是我们需要探索其中哪些部分与伪造品和虚假信息有关。
深度造假和虚假信息的检测可能无法通过技术解决。但技术会有帮助 ——
应对深度造假需要多学科的联合努力：这不仅需要将其视为技术问题，而且，还应将其视为心理学、人类学、和新闻学问题。
为此，需要确保将社会心理学研究纳入检测工具的使用和开发中，并确保我们将研究重点放在视频上，而不仅仅是文本上。
我们需要利用面对错误信息的人们现有的专业知识和经验 ——
这包括来自现有开源情报社区以及现有媒体取证社区的专业知识。
我们还需要将系统思想家、认知科学家、以及更多前线团体和受影响社区的观点，也纳入其中。
技术解决方案也将是多方面的，并依赖于在数字级别评估可疑多媒体信息，考虑视频是否在科学范围内运行以及从其他来源了解到的事件信息 ——
例如，DARPA MediFor 程序正在尝试结合多种不同的媒体完整性衡量标准，以反映包括数字完整性（例如，像素的一致性或压缩性）、物理完整性（例如，违反了物理定律的阴影、光线或运动）、以及语义完整性（例如，如果天气与特定日期和时间所在位置的已知天气不一致）。
他们正在尝试提供一种在这些层次上进行推理的技术，将它们组合为一个完整性的评分标准。
这里的想法是增加信息造假者的负担，因为他们如果想要人们信任，就需要在不同的层次上协调性地保持一致。
对媒体取证和深度造假研究人员最有用的是什么？
更好的数据共享 ——
更好的数据共享将加速工具的改进，以适应开源情报社区要处理的数据类型。这就要强调技术社区与行动者社区的完美协作。
更多案例研究 ——
研究人员需要更多案例研究，以帮助了解在哪里寻找合成造假媒体的真实实例，以及当前从业者面临的障碍。
我们需要应对隐私、安全性、数据、研究道德以及方法方面的操作安全性 ——
技术社区和调查者社区双方都同意工作中存在数据隐私问题（包括通过社交媒体网站中的开源情报挖掘方法找到的数据），并担心如何保护提供分析材料的资源。
这与方法的披露问题有关。我们需要更好地了解技术研究和分配的局限性，但仍要找出在研究人员与主要前线社区之间共享研究方法的途径。
为揭露造假的个人建立更好的安全防御 ——
学术研究人员可能尚未意识到个人披露造假和错误信息有可能面临很大的风险。
如果某人因为公共利益工作而陷入危机或受到攻击，则需要权利组织的支持系统并协同工作。
对于造假和媒体取证研究人员
误传和虚假信息的现状如何？
造假分为很多种，其中一些的质量并不高 ——
在当前的错误信息环境中，大多数时候你看到的都是刻意的伪造；更典型的是重新可视化和回收旧有的视觉内容，并以误导性的方式解释其中的故事。
- 比如这里的案例《真假消息鉴别案例演示：是否为真应该与你我的个人立场毫无关系》
就像深度造假一样，要检测某些内容何时是真实的，并不容易，尤其是并非100％伪造的那种。
此外，当视觉信息本身是真实的，但其周边的消息传递或取景是虚假的时，这又带来了一个不同的问题：我们如何更好地检测出 *被刻意误导性解释的真实的图像*？
经过细节编辑的内容通常涉及图像中文本的更改（例如，在 Snapchat 上共享关于 Parkland 枪击案的迈阿密先驱报的报道，但被PS了文字，然后有人进行了截屏并转发），或在 WhatsApp 上传播的虚假文章的截图。
社交媒体的传播环境意味着图片不需要高质量即可用于心理操纵，而且无论如何，当前的许多虚假信息策略都是通过文字和讲故事来完成的，并不需要太多的技术能力。
meme的问题 ——
视觉信息和 meme 是信息障碍的最危险手段。meme 易于复制、简化概念、并因此影响对话。
对于检测来说，它们是文本和图像的组合，因此您必须同时对这两者进行分析。
信任的侵蚀是一个根本性问题 ——
一个更大的问题是如何解决偏见。人们只想相信自己想要相信的东西，并将自己的认知框架带入故事中。
于是，在仅仅需要发问而非技术检验的情况下，取证和媒体验证该怎么做？ —— 在这种情况下，只需插入一个疑问即可使某些事物合法化，而不是复杂的伪造。
开源情报/社交新闻收集/事实核查社区当前正在做什么，是否致力于检测错误信息并验证信息（以及现有的挑战和需求是什么）？
开源情报的工作取决于对语义完整性的大量检查，以及基于新闻工作者证实和审查来源可信度的方法 ——
研究人员希望找到创建的时间、共享的日期、位置、来源，然后与其他报告和开源数据（例如 卫星图像）进行交叉验证。
元数据是检测不一致的第一层，但需要超越它，因为元数据也可能被篡改。
当内容较少时会更具挑战性。与原始新闻来源和创作时间相距甚远的社交新闻收集方法也更具挑战性，因为，要想与目击者和参与拍摄和分享的个人交谈以补充研究，会很困难。
深入调查需要取证学，以了解视频或图像的相互关系，并在取证架构和空间分析实践中将其映射到物理空间。
BBC做的一项开源调查经常被引用以说明问题，该项调查清楚地记录了喀麦隆法外处决的肇事者：
仅仅专注于消息本身是不够的 ——
开源调查涉及到如何对信息进行拆封，并使用通俗易懂的语言向人们展示从检测工具获得的信息的方法。
- 在这里看到方法《如何讲述故事：开源情报研究初学者的指南》
人们不一定会信任事实核查组织和新闻机构，事实核查组织也不会接触到使用错误信息和虚假信息的人；因此，新闻编辑室和事实核查组织和人员还需要专注于反映网络信息生态系统的受众发展和交流策略（并从虚假信息网络在战略性地放大假消息的模式方面有所研究），以及找到如何针对不同情况自定义和调整事实核查资料的方法。
- 非常推荐这个报告《看清信息战：2019全球有组织社交媒体操纵清单》
有时您可能不想揭穿 ——
重要的是要理解，内容的病毒式传播水平可能会决定您从讨论到揭穿再到向观众提供正确信息的整个过程的转折点。
您必须迅速采取行动，但是不能太早披露；否则反而会因此让假消息接触到更多的受众，增加对假消息的接触会使其变得更为熟悉，从而使人们记住它，并且有些人可能会开始相信它。
- 你面对的是信息战，假消息的制作是战略性的，因此你需要以战略性的方式进行反击 《什么时候辟谣是无效的》
例如，在巴西大选期间，Comprova 联盟对大约300个虚假媒体项目进行了揭穿，但最终仅发布了150个左右，因为其他项目过于利基、并且没有超过临界点。
协作是关键 ——
最新诞生的一系列合作（例如 墨西哥的 Verificado、巴西的 Comprova 和尼日利亚的 Africa Check）证明了组织之间就错误信息和虚假信息的识别和交流进行协作以验证和揭穿的价值。
由多个新闻参与者创建的协作可以增强公众信任的力量。
检测虚假信息的一种方法是了解虚假信息如何适合较大的系统/网络。除了内容和来源，您还应该专注于系统的其他部分，例如参与者及其工作的空间 ——
网络宣传模型着眼于谁参与创建和扩大内容，而不是等待内容的事实核查。
这种方法着眼于内容如何在暗网、加密通信、匿名网络和开放网络中发布和流传。
虚假信息的创作者将在匿名的和开放性的网络中进行 *战略性传播*，并不仅依赖于最有可能推动内容的社区，而且还依赖普通人，以及事实核查者 —— 有些时候越是辟谣，相关假消息被信任得就越多。
来源检查通常是确认错误信息和虚假信息的途径 ——
大量虚假信息来自封闭的消息传递空间和匿名网络，并在4Chan、8Chan和 Discord 等聊天板中进行了讨论。您需要从适当的渠道获得资源。
WhatsApp是错误/虚假信息的温床 ——
封闭的消息传递应用程序正在增加，形成了网络化的小团体信任。在这些应用程序中，群组是一个特殊的问题，因为您必须有一种启发式的方法才能确定是否为真。
对于记者来说，这些渠道传递的虚假信息也很难访问，并且没有内部机制可以把视听内容或其他内容标记为不真实。
记者进入封闭的消息传递应用程序并制作工具来识别和/或标记虚假信息时，面临着道德困境 ——
进入这些群组，而不是等待这些群组中的人员自己提交或识别内容，具有道德上的挑战性。
为了在新闻搜集、调查和监视之间进行明确区分，调查人员需要在保持隐私人权的同时与内容互动的方式进入同一个频道。
对于图像/视频造假检测方面的开源情报 /验证/真相发现从业人员来说，最有用的是什么？
现实世界中存在验证挑战，也存在工具局限性 ——
记者必须处理需要快速决策的实时提要，因此需要用于实时分析和手动验证的工具，这需要太多时间。
同时，针对非技术人员的取证工具尚不可用，并且大多数最新验证是手动完成的。研究人员还需要处理大量和低质量的内容，以及这样的现实，即：平台和消息传递应用程序创建的压缩减少了取证分析的机会。
通常情况下，伪造并不需要十全十美，它只需要插入疑问或确认信念即可。
我们需要针对非技术人员的更好工具 ——
当前，非技术人员无法使用大多数工具，因为这些工具需要一些技术基础。在可用性方面的开发进度不够快。
记者、调查人员、媒体公司和计算机科学家之间需要更多的协作，以研发一套好的工具，而不仅仅是依靠开源图像取证工具，并向更多用户提推广这些工具。
平台内的工具 ——
开源情报社区将受益于平台本身（社交媒体、搜索功能）内部更好的工具的使用和利用，以及通知用户检查他们所质疑的内容，例如，WhatsApp 之外的查询工具不会损害整体的端到端加密，但允许用户对照现有的已知错误信息源检查图像或视频。
快速途径 ——
社交媒体源和其中的信息是实时发生的，大多数情况下没有经过过滤，因此从调查人员的角度来看，有一种解决这一问题的紧迫感。
跨平台分析是一个大问题 ——
特别是考虑到 WhatsApp 和 Facebook Groups 的封闭性质。一种解决方法可能还包括将视听内容标记为可疑内容的选项，并找到跨平台跟踪视听内容的方法（注意在封闭群组中处理视听内容的挑战）。
记者和调查人员需要了解深度造假的科学知识以及如何发现它们的方法 ——
需要：既能够有效使用的工具（并了解工具的局限性）、又能向公众传达工具如何以及为什么能够检测到伪造品的信息。
这是因为对于新闻记者而言，挑战不仅在于自己得出结论，还在于将其消化成大众能接受的故事包。
始终存在着一个问题，即 您如何对发现的造假信息承担责任/采取行动。
哪些工具对开源情报和信息验证有用？
检查清单 ——
有关如何查看被操纵的图像/视频的信息。
现有媒体验证工具列表 ——
最好是已经构建的，没有编码技能要求的，已经公开可用的，并且经过同行审查和测试的工具。
- 《从信息验证到安全防御 — 日常必备的调查工具包》
- 《给真相爱好者的随身小工具：调查工具包简版》
- 《如何对视频进行开源情报调查和信息验证：推荐好用的工具》
- 《验证在线信息真伪的简单思路》
- 《10个简单技巧 快速验证社交媒体热门视频的真伪》
- 《公民记者如何验证民间爆料视频的真实性？》
- 《💎 超级情报收集工具库：开源验证和调查工具及使用方法》
- 还有更多，见 列表3 — 栏目 “让它民主”
需要一种基于跨平台分析图像的工具 ——
记者和开源情报调查人员使用工具快速收集证据并对证据进行分类，以及在必要时进行揭穿。拥有一个可以快速分析内容以显示是否首次发布以及所使用相机的来源或类型的工具将非常有用。
需要指示确定性程度的工具 ——
如果图像/视频是假的、或由人类审阅者标记为潜在的异常，应该有一个共识的标准，即 “可疑性/重要性” 程度的标准。
需要一种可以轻松进行取证检测的工具 ——
用来确定图像的一部分是否与其他区域进行了不同的处理。
需要将图像、视频链接到特定设备或设备类型的工具 ——
确定它们的传播已经通过了哪些社交网络。
需要专注于音频的技术包括可促进识别说话者的工具 ——
这显然是个难点。
需要反向视频搜索 ——
反向图像搜索已经很成熟，一般来说，开源情报社区会建议抓取视频的一帧，然后依照验证图像的方法来验证视频。但有些时候，对于那些动作很快的视频，抓取帧不很容易，并且对于不娴熟的调查人员来说，精准抓取也不很容易。
因此，目前迫切需要那种能够像搜图一样简单的反向搜索视频工具。
需要图像标记工具——
研究人员需要在开放平台和封闭群组中都可以使用的标记可疑视觉内容的方法，并使其可以跨平台携带。
跨平台非常重要。因为很多内容被一次揭穿并没有用，它会继续传播不断扩散，而揭露永远跟不上虚假的扩散速度。
传播途中图像会被跨平台所清洗，因此，这里的关键是能够确定图像的来源并追溯到源。在信息错误的情况下，返回原始来源（谁上传的、何时上传的、及其他元数据）是关键。
需要基于区块链的工具，用于记录和跟踪原始图像并创建 “信任区域” ——
具有不同的社区作为共识节点，并且能够向音频视频内容添加已确认的元数据。
很多记者和调查人员不会仅仅依靠这些，而是希望运行自己的验证流程，但这样做可以提供信任信号并实现更好的来源验证。
需要网络映射工具 ——
展示谁在创造、收集和分发宣传性的和操纵性的视觉内容（主要行为者）。
需要第三方已知的错误信息示例数据库、以及受信任的分析实体 ——
比如一种基于Web的工具，用于评估图像/图形的完整性，并为研究人员提供进行进一步分析的标志。例如 IThenticate 那样。
开源情报、社交新闻采集、以及深度造假与媒体法证研究人员今后都需要学习什么？
在研究和实践者社区之间更好地沟通的技巧 ——
由于多种原因，研究人员和从业人员没有互相交流。
这是因为缺乏资源来支持此类对话，以及如何匹配学术界、民间社会、政府、资助者和新闻业的激励结构。以及如何理解每个部门的独特伦理关注的问题。
缺乏很好地激励或协调合作结构。对于记者来说，这也是在资源和新闻编辑室预算缩减的背景下。
但是，所有人都同意需要更好地联系。紧密的联系和社区将使这两个小组能够相互理解彼此的工具并以实用的方式传播研究成果。
需要弥合技术社区和记者社区之间的知识鸿沟 ——
有很多尚未开发的资源/功能，记者也不知道；但是，如何在工作流程中作为产品使用它们存在障碍问题；另一面，技术研究人员希望了解现实情况并处理现实数据。
技术社区应该尽可能共享现有的工具和新工具的进度，并提供有关特定媒体取证工具的动手培训 ——
取证界采取的措施与开源情报界所知道的东西存在明显的知识鸿沟。比如，现有的用于复制粘贴检测的工具，以及正在开发的用于跟踪特定相机的数字指纹的工具，修改图像的工具，以及验证内容经过了哪些社交网络的工具。
就是说，在研究范围之外，许多技术尚未商业化也不大易于普通人使用。更好的数据共享将加速此过程，以完善工具以解决开源情报社区正在解决的问题类型。
建立多元化的取证和开源情报专业知识 ——
需要找到各种方法来支持在各种环境中拥有本地图像取证和开源情报调查专业知识，因为了解本地情况很重要，在全球范围内都会遇到错误信息和虚假信息。
更多的社区建设活动 ——
我们之间需要更多的联系，经常的聚会。就特定事件将研究人员和开源情报社区召集在一起，就不同的错误信息模式在全球范围内举行会议，共同探讨解决方案。
也可能需要有规模较小的、更多本地的聚会，以讨论如何具体推进协作。
更详细的讲习班和知识交流可进一步提高理解水平 ——
有关此操作的一些想法包括：
- 使用以人为中心的设计/设计思维/系统思维方式探索彼此的需求并进行深入的工作，安排结构化的时间来准备原型或想法的起点，以获得可能的解决方案。
- 分享实际应用研究和技术的实例 —— 识别操纵、操纵目标、以及操纵方式。
- 特定媒体取证工具的动手培训。
- 围绕特定主题的研讨会，包括测试工具。
- 研讨会如何为记者和公众提供实用的研究翻译方法。
- 正在进行的知识交流，以帮助了解彼此的时间表和工作流程
- 花一定时间与他人合作或在特定组织中帮助开发工具
- 共享对影响研究人员和调查人员的威胁模型的理解。
需要多个论坛来进行持续的对话和提醒 ——
- 一个通知系统/电子邮件列表/ Twitter 机器人，让主要的开源情报研究人员、深度造假研究人员知道已识别出的受到操纵的视频或图像，或分享有关工具成功或失败的反馈。
- 关于信息战发生时的警报列表，我们需要彼此的帮助。
- 参与者可以通过这样的会议来建立主题专家的联系人资源列表。
- 松散的团队/通过电子邮件列表/ Whatsapp群组或其他论坛，以分享知识、棘手的案例或示例、开发项目、向其他专家提出问题（注意：只要我们已同意共同的准则和道德规范，就可以）
支持有关特定问题的结构化对话 ——
有些问题已经是挑战，而其他问题在部门之间的结构化对话可能有价值的情况下将变得越来越重要：例如，关于我们如何防止恶意行为者利用知识；或关于我们如何考虑和反馈未决的规则。
制定共享的分类法 ——
因为并非所有人都同意关于错误/虚假信息的通用术语，因此很难创建干净的数据集进行分析。所以需要先统一概念和标准。
分享培训机会 ——
需要在结构化设置中相互学习。培训机会的一个示例是 UC Denver 的国家媒体取证中心提供的新的深度造假取证课程。开源情报界有很多培训机会（虽然价格不便宜）。
共享数据集和示例 ——
在道德要求内，共享现实世界的数据和内容示例以为研究提供信息可能非常有用。
还应注意，某些数据和一些示例无法公开发布，并且不能确定哪些内容可以合乎道德地分享，以学习和理解在此问题上可以做得更好的方法。这可能需要第三方的协助。
相关各方之间也需要建立平等的关系，以免造成关于 *谁从数据中受益* 的权力失衡。
数据托管服务？ ——
集体探索的一种选择是查看数据托管服务的模型，该模型应该提供一种在道德层面适当的使用彼此数据的方式，但具有明确的保护和限制。
协作以创新，分享想法以进行验证 ——
例如，建立一个全国性或全球性的ENF信号收集器，这些信号随位置而变化并且可以在视频中检测到，以更好地识别真正的音频或视频记录的位置。
最后
如上，需要做的工作非常多。尤其是技术社区应该努力与活动家和调查社区合作，以帮助技术更好地应用在现实中最需要的地方。
如果您是开发者并有意愿予以协助，欢迎联系我们。⚪️
How do we work together to detect AI-manipulated media?