欢迎来到AI产品经理从0到1研习之旅。

本文我们将以腾讯会议为例子，从产品应用层面重点分析和研究它的AI功能和背后的实现。

腾讯会议提供了一系列高级AI功能，不仅提升用户在音视频会议中的体验，也极大地增强了会议的生产力和互动性。

腾讯会议产品功能概览

腾讯会议1.0发布于疫情爆发前的2019年12月，相比于现在大家所看到的版本，彼时其功能还比较基础和单一，使用体验也不是那么好。现如今，经过不计其数的版本迭代，早已和当初不可同日而语。它的用户数也已经突破4亿，可谓“国民级”的视频会议应用了。

腾讯会议全景产品图如下所示：

2023年9月份，在腾讯全球数字生态大会腾讯会议专场上，腾讯会议官宣已接入腾讯混元大模型、并发布AI小助手（当然，在没有发布AI小助手之前，不代表腾讯会议中就没有使用到AI技术、不需要AI产品经理）。

结合最新版本，我们可以将腾讯会议的功能需求大致划分为以下4大类别：

（1）基础功能，包括但不限于：

• 账号与安全管理：提供注册、登录、密码、切换、退出、注销等功能

• 音频采集：提供高清晰度音频采集，支持噪声抑制和回声消除，确保通话清晰。

• 视频采集：支持高质量视频采集，适应不同网络环境保证视频清晰稳定。

• 会议录制：允许用户录制会议内容，包括音频、视频和共享的屏幕，支持云存储和本地存储。

• 高稳定并发支持：确保在大规模并发参与时的稳定性和流畅性。

• 多种方式入会支持：支持通过小程序、APP、Web/PC、电话等多种方式参加会议，提高可访问性和便捷性。

（2）协作功能，例如：

• 屏幕共享：允许用户共享整个屏幕或特定应用窗口，便于展示演示文稿或其他工作材料。

• 文档共享与协作：实时共享和编辑文档，支持多人协作，改进团队协同工作效率。

• 及时聊天与互动：提供会议中的即时消息发送功能，包括文本、表情和文件分享，支持私聊和群聊。

（3）管理功能，包括但不限于：

• 参会者管理：主持人可以管理参会者，如邀请、移除、静音等操作。

• 会议安排和日程同步：支持预约会议、设置日程提醒，并与日历应用同步。

• 权限控制：设置不同级别的会议权限，如只读、互动权限等。

（4）AI功能，例如：

• 实时语音转写：使用AI技术进行实时语音转写，提供文字记录。

• 智能纪要生成：自动总结会议要点，生成会议纪要。

• 人脸识别与背景虚化：利用AI进行人脸识别，提供背景虚化和替换功能，确保会议的专业性和隐私性。

我们主要关注其中的AI功能，因此进一步整理如下：

（1）视频处理功能

高清摄像头画质：开启高清摄像头画质后，腾讯会议将为您提供最高1080P品质的高清视频画面，让您在会议中的形象更为清晰生动。

视频降噪：视频降噪技术减少画面杂讯，提高视频清晰度。

暗场增强：利用AI算法优化视频质量，即使在低光环境下也能保证画面清晰明亮。

眼神接触：AI调整发言者在屏幕上的眼神方向，创造出面对面交流的视觉效果。

（2）音频处理功能

背景音降噪：高级的背景音降噪技术确保会议中的语音清晰，不受环境噪音影响。

音乐模式和专业音频：音乐模式提高音频采集质量，适合需要传输音乐的场景；支持启用数字自动增益控制（AGC）和回声消除功能，提升音频清晰度。

（3）字幕和转写功能

实时字幕与翻译：提供实时字幕功能，支持中英双语实时翻译，拓宽会议的可及性。

转写优化：生成会议的原文转写和智能优化版转写，后者通过AI清理转写文本中的非语言表达。

自定义热词：用户可以设置自定义热词以优化转写精度，确保专业术语和公司名称正确无误。

（4）智能录制和纪要功能

总结与纪要：自动分析会议内容，生成简洁的会议总结和详细纪要。

章节与发言人标注：将会议内容划分为不同章节，自动标注不同发言人，支持在多人使用同一设备时区分各个发言者。

话题提取：识别会议中的主要话题，为用户提供针对性的内容摘要。

（5）虚拟背景和美颜功能

虚拟背景：允许用户替换和定制虚拟背景，适应不同的会议环境需求。

美颜与滤镜：美颜功能优化参会者的视觉效果，滤镜提供多样化视觉风格。

头饰与边框：提供多种头饰和边框选项，增添会议趣味性和个性化。

接下来让我们来逐一拆解。我个人最感兴趣的是与大语言模型结合程度更高的AI助手功能，即字幕和转写、智能录制，因此将优先探讨这2个模块。

字幕和转写

1.实时字幕与翻译

在直播和视频会议中，AI实时字幕可以提供实时的文字转化，方便观众和参会人员阅读，避免因为听力问题而导致信息的丢失。而在国际化的工作环境中，不同国家的参与者可能需要用不同的语言沟通，实时字幕和中英互译功能可以帮助跨越语言障碍，提高沟通效率和理解度。

实现这个功能，主要需要2个方面的AI技术：

（1）语音识别 (Automatic Speech Recognition, ASR)：使用深度学习模型（如循环神经网络RNN或长短期记忆网络LSTM，这些模型被训练以识别和转录人类语音）将口语转换为书面文字。腾讯会议官方表示，实时字幕功能是基于ASR oteam开源协同共建的。

作为腾讯开源协同小组，腾讯ASR和OCR Oteam通过对内部优势技术的整合和开源，构造了贴合各类业界场景的完整、先进、鲁棒的模型库和算法框架

（2）自然语言处理（NLP）：对语音识别后的文本做进一步的处理和理解，包括进行语义分析和上下文理解，从而确保转录文字在语义上准确和连贯。这方面的基础我们在《自然语言处理》一章中有所提及。

我们可以通过下面这张示意图来大概理解“语音采集-语音识别-自然语言处理-生成实时字幕”的过程。如果开启了中英双语翻译，则同时还需要通过NLP或机器翻译技术实现多语言之间的转换。

由于参会人使用了不同的输入设备（麦克风），采集/录制的时候就可以分成不同的音轨，加上对登录用户的身份识别，就能够按发言人+字幕实时显示了。

此外，我们作为产品经理还应该考虑为用户提供清晰、可读的字幕显示，例如对于字幕的字体大小、颜色和背景，以及在屏幕上的位置，都应考虑易读性和不干扰视频内容，并允许用户根据需要调整字幕显示的偏好设置。

2.转写与优化

用户故事：李女士是一名项目经理，负责管理一个分布在全球的多语言团队。她在组织国际会议时面临着沟通障碍，特别是在处理包含多种语言和方言的会议内容时。她需要一种工具，能够实时准确地将会议内容转写成文字，并对其进行智能优化，以便所有团队成员都能理解和参与讨论。

在实现实时字幕之前，腾讯会议就已经实现了云录制转写。相比起来，实时字幕需要确保字幕的生成与会议进程同步，技术要求是更高的。

腾讯会议的转写功能具有以下关键特性：

• 语音转文本：使用ASR技术，识别会议中不同发言者的声音，并将其口语转换为书面文字。

• 关键字搜索：结合文本搜索算法和云存储技术，支持在转写文本中搜索特定关键字，提供便捷的内容检索。

• 二次编辑：允许会议创建者编辑转写文本，以转写有误或想要调整的内容进行更正。

• 智能优化：结合腾讯混元大模型（或者文本分割、语义理解和语境分析等NLP技术），在原始转写的基础上进行智能分段、语气词优化，提升内容的书面化和准确性。

用户界面需求：

• 实时转写展示：清晰显示实时转写的文字，允许用户跟踪会议进展。

• 编辑功能：提供易于使用的编辑工具，允许用户修改转写文本。

• 搜索功能：集成搜索栏，用户可以快速定位特定内容。

不过从我个人体验的实际效果来看，智能优化版也并没有比原始版明显好的地方：

不知有没有其他小伙伴体验过？感受如何？

这是官方示例的转写优化对比：

3.自定义热词

用户故事：张先生是一家跨国公司的技术主管，他经常组织技术讨论和产品发布会议。在这些会议中，经常使用到公司特有的术语和产品名称，这些词汇往往被标准的语音识别系统误识别。张先生需要一种方式来确保这些专业术语和公司名称在会议转写时能够被准确识别和展示，避免误解和混淆。

因此，我们就可以考虑设计一个名为“自定义热词”的功能：它允许用户添加特定的专业术语、产品名称或其他重要词汇到转写系统。通过使用这些自定义热词，系统在进行语音到文本的会议转写时，能够更准确地识别和转写这些专有名词。

在技术实现上，主要涉及：

• 自定义词库集成：在ASR系统中集成一个可以由用户自定义的词库，使得系统在转写时优先考虑这些词汇。

• 动态词库更新：允许用户随时更新词库，确保转写系统能够适应不断变化的术语和名称。

• NLP优化：使用自然语言处理技术来理解和处理这些热词在上下文中的使用，提高整体转写质量

例如就笔者目前公司业务里用到的自定义热词就可以是：美养师（如前面的截图所示被转写成“每养师”了）、调理师等。

智能录制和纪要

腾讯会议推出覆盖会议全流程的AI小助手，通过简单自然的指令，完成信息提取、内容分析、会管会控等多种复杂任务，提升开会和信息流转效率。

腾讯会议官网

在快节奏的工作环境中，会议效率和信息管理变得日益重要。用户需要工具帮助他们更好地抓住会议重点、管理会议产出和后续跟进。腾讯会议AI小助手旨在通过AI技术提升会议的效率和效果。

根据官方介绍，其主要的使用场景包括：

• 实时紧急回顾：提供快速回溯会议内容的功能，让用户能够迅速获取错过的讨论。

• 个性化提醒事项：根据用户设定的关键词或成员发言进行实时提醒

• 晚入会无后顾之忧：为晚入会者提供入会前的会议内容回顾

• 会中实时会议纪烟：自动提炼讨论内容，生成结构化的会议纪要

• 个性化纪要总结：提供针对特定议题或人员的纪要总结

• 会后智能提炼纪烟：对会议全程进行智能提炼，突出重点议题

• 高效整理待办事项：自动识别和整理会议中的任务和责任人

• 会议录制个性回顾：针对性回顾会议中的关键发言和内容

而这些基本都依赖于腾讯会议的“智能录制”和“智能纪要”功能，加上混元大模型提供支持得以实现。

腾讯会议在全程文字转写的基础上推出了智能纪要，可基于全文或者分章节进行智能摘要总结，帮助未参会人员在一拿到会议录制的时候，对会议有全局的把握，更好地去理解会议内容，提高沟通协作效率。

智能录制和纪要的功能包括：

1.总结与纪要

用户故事：Alice需要在离开并返回会议后，快速了解错过的重要内容。

功能需求：

支持按用户指定的要求（如时间范围、发言人、特定主题等），自动分析会议内容，提炼纪要。

会议结束后自动生成简介的总体纪要。

技术实现：

使用NLP技术自动提取关键信息，如决策点和重要议题。

应用时间戳和语音识别来支持时间范围的纪要提炼。

整合混元大模型等先进AI算法进行内容分析和总结。

假设我们是通过Prompt来与混元大模型进行交互从而获得对应的输出，可能是：

模型名称：混元大模型操作：生成会议回顾/纪要提炼会议全文转录：{{会议转写文本}}用户定制参数：- 回顾起止时间点：{{用户指定的回顾起止时间点}}- 回顾范围要求：{{用户指定的回顾范围要求，如特定主题或发言人}}
请求：- 根据用户指定的回顾起止时间点和回顾范围要求，从会议全文转录中提取和总结相关的关键信息。- 对于用户关心的议题或发言人，提供详细的内容摘要和关键观点分析。- 如用户未指定具体范围，提供会议全程的关键议题和决策总结。
输出要求：- 输出格式：结构化的文本，易于理解和跟进。- 突出重点：对关键议题和决策进行高亮显示。- 确保内容准确反映会议讨论的本质，同时具备针对性和相关性。

2.章节与发言人标注

用户故事：陈先生是一名项目经理，负责管理多个跨部门的项目。由于参与者众多，他的会议通常内容丰富且持续时间较长。在回顾会议内容时，他经常花费大量时间寻找特定议题的讨论。他需要一种方式，能够快速定位到长时间会议中的特定讨论内容，以提高工作效率和会议内容的管理。

这时，我们就可以定义一个名为“智能章节”的功能：

• 智能章节功能：自动将会议录制视频划分为若干章节，每个章节对应会议的一个主要议题或讨论点。

• 章节概述和纪要：为每个章节生成简短的概述和详细纪要，帮助用户快速了解每个部分的核心内容。

• 快速定位和导航：提供类似于书籍目录的导航界面，使用户能够快速跳转到感兴趣的章节。

  
  

从实现层面，我们需要考虑：

NLP和文本分析：

使用自然语言处理技术来分析会议转写文本，识别不同的讨论主题和自然的切换点。

应用文本摘要技术生成每个章节的概述和纪要。

机器学习和模式识别：

训练机器学习模型来识别会议中的关键议题和结构变化。

采用模式识别技术来识别和标记不同章节的开始和结束。

语音和视频处理：

将语音识别与视频内容分析相结合，确保章节标注与视觉内容一致。

实现音频和视频内容的同步分析，以准确划分章节。

用户界面设计：

设计直观的章节导航界面，使用户可以像浏览书籍目录一样，轻松访问不同章节。

提供章节预览和跳转功能，以提高用户的浏览效率。

由于参会人使用了不同的输入设备（麦克风），采集/录制的时候就可以分成不同的音轨，加上对登录用户的身份识别，发言人的识别是比较好办的。但是当不同用户使用同一个设备时，我们就需要额外采用声纹识别技术来区分发言人了：

声纹识别技术是一种基于声音特征来识别和验证个体身份的技术。它利用的是每个人的声音都有其独特的特征，类似于指纹。其关键特征和实现为：

• 声音特征提取：从音频信号中提取个人的声音特征，这些特征可能包括音调、语速、发音方式等。

• 模型训练：使用机器学习技术，尤其是深度学习模型，来分析这些声音特征，并训练模型识别不同个体的声纹。

• 发言人识别：在实际应用中，声纹识别技术可以用来识别会议中的不同发言人，即使多人使用同一设备进行通话。

  
  

如此一来，智能章节+发言人标注，将极大地提升会议内容管理的效率，使用户能够快速定位和回顾关键讨论。

例如，结合发言人的识别和内容的分析，可以针对发言者的主要观点生成个性化的摘要。

2.话题标注

用户故事：王女士是一家科技公司的团队领导，她经常参加涉及多个项目和议题的会议。由于会议内容繁杂，她希望能快速抓住会议中的重点话题，特别是那些与她的项目直接相关的部分。她需要一种工具，能够自动分析会议内容，快速提炼出会议的核心话题和热点，帮助她更有效地回顾和跟踪相关讨论。

功能描述：

• 智能话题归纳：自动分析会议录制的内容，识别并总结会议中的关键话题和热点。

• 个性化回顾导航：提供一个界面，展示归纳出的话题列表，方便用户根据个性化需求选择和回顾特定内容。

• 内容摘要：为每个识别的话题提供简短的摘要，概述该话题在会议中的讨论要点。

• 话题编辑：支持用户添加关键词作为话题标签，保存成功后系统自动匹配对应的转写文本段落、录制音视频文件时间段。同时也支持修改或删除话题标签。

用户界面设计：

提供一个直观的界面，展示会议的话题列表和相关摘要，使用户能够轻松选择和浏览感兴趣的内容。

提供搜索和筛选功能，帮助用户快速定位特定话题或相关讨论。

提供添加、编辑、删除功能，以支持用户更加灵活和个性化地定义和圈选话题内容。

在技术实现层面，就需要考虑：

NLP和文本分析：

使用自然语言处理技术分析转写的会议文本，识别讨论中的关键词和短语。

应用文本摘要和话题模型技术，从会议内容中提取主要话题。

机器学习和模式识别：

训练机器学习模型来识别常见的讨论模式和话题转换。

使用模式识别技术自动归类讨论内容，生成话题列表。

用上“云录制+自动会议纪要”的组合，可轻松解放你的双手和大脑，把时间和精力专注在会议讨论和后续执行上。

最后，对于云录制文件、转写纪要等内容，腾讯会议还支持：

• 翻译：支持将当前的转写文本按指定目标语言翻译

• 导出与分享：会议创建者及有权限的用户可以对转写/编辑/优化后的文本进行导出或分享。

04

—

05

—

06

—

07

—