了解 Foundry 中的文本分析

已完成

注释

有关更多详细信息,请参阅 “文本和图像 ”选项卡!

Microsoft Foundry 是在 Azure 上构建 AI 应用和代理的平台。 Foundry 门户提供了两种文本分析方法:常规用途 AI 模型,这些模型通过自然语言提示处理各种任务,以及返回特定任务的结构化确定性结果的专用语言工具。

注释

Foundry 有一个基于 Web 的门户,可在其中生成、测试和部署 AI 应用程序。 该门户有两个用户界面 (UI) – 经典 UI 和 UI – 的 Foundry 门户。 此内容介绍 Foundry 门户中的功能。

若要在 新的 Foundry 门户中开始使用文本分析,需要创建 Foundry 资源和Foundry 项目

Foundry 资源是提供对 AI 服务和已部署模型访问的 Azure 资源。 Foundry 项目是该资源中的工作区,可在其中组织工作、部署模型和访问工具,例如聊天操场和 AI 服务。

使用通用 AI 模型进行文本分析

在 Foundry 门户中的项目中,可以部署常规用途 AI 模型。 通用 AI 模型是一种针对大量文本数据训练的语言模型,使它能够广泛理解语言以及处理许多不同的任务的能力。 常规用途模型可以按照自然语言说明来分析情绪、提取实体、汇总文本、翻译内容、回答问题等,所有这些操作都无需任何配置或训练。

可以使用常规用途 AI 模型来处理文本分析任务,例如:

  • 关键短语提取 列出了非结构化文本的主要概念。
  • 实体链接 识别已知实体并链接到维基百科。
  • 情绪分析和观点挖掘 确定文本是正面还是负面。
  • 摘要 通过标识最重要的信息来汇总文本。

可以在 Foundry 门户的聊天操场中浏览 AI 模型的文本分析功能。 部署模型后,操场提供了一个聊天界面,可在其中键入提示,模型会做出响应。 由于模型理解上下文,因此还可以跟进其他问题,或在同一对话中优化分析。 这使操场成为在生成完整应用程序之前探索可能实现的一种有用方法。

新 Foundry 门户操场显示关键短语提取的屏幕截图。

让我们仔细了解一下常规用途 AI 模型在给定文本分析任务时可以给出的一些响应。

关键短语提取

可以使用语言模型提取某些文本中使用的关键字和短语,这对于索引和搜索相关文档等过程非常有用。 关键短语提取 标识文本中的要点。

例如,你可能会收到如下评论:

周六我在西雅图的一家小餐馆吃了一顿美味的餐点。蘑菇意大利调味饭烹制得恰到好处,真的很美味。我们的服务员皮特友好高效,还推荐了一个很好的甜点(草莓奶酪蛋糕)。我绝对推荐这个地方来享用一顿休闲晚餐。

关键短语提取可以通过提取以下短语来提供此评审的一些上下文:

  • 休闲晚餐
  • 甜点
  • 梦幻般的一餐
  • 就餐人
  • 出色的建议
  • 蘑菇里索托
  • 皮特
  • place
  • Saturday
  • Seattle
  • 草莓奶酪蛋糕
  • 服务员

实体识别

还可以使用 命名实体识别 来查找文本中提到的人员、地点、日期和其他特定实体。

你可以为语言模型提供非结构化文本,并检索其识别的文本中的 实体 列表。 实体是特定类型或类别的项;在某些情况下,子类型。

请考虑以下短文本:

2017年5月2日,约翰·史密斯访问了纽约,参加由Microsoft主持的会议。活动从上午 8:00 开始,持续了 3 小时。超过25% 40名与会者前往10英里参加。

检测到的实体包括:

实体类型 子类型/类别 价值
人员 约翰·史密斯
位置 纽约
组织 Microsoft
日期时间 日期 2017 年 5 月 2 日
日期时间 时间 上午 8:00
日期时间 持续时间 3 小时
数量 百分比 25%
数量 编号 40
数量 尺寸 10 英里

情绪分析和观点挖掘

还可以使用 情绪分析 将文档分类为正、负或中性。 这对于检测社交媒体、客户评论、论坛等中的情绪非常有用。

请考虑以下餐厅评论:

周五晚上,我在波特兰的一家舒适的餐厅吃了一顿精彩的晚餐。烤鲑鱼完全煮熟,味道浓郁,季节性蔬菜是一个很好的补充。我们的服务器,玛丽亚,是周到和可爱的,她建议柠檬塔特的甜点 - 这是优秀的。我绝对建议这个地方放松和愉快的夜晚。

注释

由于常规用途 AI 模型响应自然语言提示,因此输出取决于请求短语的方式。 例如,可以请求整体情绪分数,也可以按句子请求细目。 提示越具体,响应的结构就越结构化和详细。

分析餐厅评论可能会返回:

  • 逐句情绪分析:

    “周五晚上,我在波特兰的一家舒适的餐厅吃了一顿精彩的晚餐。情绪:积极解释:“美妙的晚餐”和“舒适的餐厅”一词传达了一个高度积极的体验。

    “烤鲑鱼完美烹饪,味道浓郁,季节性蔬菜是一个绝佳搭配。评价:积极说明:“完美烹饪”、“味道饱满”和“绝佳搭配”都表明对食物的强烈满意。”

    “我们的服务员玛丽亚非常周到和亲切,她推荐的柠檬挞甜点味道非常好。情绪:积极。解释:对服务员的素质和甜点的积极描述(“周到”、“亲切”、“非常好”)反映了一位非常高兴的顾客。”

    我绝对推荐这个地方,是一个轻松愉快的外出之夜。情绪:积极 解释:一个明确的建议,用“绝对”、“轻松”和“愉快”字眼显示强烈的积极情绪。

  • 整体文件情绪:强烈积极。 评论充满了关于食物、气氛、服务和整体体验的赞美之词。 没有中立或负面语句。

何时使用常规用途 AI 模型进行文本分析

除了关键短语提取、实体识别和情绪分析之外,通用 AI 模型还可以将长文档 汇总 为简洁段落、 翻译 语言之间的文本、 将内容分类 为定义的类别、回答有关段落 的问题 等。 由于这些功能都由自然语言提示驱动,因此你可以自由组合它们,例如,要求模型翻译长时间的评论,然后在单个对话中对其进行汇总。

在 Foundry 工具中使用 Azure 语言

虽然为常规生成 AI 工作负载训练的大型语言模型通常可以更好地执行文本分析,但有时更专业化的工具会获得更可预测的结果。

Azure Foundry 工具中的语言是一种自然语言处理服务,具有用于特定文本分析任务的专用分析器。 这些分析器使用统计技术返回结构化的确定性输出,使它们非常适合自动化管道,其中一致的结果很重要。

Foundry 门户中,可以在聊天体验区探索 Azure 语言的一些功能。 若要测试 AI 服务的功能,请导航到 “生成 ”页,然后导航到 “模型”,然后导航到 “AI 服务 ”选项卡。在选项卡中,可以找到一系列可用于测试的 AI 服务。

Foundry 门户 AI 服务选项卡的屏幕截图。

请考虑以下Azure语言功能:

  • 语言检测 将评估文本并检测语言和方言。
  • 个人标识信息(PII)检测 可识别个人敏感信息,包括个人健康信息(PHI)。

语言检测

在多语言工作流中,第一步通常是标识文档写入的语言,以便文本可以路由到最合适的模型或过程。 语言检测 将评估文本并识别主要语言以及置信度分数。 Azure语言支持各种语言和区域方言。

例如,给定以下文本:

你好!我叫何塞菲娜,住在西班牙马德里。

语言检测返回以下结果:

语言 ISO 6391 代码 置信度分数
西班牙语 es 1.00

在 Foundry 门户中,可以在聊天操场中测试Azure语言检测功能。

聊天操场的语言检测功能的屏幕截图。

个人身份信息检测

组织通常需要在存储或共享文本之前识别和编辑敏感个人信息,以遵守隐私法规。 个人身份信息(PII)检测 可识别文本中的个人信息(如姓名、电话号码、电子邮件地址和街道地址),并且可以选择性地对其进行修订。

例如,给定以下文本:

Maria Garcia 从 020 7946 0958 致电,要求将文档发送到 42 Market Road, London, UK, SW1A 1AA。

PII 检测识别以下实体:

文本 类别
玛丽亚·加西亚 人员
020 7946 0958 电话号码
42 市场路, 伦敦, 英国, SW1A 1AA 地址

在 Foundry 门户中,你可以在语言体验区测试 Azure 语言的 PII 检测功能。

语言操场 PII 检测功能的屏幕截图。

接下来,了解如何使用 OpenAI 响应 API 和 Azure 语言 SDK 创建具有文本分析功能的客户端应用程序。