使用 AI 进行 A/B 测试推送通知 — 并让它选择获胜者

星期四下午,您的限时抢购将于晚上 8 点开始。您有两个用于宣布它的推送通知标题,并且不确定哪个会获胜:“促销今晚结束”或“最后呼吁:午夜前享受八折优惠”。通常这意味着打开 PushEngage 仪表板,构建 A/B 分割,保存活动,并在一个小时后回来查看统计选项卡,然后手动宣布获胜者并重新发送给您的其余列表。

或者您也可以直接询问。如果您已将 PushEngage MCP 服务器连接到 Claude、Cursor 或其他 AI 助手,您可以像请同事帮您检查某事一样,通过 AI 进行 A/B 测试推送通知 — 用一句话,从您已打开的聊天窗口中进行。句子背后的机制与您从仪表板获得的点击率计算相同。改变的是谁点击,以及您需要多少后续工作。

本文将介绍当您要求助手运行该测试时实际发生的情况:哪个工具会触发,实际的推送通知标题测试、表情符号与无表情符号测试以及 CTA 链接测试是什么样的,以及自动选择获胜者在何时值得信赖,何时不值得。

曾经需要六次仪表板点击才能完成的 AI 运行 A/B 测试

此任务的仪表板版本具有可预测的流程:通知、新建、切换 A/B 测试、编写变体 A、编写变体 B、设置分割、保存、等待、打开统计选项卡、凭肉眼比较点击率、点击选择获胜者、确认重新发送。这些都不难。这只是“我有两个标题”和“更好的标题已触达所有人”之间六到七个步骤的开销。

AI 助手版本将其压缩为一个请求:

“为今晚的限时抢购发送 A/B 测试。变体 A:‘促销今晚结束。’变体 B:‘最后呼吁:午夜前享受八折优惠。’分割 50/50,两者都链接到 /sale。”

这一个句子映射到一个工具调用 — pushengage_send_ab_notification — 针对您选择的任何 PushEngage 网站运行。您仍然编写了两个变体;您仍然决定了分割。您跳过的是菜单查找。如果您想了解除标题之外值得测试的内容的完整列表 — 图片、发送时间、受众细分 — 推送通知 A/B 测试内容的完整指南比本文需要的内容更深入地涵盖了这些方面。

入门:连接 PushEngage MCP 服务器

在助手能够访问您的帐户之前,以上所有方法均无效。在您的客户的 MCP 配置中安装只需一行代码 — 对于 Claude Desktop、Claude Code 或 Cursor,即npx -y @pushengage/mcp,无需全局安装。当您第一次要求登录时,浏览器会打开一个指向 PushEngage 自己授权屏幕的选项卡;您在那里批准,因此助手永远不会看到密码,并且它存储的令牌仅保留在您的计算机上。从那时起,您告诉它要操作哪个站点,并且此帖子中的每个工具 — 包括下面的两个 A/B 工具 — 默认情况下都将针对该站点运行。 PushEngage MCP 设置指南 涵盖了故障排除和多帐户设置,以防您遇到困难。

该设置建立在已经能够发送大量信息的发送平台上:PushEngage 在典型的 30 天窗口内,通过 10 个域中的 27 个工具,为 150 多个国家/地区的 25,000 多位企业主发送 152 亿条通知。AI 助手是该基础设施之上一个更轻量级的对话层 — 而不是一个单独的、未经证实的集成。

pushengage_send_ab_notification 实际发送的内容

pushengage_send_ab_notification 发送一个包含两个变体 — A 和 B — 的广告系列,按照您指定的受众比例进行拆分,方式与仪表板 A/B 测试相同。它是 从 AI 助手发送和安排推送通知 的工具的同级工具,但专门用于双变体比较。它是一个单独的工具调用,但它起到了双重作用:传递两个变体和一个拆分,它的行为就像一个直接的 50/50(或 70/30,或您选择的任何比例)测试。传递 intelligent_ab_test 选项,相同的调用还会自动采样、等待、比较和推出 — 这是本文其余部分介绍的机制。

值得停下来关注第二种模式,因为大多数推送平台仍然需要点击仪表板才能开始 A/B 测试,并且根本没有通过 API 触发或解决 A/B 测试的途径。能够用一句话要求进行相同的测试,并让它自动进行推广,这不仅仅是方便 — 这是一种能力,而几个竞争平台根本没有在它们自己的 UI 之外公开这种能力。

本周值得进行的三个测试

A/B 测试只有在两个变体测试了能够真正促使用户做出决定的内容时才会有回报。在您进行更复杂的测试之前,有三个测试值得在真实流量上进行。

标题测试

简短紧急型与冗长具体型是最常见的拆分:“促销今晚结束”与“最后呼叫:午夜前 20% 折扣”。一种用简洁性换取细节;另一种用细节换取具体的截止日期和折扣。要求助手发送两者,各占 50%,您将在几小时内知道您的列表对本次广告系列哪种反应更强烈。

表情符号 vs. 无表情符号

从之前的测试中选取获胜的标题,发送两次——一次是纯文本,一次是在前面加上单个表情符号(时钟、标签、火焰图标,任何适合该优惠的图标)。像这样的表情符号与无表情符号的推送通知测试会因列表和所选表情符号的不同而异,因此应将其视为每次广告系列测试,而不是一次设置后永久使用的规则。一个订阅者群体所奖励的,另一个可能忽略。

CTA链接测试:结账 vs. 购物车

这个推送通知CTA链接测试是每个通用的“A/B测试什么”列表都会跳过的,而且它与收入的关联最清晰。变体A直接链接到/checkout;变体B链接到/cart,订阅者仍需点击才能付款。从点击到完成购买的步骤越少,每次点击恢复的购物车价值应该就越高——这是说明性的推理,而不是固定的百分比,因此请根据您自己的结果进行验证,而不是假设普遍提升。如果您已经在运行购物车放弃推送序列,这是最快的方法,可以弄清楚您现有的序列是否点击次数过多。

让智能A/B测试选择获胜者

一旦您决定一项测试值得自动化而不是手动监控,就可以请求智能A/B测试推送通知,并且intelligent_ab_test选项将整个循环变成一个请求。请求它,工具会将两个变体发送给您的一部分受众,等待您设置的延迟窗口,比较两者的点击率,然后将获胜的变体发送给所有尚未收到的人。

这四个步骤——抽样、等待、比较、推广——被捆绑到一个您只需触发一次的机制中,而不是一个您必须从测试工具、导出和第二次手动发送中连接起来的管道。您设置样本量和延迟;工具会处理其余部分,包括向列表的其余部分重新发送。这与PushEngage的其他面向电子商务的自动化功能相同:一个现成的流程供您配置,而不是一个需要您从头开始构建的空白画布。

自动推广不应单独决定的内容

点击率是intelligent_ab_test用来判定获胜者的唯一信号。它没有在后台运行统计显著性测试,这意味着过短的延迟窗口或过小的样本可能会将“胜利”归于噪音,而不是真正更好的变体。

两个安全措施可以保证其准确性:

  • 设置足够长的延迟以获得真实样本。一个在十分钟内完成的测试,在一个点击需要数小时才能完成的列表中,比较的是两个几乎为空的桶,而不是两个真实的结果。
  • 将接近的呼叫视为平局,而不是定论。如果两个变体的点击率相差一两个百分点,那么“获胜者”更像是抛硬币的结果,而不是一个发现——在围绕它养成永久习惯之前,值得再进行一轮测试。

直接说明这个限制比假装工具比它本身更智能更重要。它根据点击率、给定的样本以及您设定的窗口进行选择——仅此而已。

从点击率到挽回的收入

一个成功的标题值得了解。一个成功的CTA链接更有价值,因为它不仅仅是更高的点击率——它是在订阅者和完成购买之间减少了步骤,这是转化点击和在结账途中悄悄放弃的点击之间的区别。这才是留存团队实际上应该报告的数字:不是“B变体有更高的CTR”,而是“结账优先变体比购物车优先变体挽回了更多购物车每次点击的价值”。

在您接下来的几次发送中运行结账与购物车测试,将获胜者反馈到您的购物车放弃序列中,您就将花费一下午时间使用AI进行推送通知A/B测试的成果,转化为挽回购物车价值的永久提升——这种改进在每次序列再次触发时都会累积。如果您准备好了解AI助手工作流程还能用您的订阅者列表做什么,PushEngage的套餐免费开始,并且仅随活跃订阅者扩展。

添加评论

我们很高兴您选择留下评论。请记住,所有评论都将根据我们的隐私政策进行审核,并且所有链接都将是 nofollow。请勿在姓名字段中使用关键字。让我们进行一次个人化且有意义的对话。

在访客离开您的网站后与他们互动并挽留他们

通过难以忽略的推送通知,增加每次网站访问的价值。

  • 永久免费套餐
  • 轻松设置
  • 五星支持