Nesta página, descrevemos como monitorar o tráfego de experimentos A/B e comparar as principais métricas de negócios para pesquisa no console da Pesquisa de comércio com IA no Gemini Enterprise para Customer Experience.
Visão geral
Você pode realizar um experimento A/B para comparar as principais métricas de negócios entre sua implementação de pesquisa atual e a Pesquisa de e-commerce com IA.
Depois de configurar o experimento e a divisão de tráfego, você pode monitorar o tráfego e conferir as métricas de negócios na página Experimento no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience.
Para configurar o monitoramento de experimentos A/B no console, insira informações sobre seu teste A/B, como nome, período e informações do grupo experimental. Cada grupo de variante do experimento é mapeado para um grupo experimental criado para o experimento A/B. O primeiro grupo configurado no console é tratado como o controle de base.
Cada experimento tem uma guia Monitoramento que mostra métricas de divisão de tráfego que podem ajudar você a determinar se o teste A/B está configurado corretamente. Isso é importante para validar se um viés foi introduzido no teste A/B. Por exemplo, um problema típico a ser observado é se algumas consultas ou categorias são veiculadas por um grupo experimental, mas não por outros.
Cada experimento também tem uma guia Analytics, onde é possível conferir comparações de métricas comerciais importantes. Duas categorias de métricas de negócios estão incluídas:
- Métricas por pesquisa ou navegação, como cliques por pesquisa.
- Métricas por pesquisa ou por visita de navegação, como receita por visita de navegação.
Consulte a lista de métricas para ver uma lista completa.
Cada métrica de negócios fornece valores brutos, Lift relativo em comparação com o controle de base e um intervalo de confiança de 95%. É possível conferir métricas agregadas e por data.
A guia de monitoramento de tráfego mostra se ocorreram divisões de tráfego não intencionais e as datas em que elas aconteceram. Uma divisão de tráfego não intencional é determinada comparando a porcentagem real de divisão de tráfego com a porcentagem pretendida inserida ao configurar o monitoramento. A divisão de tráfego é considerada correta se a diferença relativa for igual ou menor que 10%. Por exemplo, se o tráfego for dividido igualmente entre dois grupos, uma divisão real de 45% a 55% estará dentro do intervalo pretendido.
Você pode usar o console para monitorar vários experimentos simultaneamente.
A data do experimento e as métricas segmentadas por data usam America/Los_Angeles como fuso horário e 0h (horário de Los Angeles) para datas de início e término.
É possível atualizar os detalhes do experimento no console, como datas de início e término, número de grupos de variantes, IDs de experimento e porcentagem de divisão de tráfego pretendida a qualquer momento, independente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados retroativamente.
O monitoramento e a análise dos experimentos A/B têm os seguintes requisitos/limitações:
O período máximo de dados de experimento que você pode acompanhar é de 180 dias. Se um experimento começou há mais de 180 dias, as métricas mais antigas não serão capturadas.
O monitoramento de tráfego por consulta ou por categoria retorna apenas as 100 principais consultas ou categorias que recebem mais tráfego de todas as variantes no experimento.
Antes de começar
Antes de configurar o monitoramento no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience para um experimento A/B:
Configure a ingestão de eventos do usuário para eventos veiculados pela sua implementação de pesquisa atual e pela Pesquisa em E-commerce com IA.
Confira as práticas recomendadas para experimentos A/B.
Configure o experimento usando uma plataforma de experimento de terceiros, como o Google Optimize ou o Optimizer.
Configure e anote o evento do usuário
experimentIdspara cada grupo de experimento. Ao configurar o monitoramento de experimentos, você precisa especificar os IDs de experimento para cada grupo de variante.
Adicionar um experimento no console
Use os procedimentos a seguir para adicionar um novo experimento a ser monitorado no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience:
Neste procedimento, você cria braços variantes no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience que correspondem aos grupos de experimentos criados na plataforma de experimentos de terceiros. Para ver exemplos de como os grupos de variantes podem ser mapeados para grupos de experimentos atuais, consulte Exemplos de configurações de experimentos.
Adicionar detalhes do experimento
Adicione um experimento no console e insira os detalhes dele.
Acesse a página Experimentos no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience.
Acessar a página "Experimentos"Clique em Adicionar experimento.
A página Novo experimento é aberta.
Insira um nome para o experimento.
Selecione as datas de início e término do experimento.
Se o tráfego do experimento estiver configurado para aumentar gradualmente, defina a data de início para quando o aumento for concluído e a divisão de tráfego estiver estabilizada.
Selecione o tipo de atividade que o experimento rastreia:
Navegação: navegação no seu site por categoria de página. A atividade de navegação é indicada por uma consulta vazia na resposta da pesquisa.
Pesquisa: pesquisas de consultas de texto no seu site.
Em seguida, crie grupos de variantes para seu experimento.
Adicionar variantes
Depois de adicionar os detalhes do experimento no console, crie grupos de variantes que correspondam a cada grupo de experimento.
A primeira variante que você configura é a de referência. Normalmente, o valor de referência representa sua solução atual.
Antes de começar, verifique se você tem o evento do usuário experimentIds para cada grupo de teste.
Clique em Adicionar grupo de variante.
O painel Criar grupo variante é aberto.
Insira o evento do usuário
experimentIdassociado à configuração do experimento que este grupo variante vai monitorar:Se você estiver configurando o primeiro braço de variante:insira o evento do usuário
experimentIdassociado ao grupo de controle que vai servir como seu valor de referência.Se você já configurou a variante de base: insira o evento do usuário
experimentIdassociado ao próximo grupo de experimento.
Insira um nome legível para este grupo de variantes.
Esse nome é exibido nos painéis de monitoramento no console.
(Opcional) Forneça uma descrição do grupo de variante.
Selecione um destino de tráfego de veiculação:
API Google AI Commerce Search: se esta variante monitorar o tráfego dos resultados da Pesquisa de comércio com IA.
Externo: se esse grupo de variantes monitora o tráfego para resultados de um serviço externo. Por exemplo, o grupo de variante de referência (ou controle) provavelmente representa um destino externo se o experimento estiver comparando o tráfego de um serviço atual com o tráfego da Pesquisa de comércio com IA.
Clique em Criar para concluir a criação desse braço de variante.
O grupo de variantes é exibido na página Novo experimento.
Repita as etapas anteriores para criar braços de variantes associados a cada grupo de experimento que você planeja monitorar.
Você precisa ter pelo menos um braço externo e um braço da API Vertex AI para Pesquisa para Varejo.
(Opcional) Por padrão, a porcentagem de tráfego pretendida é dividida igualmente entre todos os grupos de variantes. Para personalizar as porcentagens de tráfego desejadas:
Na seção Adicionar variantes, clique em um valor de porcentagem de tráfego na coluna %de tráfego.
O painel Porcentagem de tráfego é aberto.
No campo Distribuição de ponderação, selecione Porcentagens personalizadas.
Na coluna %de tráfego de cada grupo de variante, insira a porcentagem de tráfego pretendida.
A porcentagem total de tráfego em todos os grupos de variantes precisa ser de 100%.
Clique em Concluído.
O painel Porcentagem de tráfego será fechado.
Clique em Criar na página Novo experimento para concluir a criação do experimento.
O experimento é exibido na página Experimentos de integração.
Exemplos de configurações de experimentos
Esta seção apresenta dois exemplos de configurações de experimentos.
O exemplo 1 mostra um controle de base e um grupo de experimentos da Pesquisa de e-commerce com IA.
O exemplo 2 mostra a comparação de um controle de base com dois grupos de experimentos da Pesquisa de e-commerce com IA.
Exemplo 1: dois grupos de variante
Neste exemplo, suponha que você planeja configurar um experimento A/B com:
- 20% das solicitações de pesquisa enviadas a mecanismos de pesquisa internos como grupo de controle de referência
- 20% das solicitações de pesquisa enviadas à API Google AI Commerce Search como grupo experimental
- 60% como um grupo de controle que não está no teste A/B
A configuração da solicitação e do evento do usuário seria:
| Tipo de tráfego | Discovery Engine | event.experimentIds |
event.attributionToken |
Porcentagem do tráfego |
|---|---|---|---|---|
| Controlar o tráfego | Interno | CONTROL |
N/A | 20% |
| Tráfego do experimento | API Google AI Commerce Search | EXPERIMENT |
Token de atribuição da resposta da pesquisa | 20% |
| Tráfego de controle | Qualquer um / ambos | N/A | Depende do mecanismo de descoberta | 60% |
O tráfego de validação pode ser veiculado por um mecanismo de pesquisa interno, pela Pesquisa de comércio com IA ou por ambos. Como não fazem parte do teste A/B, eles não têm um ID de experimento. Para indicar quais eventos de usuário fazem parte do
teste A/B, forneça informações de experimentIds e attributionToken. Suas strings experimentId podem ser diferentes das fornecidas neste exemplo. Verifique se os IDs usados são consistentes entre seus experimentos e eventos do usuário.
Ao criar o experimento correspondente no console, você criaria apenas dois grupos de variantes, porque o grupo de validação não faz parte do experimento. A divisão de porcentagem de tráfego pretendida entre os dois grupos de variantes é de 50% / 50%.
Para configurar o monitoramento desse experimento de exemplo, crie grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROL | 50% |
| Exemplo de grupo experimental | API Google AI Commerce Search | EXPERIMENTO | 50% |
Exemplo 2: três grupos de variantes
Neste exemplo, suponha que você planeja realizar um experimento A/B nas consultas principais (consultas de alta frequência) e incluir a ativação e desativação de facetas dinâmicas. As configurações de solicitações e eventos do usuário seriam:
| Nome do grupo de variante | Destino do tráfego | event.experimentIds | event.attributionToken | Porcentagem do tráfego |
|---|---|---|---|---|
| Controle de consultas principais | Interno | CONTROL | N/A | 50% das consultas principais |
| Ativar atributos dinâmicos de consultas de cabeçalho no experimento | API Google AI Commerce Search | EXP_DF_ON | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Experimento para desativar atributos dinâmicos em consultas de cabeçalho | API Google AI Commerce Search | EXP_DF_OFF | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Consultas não principais e outras retenções | API Google AI Commerce Search | N/A | Depende do mecanismo usado | N/A |
Para configurar o monitoramento desse experimento de exemplo, crie grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROL | 50% |
| Exemplo de grupo experimental 1 | API Google AI Commerce Search | EXP_DF_ON | 25% |
| Exemplo de grupo experimental 2 | API Google AI Commerce Search | EXP_DF_OFF | 25% |
Métricas de tráfego
A página Monitoramento de um experimento mostra se há divisões de tráfego não intencionais para as seguintes métricas:
- Contagem de eventos de pesquisa/navegação por data
- Pesquisar/navegar pela contagem de visitantes por data
- Contagem de eventos de pesquisa/navegação por categoria
Quando ocorrem divisões de tráfego não intencionais para uma dessas métricas, o card na parte de cima da página Monitoramento mostra as datas em que a divisão de tráfego não intencional ocorreu. Clique em Divisões de tráfego não intencionais para ver uma tabela filtrável com as divisões de tráfego não intencionais dessa métrica.
As tabelas a seguir na página Monitoramento de um experimento comparam as métricas de tráfego entre os grupos de variantes de acordo com o uso. Clique em Ver mais ao lado do título de qualquer tabela para conferir uma tabela filtrável com todas as divisões de tráfego dessa métrica:
Contagem de eventos de pesquisa/navegação por data: o número total de pesquisas ou navegações que ocorreram em uma variante em uma determinada data.
Contagem de visitantes da pesquisa/navegação por data: o número de visitantes que fizeram consultas ou navegaram em um grupo variante em uma determinada data.
Contagem de eventos de pesquisa/navegação por categoria: o número total de vezes que uma determinada consulta ou categoria foi pesquisada em um grupo de variantes desde a data de início até a data de término do experimento (ou até hoje, se o experimento ainda estiver em andamento). Essa tabela mostra apenas as 100 principais consultas ou categorias em termos de tráfego total de todos os grupos de variantes no experimento.
Monitorar um experimento
A página Experimentos de integração mostra uma tabela com seus experimentos recentes.
Para monitorar um experimento:
Acesse a página Experimentos no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience.
Acessar a página "Experimentos"Clique no nome do experimento.
A página Monitoring do experimento é aberta.
Revise a página para verificar se há divisões de tráfego não intencionais.
Cada métrica mostra as datas em que ocorreram divisões de tráfego não intencionais.
Se você encontrar divisões de tráfego não intencionais, clique em Divisões de tráfego não intencionais para ver uma tabela filtrável com essas divisões para essa métrica.
Resolver divisões de tráfego não intencionais
O monitoramento de experimentos na Pesquisa de comércio com IA no console do Gemini Enterprise for Customer Experience pode ajudar a chamar sua atenção para possíveis problemas no experimento.
Se você encontrar divisões de tráfego não intencionais, verifique se os eventos estão marcados com o ID do experimento correto. Por exemplo, um evento pertencente a um grupo de controle marcado com o ID de experimento errado pode ser atribuído à variante incorreta.
Se a inclusão de tag de evento estiver funcionando corretamente, as divisões de tráfego não intencionais informadas pela Pesquisa de comércio com IA no console do Gemini Enterprise for Customer Experience poderão indicar problemas de divisão de tráfego na plataforma de experimentos. Nesse caso, pause o teste A/B antes de resolver o problema para que o experimento não produza resultados incorretos.
Métricas de negócios para análise
Dois grupos de métricas de negócios estão disponíveis:
- Métricas por pesquisa ou por navegação
- Por visita de pesquisa ou por visita de navegação
Métricas por visita de pesquisa
As definições de métricas por visita de pesquisa estão listadas aqui. As definições de métricas por visita de navegação são semelhantes às de métricas por visita de pesquisa, com todas as instâncias de "pesquisa" substituídas por "navegação".
Na taxa de ordem de compra, uma ordem pode incluir vários SKUs. Cada SKU pode ter uma quantidade maior ou igual a um.
-->| Nome da métrica | Definição |
|---|---|
| Contagem de visitas de pesquisa | Contagem de visitas que contêm pelo menos uma pesquisa. |
| Taxa de rejeição | Contagem de visitas de pesquisa que têm apenas um evento de usuário / contagem de visitas de pesquisa |
| Taxa de visualização de página | Contagem de cliques (visualizações de página) / contagem de visitas de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades adicionadas ao carrinho em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de ordem de compra | Contagem de pedidos de compra em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de receita | Soma da receita em visitas de pesquisa / contagem de visitas de pesquisa |
| Valor médio do pedido (VMP) | Soma da receita em visitas de pesquisa / contagem de pedidos de compra em visitas de pesquisa |
Métricas por pesquisa
As definições de métricas por pesquisa estão listadas aqui. As definições de métricas por navegação são semelhantes às de métricas por pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
| Nome da métrica | Definição |
|---|---|
| Número de pesquisas | Contagem de eventos de pesquisa |
| Taxa de "Nenhum resultado" | Contagem de eventos de pesquisa sem resultados / contagem de pesquisa |
| CTR (taxa de cliques) | Contagem de cliques gerados pela pesquisa (visualizações de página) / contagem de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades de adição ao carrinho geradas pela pesquisa / contagem de pesquisa |
| Taxa de compra | Contagem de unidades compradas por pesquisa / contagem de pesquisa |
| Taxa de receita | Soma da receita gerada pela pesquisa / contagem de pesquisa |
| Valor médio da unidade (VMU) | Soma da receita gerada pela pesquisa / contagem de unidades compradas geradas pela pesquisa |
Analisar a performance comercial do experimento
A guia Analytics de cada experimento mostra painéis de métricas de negócios. Os painéis mostram comparações de performance entre os grupos de variantes.
Há dois painéis de métricas:
- Métricas por visita de pesquisa e por visita de navegação
- Métricas por pesquisa e por navegação
As métricas de pesquisa ou de navegação são mostradas com base no atributo ProductType do experimento.
Cada painel mostra uma tabela de métricas de resumo com resultados agregados nas datas exibidas no filtro de período. Os valores de data padrão são as datas de início e término do experimento.
Cada métrica é mostrada como uma tabela de resultados agregados e um gráfico de valores diários que fornece informações mais detalhadas.
O período da tabela agregada usa as datas de início e término do experimento como valores padrão. Se o experimento estiver em andamento, a data de término será definida como a data atual. É possível modificar o filtro de período. Se userAgent for fornecido com eventos de usuário ingeridos, você também poderá dividir as métricas por tipo de dispositivo.
Clique no ícone Atualizar para aplicar os filtros modificados às métricas.
Quando o Lift relativo das métricas é positivo o suficiente para exceder a largura de banda do intervalo de confiança, uma cor de plano de fundo verde é mostrada para essa variante. Da mesma forma, se o Lift relativo for negativo o suficiente, uma cor de plano de fundo vermelha será mostrada para essa variante. Se o Lift relativo for menor que a largura do intervalo de confiança, uma cor de plano de fundo cinza vai indicar que o resultado não tem significância estatística.
Por exemplo, ao comparar um grupo de variante com um grupo de controle de referência:
- Se uma métrica Taxa de cliques por pesquisa for +3,0% e o intervalo de confiança, exibido como Lift CI, for [2,1%, 4,0%], o grupo de variante será destacado em verde para indicar que é uma variante de melhor performance para essa métrica em comparação com o controle de referência.
- Se uma métrica Taxa de receita por visita de navegação for -1,5% e o intervalo de confiança for [-2,6%, -0,4%], o grupo de variante será destacado em vermelho para indicar que tem uma performance pior nessa métrica em comparação com o controle de referência.
- Se uma métrica Valor médio da unidade por pesquisa for +1,0% e o intervalo de confiança for [-1,1%, 3,0%], o braço da variante será destacado em cinza para indicar que a diferença na performance ainda não tem significância estatística.
Em geral, quanto mais pontos de dados, menor é a variância. As métricas acumuladas ao longo de algumas semanas têm uma largura de banda de intervalo de confiança menor do que as métricas diárias e têm mais probabilidade de mostrar significância estatística.
Modificar detalhes do experimento
É possível atualizar os detalhes do experimento no console, como data de início e término, número de grupos de variantes, IDs de experimento e porcentagem de divisão de tráfego pretendida, a qualquer momento, independente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados retroativamente.
Para editar os detalhes do experimento:
Acesse a página Experimentos no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience.
Acessar a página "Experimentos"Na tabela com seus experimentos recentes, encontre aquele que você quer modificar.
Clique no ícone de três pontos Ações à direita da linha da tabela e clique em Editar.
A página Editar experimento é aberta.
Modifique os campos do experimento que você quer atualizar.
Clique em Update to save your changes.
Excluir um experimento do console
Para excluir um experimento do console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience:
Acesse a página Experimentos no console da Pesquisa de comércio com IA no Gemini Enterprise for Customer Experience.
Acessar a página "Experimentos"Na tabela com seus experimentos recentes, encontre aquele que você quer excluir.
Clique no ícone de três pontos Ações à direita da linha da tabela e clique em Excluir.
A janela de confirmação Excluir experimento? será aberta.
Digite o nome do experimento e clique em Confirmar para confirmar a exclusão.
Quando a exclusão for concluída, o console vai mostrar uma mensagem informando que o experimento foi excluído.