As perguntas sobre a metodologia usada pelo Pew Research Center sugerem que suas conclusões sobre os resumos de IA do Google podem ser falhas. Fatos sobre como os resumos de IA são criados, o tamanho da amostra e a confiabilidade estatística desafiam a validade dos resultados.

Declaração oficial do Google

Um porta -voz do Google entrou em contato com uma declaração oficial e uma discussão sobre por que as descobertas da pesquisa da PEW não refletem padrões reais de interação do usuário relacionados aos resumos de IA e pesquisa padrão.

Os principais pontos da refutação do Google são:

• Os usuários estão cada vez mais procurando recursos de IA
• Eles estão fazendo mais perguntas
• As tendências de uso da IA estão aumentando a visibilidade dos criadores de conteúdo.
• A pesquisa PEW usou metodologia falha.

Google compartilhado:

“As pessoas estão gravitando para experiências movidas a IA, e os recursos de IA na pesquisa permitem que as pessoas façam ainda mais perguntas, criando novas oportunidades para as pessoas se conectarem com sites.

Este estudo utiliza uma metodologia defeituosa e uma consulta distorcida que não é representativa do tráfego de pesquisa. Dirigimos consistentemente bilhões de cliques para sites diariamente e não observamos quedas significativas no tráfego agregado da Web, como está sendo sugerido. ”

O tamanho da amostra é muito baixo

Eu discuti a pesquisa de Pew com Duane Forrester (anteriormente de Bing, Perfil do LinkedIn) e ele sugeriu que o tamanho da amostra da pesquisa era muito baixo para ser significativo (mais de 900 adultos e 66.000 consultas de pesquisa). Duane compartilhou a seguinte opinião:

“Das quase 500 bilhões de consultas por mês no Google e estão extraindo informações com base no tamanho da amostra de 0,0000134% (mais de 66.000 consultas), essa é uma amostra muito pequena.

Não sugerindo que 66.000 de algo seja inconseqüente, mas levados no contexto do volume de perguntas que acontecem em um determinado mês, dia, hora ou minuto, tecnicamente não é um erro de arredondamento e, se fosse meu estudo, eu teria que chamar o quão excessivamente baixo o tamanho da amostra e que não pode representar realisticamente o mundo real. ”

Quão confiáveis são as estatísticas do Pew Center?

A página de metodologia para as estatísticas usadas listam quão confiáveis são as estatísticas para as seguintes faixas etárias:

• Idades 18-29 foram classificados em mais/menos 13,7 pontos percentuais. Isso é considerado um baixo nível de confiabilidade.
• As idades de 30 a 49 anos foram classificadas em mais/menos de 7,9 pontos percentuais. Isso ocupa a posição moderada, um tanto confiável, mas ainda uma faixa bastante ampla.
• As idades de 50 a 64 foram classificadas em mais/menos 8,9 pontos percentuais. Isso é um nível de confiabilidade moderado a baixo.
• A idade de mais de 65 anos foi classificada em mais de 10,2 pontos percentuais de 10,2, o que está firmemente na baixa faixa de confiabilidade.

As pontuações de confiabilidade acima são da Pew Researchs Página de metodologia. No geral, todos esses resultados têm uma alta margem de erro, tornando -os estatisticamente não confiáveis. Na melhor das hipóteses, eles devem ser vistos como estimativas difíceis, embora, como Duane diz, o tamanho da amostra seja tão baixo que é difícil justificá-lo como refletindo os resultados do mundo real.

Os resultados da pesquisa da PEW comparam os resultados em diferentes meses

Depois de pensar sobre isso da noite para o dia e revisar a metodologia, um aspecto da metodologia de pesquisa da PEW que se destacou é que eles compararam as consultas de pesquisa reais dos usuários durante o mês de março com as mesmas perguntas que os pesquisadores realizaram em uma semana em abril.

Isso é problemático porque os resumos da IA do Google mudam de mês para mês. Por exemplo, os tipos de consultas que desencadeiam uma visão geral da IA mudam, com o AIOS se tornando mais proeminente para certos nichos e menos para outros tópicos. Além disso, as tendências do usuário podem impactar o que é pesquisado, no qual por si só pode desencadear uma atualização temporária de frescura para os algoritmos de pesquisa que priorizam vídeos e notícias.

O take -away é que comparar os resultados da pesquisa de diferentes meses é problemático para a pesquisa padrão e os resumos de IA.

A pesquisa da Pew ignora que os resultados de pesquisa da IA são dinâmicos

Com relação às visões gerais e resumos da IA, essas são ainda mais dinâmicas, sujeitas a alterações não apenas para todos os usuários, mas para o mesmo usuário.

Procurando uma consulta em visão geral da IA e repetir a consulta em um navegador totalmente diferente resultará em um resumo diferente da IA e no conjunto de links completamente diferente.

O ponto é que a metodologia do Pew Research Center, onde compara as consultas do usuário com consultas raspadas, um mês depois, são falhas porque os dois conjuntos de consultas e resultados não podem ser comparados, cada um é inerentemente diferente por causa do tempo, atualizações e a natureza dinâmica dos resumos de IA.

As capturas de tela a seguir são os links mostrados para a consulta, Qual é o treinamento do RLHF em OpenAI?

Google AIO via navegador Vivaldi

Google Aio via Chrome Canary Navegador

Não apenas os links do lado direito são diferentes, o conteúdo resumido da IA e os links incorporados nesse conteúdo também são diferentes.

Poderia ser por isso que os editores veem tráfego inconsistente?

Editores e SEOs são usados para posições estáticas de classificação nos resultados de pesquisa de uma determinada consulta de pesquisa. Mas as visões gerais da AI do Google e o modo AI mostram resultados de pesquisa dinâmica. O conteúdo nos resultados da pesquisa e os links mostrados são dinâmicos, mostrando uma ampla gama de sites nas três principais posições para exatamente as mesmas consultas. SEOs e editores pediram ao Google para mostrar uma gama mais ampla de sites e, aparentemente, é o que os recursos da IA do Google estão fazendo. É um caso de ter cuidado com o que você deseja?

Imagem em destaque de Shutterstock/Stokkete