Recentemente, houve uma série de relatos de que o GPT-4, o grande modelo de linguagem (LLM) da OpenAI, está piorando com o tempo. Esses relatos são baseados em uma variedade de observações, incluindo uma queda na precisão do modelo em uma variedade de tarefas, bem como uma tendência a gerar respostas menos criativas e informativas.
Um estudo recente forneceu algumas evidências empíricas para apoiar esses relatos. O estudo, realizado por pesquisadores das Universidades de Stanford e Berkeley, descobriu que a versão de junho do GPT-4 é objetivamente pior do que a versão lançada em março em algumas tarefas. Por exemplo, o GPT-4 de junho foi muito pior em identificar números primos, com apenas 12 respostas corretas em 500.
A OpenAI negou que o GPT-4 esteja piorando. A empresa disse que está constantemente atualizando o modelo e que não há nenhuma evidência de que a qualidade do modelo tenha diminuído. No entanto, o estudo de Stanford e Berkeley sugere que o OpenAI pode estar se concentrando em diferentes objetivos ao atualizar o modelo, como velocidade ou eficiência, em vez de precisão ou criatividade.
Independentemente da razão, é claro que há um problema com o GPT-4. O modelo não é mais tão confiável quanto costumava ser e não está gerando as mesmas respostas de alta qualidade que costumava gerar. Isso é uma preocupação significativa, pois o GPT-4 é um dos LLMs mais populares do mundo e é usado por uma variedade de empresas e organizações.
A OpenAI deve investigar imediatamente o problema com o GPT-4 e tomar medidas para corrigi-lo. A empresa também deve ser mais transparente sobre como está atualizando o modelo e quais são seus objetivos para o modelo. Os usuários do GPT-4 precisam poder confiar no modelo para gerar resultados precisos e criativos.
O que você acha que está acontecendo com o GPT-4?
Existem várias possibilidades sobre o que pode estar acontecendo com o GPT-4. Uma possibilidade é que o OpenAI esteja se concentrando em diferentes objetivos ao atualizar o modelo, como velocidade ou eficiência, em vez de precisão ou criatividade. Outra possibilidade é que o modelo esteja sendo sobrecarregado com o aumento do uso.
Também é possível que o OpenAI esteja simplesmente cometendo erros ao atualizar o modelo. O GPT-4 é um modelo complexo e é difícil garantir que ele funcione sempre corretamente. É possível que o OpenAI tenha feito algumas alterações no modelo que tiveram um efeito adverso no desempenho.
Seja qual for a razão, é claro que há um problema com o GPT-4. O modelo não é mais tão confiável quanto costumava ser e não está gerando as mesmas respostas de alta qualidade que costumava gerar. Isso é uma preocupação significativa, pois o GPT-4 é um dos LLMs mais populares do mundo e é usado por uma variedade de empresas e organizações.
A OpenAI deve investigar imediatamente o problema com o GPT-4 e tomar medidas para corrigi-lo. A empresa também deve ser mais transparente sobre como está atualizando o modelo e quais são seus objetivos para o modelo. Os usuários do GPT-4 precisam poder confiar no modelo para gerar resultados precisos e criativos.
Aqui está o papper original: 2307.09009.pdf (arxiv.org)