Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as séries, tornando os universos não comparáveis. Analisa-se com detalhes o caso do Brasil e mostra-se que os universos de 2000 e 2009 não são comparáveis. Analisa-se também alguns outros países, entre eles Luxemburgo e Chile, que, juntos com o Brasil, foram destacados como tendo a maior evolução de desempenho desde 2000. Em Luxemburgo, não houve melhoria de desempenho de 2003 para 2009 e é preciso investigar porque os resultados de 2000 e 2003 são tão diferentes. O Chile apresenta melhoria de desempenho, mas provavelmente não tão grande quanto o apontado.

In this paper it is shown a comparability problem in Pisa results of some countries among years and among countries. This problem occurs because the school age of each country is not considered and because there is no rule for the application date of the test in relation to the school year of each country. The case of Brazil is analyzed with detail. There are analysis of some other countries too, among them Luxembourg and Chile, that together with Brazil, were pointed out as having the biggest evolution in performance since 2000. It is shown that this evolution of performance may not be real.