Sim, é muito pouco frequente mas pode acontecer; se o p-value da ANOVA for muito próximo do nível de significância, ou se a aplicabilidade do teste ANOVA estiver a ser, ou perto de ser, violada, pode realmente ocorrer o que descreves. Por isso, se o problema que está em causa for um problema real de investigação, deve tomar cuidado com as conclusões e procurar outros testes que permitam dissipar as dúvidas.