Mostrar erros de Servlet com JOptionPane ?! Colega, antes de mais nada, você precisa entender que uma aplicação Web tem um lado cliente e um lado servidor, como eles se comunicam (HTTP) e quais tecnologias podem ser usadas no cliente (HTML, Javascript, CSS, Flash, Flex, Applets, JavaFX, etc.) e quais são usadas no lado servidor (PHP, Servlets, Ruby, Python, etc.). Resumindo, usar JOptionPane para mostrar erros do Servlet funciona no desenvolvimento, pois você tem a interface e o servidor na mesma máquina. Para o usuário, ele ficará vendo a página travada enquanto a thread espera o admnistrador clicar no OK.
Com relação à sua dúvida específica, você pode escrever uma JSP que contenha o Javascript do alert, concatenando a mensagem de erro na chamada do métod alert. Daí você configura sua JSP como sua error page, lá no web.xml. Ou então, você pode simplesmente printar o HTML + JS com o erro no PrintWriter da response.
Bom, usar Window.alert em termos de design é horrível. Na boa, isso só serve para debugar o Javascript porque a janela é feia demais. Seu site fica com cara de amador. A melhor opção é você ou voltar para a página de login incluindo a mensagem de erro ou então direcionar para uma págia exclusiva para exibir erros, mas que tenha o layout em harmonia com o resto do site/aplicação.