Como aumentar a memória JVM no Websphere Application Server:
Primeiro inicie o servidor e acesse o console administrativo, clique no menu Servidores > Servidores de Aplicativos > server1
Ao acessar server1 procurar no menu à direita Infra-Estrutura de Servidor > Java e Gerencimento de Processo > Definição de Processo
Agora estamos em Definição de Processo na parte direita existe alguns links acessar Java Virtual Machine
Em Java Virtual Machine procure os dois campos para aumentar a memória no carregamento do servidor (Tamanho do heap inicial e
Tamanho do heap máximo), mas cuidado ao aumentar caso aumente muito o servidor pode não iniciar mais. Pois supera a memória física da máquina.
Na imagem acima este servidor não aumentei a memória ainda, minha máquina tem 8GB de memória RAM então tenho de sobra. Normalmente no meu caso já aumentando a Heap inicial para 512 e Heap máximo 1024 dá um PLUS legal!
Para maiores detalhes sobre memória Heap JAVA consulte