Acho que não cara, derrepente o arquivo ficou corrompido, eu tenho o 3.8.2 no server 2008 R2 assim como você, mas eu estou usando memoria ate 1.5GB, se quer testar colocando o meu arquivo, segue link para download:
https://www.dropbox.com/s/ct5vj2oli3r7l75/openfire-service.vmoptions
Outra duvida, você usa o Openfire como serviço do Windows, me parece que eu tive problemas em editar o arquivo, depois que usei como serviço, sempre funcionou corretamente.