Qual a diferença entre usar um banco de dados no docker ou no sistema operacional?

No docker eh como se fosse uma “mini máquina virtual”.

Containers são efêmeros em sua maioria, então precisa ter cuidado pra não sobrescrever o banco de dados quando houver uma atualização. Bancos de dados dentro de containers precisam de cuidados extras por causa disso.
Contâiner docker não são indicados para banco de dados, pois banco de dados não são efêmeros e sua atualização raramente faz parte de uma integração contínua (CICD pipeline), mas eu uso mesmo assim para orquestração e economia na conta do meu provedor de cloud.

você parece entender de docker. Poderia me tirar umas dúvidas? Instalei o mongodb via docker e estou tentando usar ele com java spring, mas não ta dando certo

Posso tentar, mas por favor observe o segundo parágrafo desse post: Dica para iniciantes em geral