Simplesmente trocar de base de dados não é uma solução “mágica” para ter um desempenho melhor. A maior parte dos problemas de desempenho são devido à estrutura da base (normalização, índices, etc).
Quais limitações? É um argumento vago, todo sistema de banco de dados tem limitações, não dá pra concluir muito só com isso.
Quão grande é esse volume? Mil registros por minuto? 100 mil? 1 milhão por dia? 1 milhão por minuto? É preciso mais informações pra tomar uma decisão.
A empresa está se oferecendo pra trocar o banco ou vocês estão fazendo isso por conta? Se eles mesmos estão cientes das limitações, que opções eles oferecem? Pois me parece algo que eles mesmos deveriam analisar e oferecer soluções.
Além disso, quão perceptível é a lentidão? Isso afeta as inclusões ou só consultas/relatórios? Está realmente atrapalhando a operação ou é só algo que vocês querem que seja mais rápido? Pois, num sistema de vendas, se as inclusões são rápidas (ou seja, não atrapalha o processo de vendas), algumas consultas serem lentas não chega a ser crítico (dentro do razoável é claro, uma consulta de vendas do dia demorar 1 a 2 minutos é mais aceitável que demorar 1 hora).
Qual o hardware sob o qual esse banco está rodando (tanto servidor quanto rede)? É possível fazer upgrade de hardware? Pois é algo que você precisa considerar além de simplesmente trocar o banco de dados.
Sobre a sua dúvida em si, 2 alternativas sem custo de licença são o MySQL/MariaDB e o PostgreSQL. Há outras opções, mas esses dois costumam ser mais fáceis de aplicar, por serem mais conhecidas e com maior suporte da comunidade.
Abraço.