Olá,
O JavaFx não possui internal frames, nesse caso você teria 3 opções para implementar essa funcionalidade no seu aplicativo:
Opção 1 - Utilizar o Swing embutido no JavaFX
Nesse caso você usaria o swingnode que é um componente do javaFX que permite que você adicione componentes swing dentro dele (como um JPanel). A idéia é a seguinte:
-> Crie a janela principal da sua aplicação e coloque um swingnode ao centro, como se fosse um JDesktopPane (e será).
-> Adicione um JDesktopPane nesse swingnode
-> Crie suas telas estendendo de JInternalFrame e como contentpane use um JFxPanel, isso lhe permitirá adicionar componenetes do JavaFX dentro do internal frame
-> Chame seu internalframe dentro do JDesktopPane
Criei uma gist com um exemplo aqui.
Opção 2 - utilizar bibliotecas de terceiros
Já existem bibliotecas que implementam essa função, posso citar duas:
Opção 1
Opção 2
Opção 3 - crie você mesmo
Essa opção apesar de ser a mais difícil é a que lhe permite maior controle e personalização, recentemente implementei uma internal frame para um sistema no qual trabalhei, não posso postar o fonte, mas posso mostrar o resultado:
As opções são essas, mas se tem experiência com swing e precisa fazer rápido sugiro a primeira opção, se tiver tempo e experiência com o fx sugiro a última opção. 