Destacar item selecionado em uma recycler view

Olá pessoal
Estou com dificuldade para destacar o item selecionado da minha lista. Tenho uma lista que ao clicar nos itens ele abre um fragment como algumas opçoes para o usuário, Consegui mudar a cor de backgrous do item quando seleciono com o clique mas quando fecho o fragment e eu volto para a activity o item ainda está selecionado e consigo selecionar outro item sem que o outro item volte a cor de fundo padrão. gostaria de saber como faço para que quando voltar para activity o item que selecionei não esteja mais selecionado e para que somente um item da lista esteja selecionado por vez.