O próprio joomla faz isso, vá em configurações/site --> lá em configurações de SEO tem três opções. Coloque'sim nas das primeiras. Se o seu servidor for apache (o que é provável), vá no ftp e mude o arquivo "htaccess.txt" para ".htaccess" e pronto. Vc tem o que precisa. Caso vc encontre alguns problemas após fazer esse procedimento, vá no ".htaccess" e adicione a linha referente à versão do PHP que vc utiliza.
Qualquer dúvida me envia MP.
abraço
