Descobri a solução e vou deixar registrado aqui, caso alguém precise.
Na administração do Virtuemart, na edição dos produtos, existe um campo chamado "Grupo de Compradores". Removi a opção "default". Desta forma, todos visitantes do site, independente se estão logados ou não, conseguem ter acesso à loja Virtual.