Dans Internet Explorer :
Dans Outils > Options internet > Avancé > rubrique "Navigation" : cocher "Activer l'affichage des dossiers sur les sites FTP (en dehors d'Internet Explorer)"

Ensuite il faut ouvrir le raccourci dans Explorer en faisant : Affichage > Ouvrir le site FTP dans l'Explorateur Windows.

Puis recréer le raccourci, qui s'ouvrira à présent toujours dans Explorer.