Da Villa Pliniana sono passati negli anni numerosi personaggi famosi, tra cui Liszt, Puccini, Stendhal, Shelley e George Gordon Byron.
Ma sicuramente il più discusso è il Conte di Belgiojoso, uno dei proprietari di Villa Pliniana. Il conte si trasferì temporaneamente a Parigi con la moglie per sfuggire alle persecuzioni degli austriaci a causa delle idee politiche controcorrente.
Qui conobbe la principessa Anne Berhtier con la quale iniziò una relazione clandestina. Il conte la portò con sè in Italia causando grande scandalo. Infatti nella fuga d’amore Anne abbandonò la figlia di pochi mesi e il marito.
Si dice che a Villa Pliniana il conte e la sua amante fossero talmente dediti al reciproco piacere da doversi buttare nel lago per lenire la febbre d’amore.
Il fantasma altro non era che la sagoma degli amanti avvolti in un lenzuolo che si tuffavano nel lago ogni notte. Ma qualunque fosse la verità, il mistero continuava ad aleggiare sulla villa.