Başyaverliğinin yanısıra çok zengin bir tüccar olan Yusuf Ziya Paşa, Rumelihisarı’na masallardaki şatolara benzer bir köşk yaptırmak istemiş. Söylentiye göre o kadar kıskançmış ki güzel karısını kimsenin görmesini istemiyormuş. Bu köşk aynı zamanda eşinin güzelliğine yakışır derecede olmalıymış. 1910’da başlayan inşaat I. Dünya Savaşı’nın patlak vermesi ve Yusuf Ziya Paşa’nın ekonomik sıkıntıya düşmesinden dolayı bitirilememiş. Eşi de ona ihanet edince kalbi kırılmış ve köşkün tamamlanmasını hiç istememiş.

Yıllar boyunca köşkün çevresinde yaşayan insanlar köşkün boş katlarında geceleri uzun saçlı genç bir kadının gezindiğini belirtmişler. 1990’lı yıllarda ise köşkün inşaatında çalışan işçiler aynalarda eski elbiselere bürünmüş bir kadın hayaleti gördüklerini, hatta piyano çaldığını işittiklerini iddia etmişler. Şimdilerde ise müze olarak kullanılıyor ve hâlâ perili köşk olarak anılmakta.