Chiunque abbia passato del tempo a Portonovo ha visitato la Chiesa di Santa Maria, forse non tutti sanno però che la costruzione avvenne grazie alla volontà di 4 Re, i quail vivevano all'interno di un Castello del Poggio.
La leggenda narra che i quattro sovrani vinsero una battaglia contro dei pirati, grazie all'aiuto della Madonna e degli Angeli, al fine di ringraziare la Santissima Vergine, donarono un appezzamento di terreno ad alcuni Monaci. Questi ultimi, si occuparono di erigere la Chiesa, i Re chiesero ai Monaci di sottoscrivere un patto, il quale richiedeva l'aiuto dei religiosi in caso di nuovi attacchi.
Dopo un lungo periodo di pace e proseperità, i Monaci originari lasciarono il posto ad altri, avidi, violenti e prepotenti. Si narra persino che infastidissero con inopportune avances i giovani che si recavano in preghiera. Quando venne il momento di aiutare i cittadini poggesi come richiesto dall'antico patto, i religiosi rimasero nelle loro case, infrangendo il giuramento stipulato con i quattro Re.
Un giorno, un forte boato si udì in tutta la zona, enormi massi si staccarono dal Monte, i quali ricaddero sopra le case dei Monaci, seppellendole. La Chiesa invece, si salvò miracolosamente, spostandosi di molti metri, tanto da arrivare vicino al ciglio del mare, proprio dove si trova ora.