Die imposanteste architektonische Sehenswürdigkeit des Ortes, einzigartig in der Adriaregion, ist die Kirche der Hl. Maria der Barmherzigkeit. Die Festungskirche wurde 1575 nach dem türkischen Angriff unter der Führung des türkischen Herzogs Uluč-Alija im Jahr 1571, der Vrboska sowie den größten Teil der Insel plünderte und niederbrannte, erweitert und befestigt. Fort Kaštilac stammt aus derselben Zeit und diente als Wachposten.
Die Festungskirche wurde auf Kosten der Einheimischen zur Verteidigung gegen die Türken befestigt. Es ist das schönste in Kroatien und gehört zu den schönsten in Europa aus dieser Zeit. Die Kirche beherbergte einige beeindruckende Renaissance-Kunstwerke, die vorübergehend in der Pfarrkirche St. Lovre untergebracht wurden.
