Når Phillipus ønsket å besøke denne kilden, har det sammenheng med at den allerede på dette tidspunkt må ha hatt et rykte som helligkilde og har vært godt kjent. For Phillipus endte dette besøket ikke særlig godt, han døde her. Men hans besøk understreker at kilden var godt kjent og mye benyttet. Olavskilden på Løvøy hadde sin største kraft på St. Hansdagen, da strømmet det mennesker til kilden i håp om helbredelse. Denne dagen sammen med Maria besøkelsesdag, var de to største dagene ved Løvøykilden. Den hellige kilde på Løvøy omtales som et godt besøkt pilegrimsmål, noen har sagt Norges mest benyttede pilegrimsmål etter Nidaros.

Sannsynlig har det store antall besøkende vært grunnlaget for at det senere ble kirke på stedet. Ut fra den kjennskap vi har til stedets historie, tyder alt på at det ikke er noe mer spennende som ligger bak bygging av en kirke her, enn at noen storbønder og kirkens menn har hatt økonomiske motiv for å bygge et kirkebygg her. Kirken har ikke vært eget sogn eller hatt noen bosetning som skulle tilsi at det var behov for egen kirke. Nykirke kirke var menighetens sognekirke og er eldre enn Løvøykapellet.

Første gang vi hører om kirkebygget på Løvøy er i Biskop Eysteins jordebok i 1398. Vi antar at kirkebygget hadde stått der noen år allerede, ettersom den hadde fått sine gårdsparter flere steder i distriktet og i Tønsberg. Dersom vi tolker historien rett, var kapellet ikke bygget da biskop Nikolaus ble liggende værfast på Løvøy julen 1223. Beretningene forteller ikke noe om et kirkebygg på Løvøy. Det blir heller ikke nevnt noe om kirkebygget på Løvøy ved en kirkeinspeksjon året etter. Vi tar dette som et bevis for at kirkebygget er satt opp mellom disse to årstallene.

Selve kirkebygget har en irsk kirkeform som er kjent fra Orknøyene og Man, med skip og kor bygget sammen uten skillevegg. Også de sirkelrunde lysåpningene i gavlveggene er typiske kjennetegn for denne kirkeform. Av 1200-tallets opprinnelige kirkebygg er det gamle steinalteret fremdeles i bruk. Selve alterplaten har sin egen historie ettersom den kom til rette på Falkensten, bruk der den hadde gjort tjeneste som dørhelle i mange år. Den ble bragt tilbake til kirkebygget under restaureringen på midten av dette århundrede.

Som de fleste andre kirker spesielt i utkantstrøk og på holmer og skjær langs hele kysten har Løvøykapellet sine sagn knyttet til sin historie. Sagnene om Løvøy forteller at en hollandsk skipper i havsnød lover Gud å bygge en kirke på det stedet han strander etter stormen, dette skal han gjøre bare Gud hjelper ham og mannskapet ut av havsnøden. Det finnes flere varianter av disse sagnene, alle med det til felles at de knyttes opp mot sjøfolk i vanskeligheter og løfte om kirkebygging.

Kirkebygget er innviet til St. Hallvard og St. Martin. Den norske helgen St. Halvard har få slike tradisjoner i vårt distrikt, Hallvard er jo Oslos skytshelgen.

Kirkebygget har ikke vært i offisiell kirkelig bruk etter reformasjonen. Det kan virke som om kirkebygget på Løvøy etter reformasjonen blir forsøkt tiet i hjel av kirken. Ikke så rart ettersom den står for det mest synliggjørende i en katolske kirke, helgendyrkelse og helbredelsen ved St. Olavsbrønnen. Forfallet begynte etterhvert å sette sitt preg på området og spesielt hardt gikk det utover kirkebygget. Rundt 1720 er Anders Styhr eier av Falkensten. 

Gården som er nærmeste nabo til kirkebygget, er preget av forfall. Som de andre bøndene i omegnen tok Styhr materialer til denne restaureringen av gården fra Løvøykapellets ruin. Like etterpå ble gården herjet av brann, Styhr tok dette som et tegn fra Herren og besluttet å gjenreise kapellet. Han fikk ved reskript av 26. juli 1720 tillatelse til å sette kirken i stand. Men han rakk aldri å bli ferdig, han døde etter noen få år. Og forfallet tok til på nytt.

I 1882 ble ruinene fredet og i 1928 tok en komite med lærer Oskar Bertelsen i spissen, opp arbeidet med å få kirkebygget restaurert. Arkitekt Gerhard Fischer tok på seg oppgaven og arbeidet med restaureringen begynte. Et langvarig og vanskelig arbeid ble avsluttet med gjenåpning av kapellet for kirkelig bruk den 27. august 1950. Arbeidet med restaureringen er utført av den svenske murermester Lantz. I dag er det nesten umulig å se forskjell på arbeidene fra 1200-tallet og de Lantz utførte ved restaureringen.

Det meste av kirke-inventaret ble flyttet fra Løvøy og til Nykirke etter reformasjonen, en del er ødelagt og borte. Men på Marinemuseet finnes alterkalken og alterkannen, begge formet i bjørk, den første foret med sølv. Et bilde gitt i gave til kirkebygget i 1722 henger på Folkemuseet. Dette er en minnetavle som er gitt av skipper Ole Lorentsen fra Holmestrand. Bildet har sine motiver hentet fra sagnene om sjømenn i havsnød. Bildet ble gitt i takknemlighet fordi han selv ble reddet i havsnød.

I dag har kirken fått nytt inventar med en vakker døpefont i kleberstein laget av kunstneren Britt Bakken. Hennes mann, Hans Gerhard Sørensen, har tegnet prekestativet og alterringen. Den samme kunstneren har stått for utformingen av prekestolen. Løvøykapellet er i bruk det meste av året og har siden 1960 hatt eget menighetsråd.

Mot slutten av 50-tallet fikk Løvøykapellet sitt klokketårn. Kirkeverge Axel Andersen gikk i spissen for arbeidet, som også resulterte i nye kirkebenker, innlagt strøm og bedre isolasjon.