Helt tilbake til 1100-tallet har Oslos biskoper holdt hus i dette området. Dagens bispegård er bygget på restene av Olavsklosteret, et dominikansk kloster som trolig ble grunnlagt i 1239. Frants Berg var den første biskopen som flyttet inn der i 1554. Bygningen ble utbedret og bygget om i 1623, og så i 1860 ble det bestemt at den skulle rives på grunn av stort forfall.
I 1882 vedtok imidlertid Stortinget at bispegårdens middelalderdel skulle bevares. I 1883-84 ble den nye bispegården oppført på ruinene til Olavs-klosteret. Det er i dag tre rom i kjelleren som er bevart fra det gamle klosteret. Ett av dem ble i 1968 omgjort til et kapell for bispegården. Her er det spor av veggutsmykningen fra 1200-tallet i taket.
Fram til midten av 1980-tallet ble huset brukt som privatbolig for Oslo biskop. Siden 1986 har administrasjonen til biskopen og bispedømmerådet hatt sine kontorer og representasjonslokaler der. Hele bygningen ble pusset opp innvendig i 1999-2000, og mange av rommene fikk da tilbake sine opprinnelige farger.
Biskoper som har vært knyttet til Oslo bispedømme:
1541-1545 Hans Rev
1545-1548 Anders Madssøn
1548-1580 Frants Berg
1580-1600 Jens Nilssøn
1601-1607 Anders Bendssøn Dall
1607-1617 Niels Senning
1617-1639 Niels Simensen Glostrup
1639-1646 Oluf Boesen
1646-1664 Hennings Stockfleth
1664-1699 Hans Rosing
1699-1712 Hans Munch
1713-1730 Bartholomæus Deichman
1731-1737 Peder Hersleb
1738-1758 Niels Dorph
1758-1773 Fredrik Nannestad
1773-1804 Christian Schmidt
1805-1822 Fredrik Julius Bech
1823-1845 Christian Sørensen
1846-1874 Jens Lauritz Arup
1875-1893 Carl Peter Parelius Essendrop
1893-1896 Fredrik Wilhelm Klumpp Bugge
1896-1912 Anton Christian Bang
1912-1922 Jens Frølich Tandberg
1922-1937 Johan Lunde
1937-1951 Eivind Josef Berggrav
1951-1968 Johannes Smemo
1968-1973 Fridtjov Søiland Birkeli
1973-1977 Kaare Støylen
1977-1998 Andreas Aarflot
1998-2005 Gunnar Stålsett
2005-2017 Ole Christian Mælen Kvarme
2017- Kari Veiteberg
Foto: Oslo bispegård