El edificio más antiguo que aún se conserva en Fourth Street, el Marin Hotel, fue construido en 1859 con mano de obra de los presos de la cercana prisión de San Quentin. Fue el primer edificio de ladrillo de San Rafael, construido con ladrillos de la cantera de la prisión. Se convirtió en el hotel más prestigioso de la ciudad. 

El 26 de mayo de 1861, el hotel fue la residencia del asambleísta estatal Charles Percy y su rival político Daniel Showalter. En Fairfax, participaron en un duelo para resolver su disputa sobre la secesión del Sur en la Guerra Civil. Piercy recibió un disparo en la cabeza y murió, y el Marin Journal informó de la «gran cantidad de exmiembros de la Legislatura que acudieron para deshonrar al condado de Marin al consentir un duelo». 

En 1871, el balcón del hotel se derrumbó durante un desfile del Día de San Rafael, haciendo caer a una banda de música sobre la dura acera, lo que causó heridas a varios miembros de la banda y espectadores.

El hotel se vendió en 1876 y pasó a llamarse The Central Hotel. Se renovó por completo y presumía de «todas las comodidades y el alojamiento que se pueden desear... cuenta con gas, agua y baños».