El edificio McDermott se construyó en 1883 para albergar un bar, un restaurante y una pensión. El restaurante se llamaba «Mulberry House». Patrick McDermott compró el terreno a William Coleman, un agente inmobiliario y promotor de San Rafael que tuvo su oficina en esta esquina desde 1870 hasta 1883. 

La familia McDermott vivió en la segunda planta del edificio hasta 1939. Un incendio en 1966 dañó la parte trasera del edificio, lo que provocó su demolición. La tienda de golosinas Phillips ocupó parte de la planta baja en la década de 1940 y, en 1951, se remodeló y abrió sus puertas como Deaver's Coffee Shop. Tras 25 años, en 1976, el local cambió de manos y se convirtió en Le Croissant. El edificio fue declarado monumento histórico de la ciudad en 1984, y el exterior de la segunda planta conserva la mayoría de sus características arquitectónicas de estilo italiano, incluyendo ventanas de arco redondo y frontones salientes con ménsulas curvas sobre cada ventana. Los anillos metálicos de la acera son vestigios de la época en que la gente ataba sus caballos frente al edificio. 

Este edificio es único en San Rafael por haber permanecido prácticamente igual que cuando se construyó en 1883.