Helsinkiläisten makumaailma mullistui, kun 25-vuotias Karl Fazer avasi ranskalais-venäläisen konditorian Helsingin Kluuvikadulle 17.9.1891. Tuotevalikoima sisälsi erilaisia leivonnaisia ja mm. jäätelöä, joka oli tuohon aikaan todellinen erikoisherkku. Kluuvikadulla sijaitseva kahvila oli pitkään ainoa ravintola Fazer-konsernissa. 1930-luvulla otettiin seuraava merkittävä askel ravintolatoiminnan saralla. Tuolloin vuokrattiin Helsingin Munkkiniemestä suosittu Cafe Fiskartorpet, Kalastajatorppa, joka oli saanut nimensä paikalla sijainneen kalastajatorpan mukaan. 

Vuonna 1935 kahvila ostettiin ja samalla ryhdyttiin suunnittelemaan uutta rakennusta. Siirtomaasali ja Kalastajatorpan symboli, Pyöreä Sali valmistuivat vuonna 1939 ja heinäkuussa uusi Kalastajatorppa avattiin yleisölle. Terasseineen se pystyi palvelemaan kerrallaan 2000 asiakasta ja Kalastajatorppa oli Pohjoismaiden suurin ravintola.

Kalastajatorppa liittyy myös Fazerin ja Tove Janssonin yhteistyön alkamiseen. Ensimmäinen maininta Tove Janssonin ja Fazerin yhteistyöstä löytyy vuodelta 1937, jolloin Jansson on muistiinpanojensa mukaan tehnyt ”koristeen Munkkiniemen Fazerille”. Kyseessä oli hotelli Kalastajatorppa, jossa perimätiedon mukaan Jansson asui yhden kesän. Koska uransa alkuvaiheessa hänellä ei ollut aina varaa vuokraan, hän maksoi asumisestaan maalauksilla. Kalastajatorpalla on edelleen Janssonin maalauksia sekä yhdessä huoneessa Tove Janssonin maalaama tapetti.

Sodan syttyessä 1939 Kalastajatorpasta tuli Mannerheimin ehdotuksesta sotasairaala. Jatkosodassakin rakennus oli puolustusvoimien käytössä. Sotien jälkeen ravintolatoiminta jatkui ja Kalastajatorppa menestyi. Vuonna 1952 Kalastajatorppa myytiin Yhtyneille Ravintoloille.