De naam van dit woonhuis aan de Keizergracht verwijst naar de zes stenen koppen aan de gevel. Vanaf 1634 bewoonde de bijzonder rijke bankier en wapenhandelaar Louis de Geer het pand. In die tijd logeerden hier regelmatig dissidente vrijdenkers. Het Huis met de Hoofden staat in de top 100 van Nederlandse UNESCO-monumenten.
De fortuinlijke kousenhandelaar en kunstliefhebber Nicolaas Sohier gaf hoogstwaarschijnlijk Hendrick de Keyser de opdracht het rijkversierde woonhuis te ontwerpen. Onder de leiding van zijn zoon Pieter de Keyser is het pand naar alle waarschijnlijkheid gebouwd. Sohier had twee extra brede, naast elkaar gelegen kavels gekocht en beschikte ook over een deel van het achterliggende erf aan de Herengracht.
Huis met zijhuis
De gevel en de indeling van de woning lijken veel op die van Huis Bartolotti (Herengracht 170-172), dat eigendom was van Sohiers zwager Jan Baptista Bartolotti. Het Huis met de Hoofden is een van de weinige bewaard gebleven voorbeelden van een vroeg zeventiende-eeuws huis met zijhuis, de voorloper van het dubbele woonhuis. Rechts van het huis is nog steeds een poortje zichtbaar dat naar het koetshuis leidde. Boven het poortje was de kamer van de koetsier.
De hoofden
De zes koppen hebben aanleiding gegeven tot het ontstaan van een Amsterdamse legende. Volgens deze legende zou de dienstmeid van het huis, in afwezigheid van de heer des huizes, zes binnengedrongen inbrekers de koppen hebben afgehakt (lees het bijgevoegde verhaal over de rovers).
De borstbeelden aan de gevel beelden in werkelijkheid de hoofden uit van zes goden: Apollo met laurierkrans (verwijzend naar de kunsten), Ceres met korenaren (landbouw), Mercurius met helm (handel), Minerva (wijsheid), Bacchus met druiventrossen (wijn) en Diana met de halve maan (jacht). Deze beelden werden in opdracht van de tweede bewoner, Louis de Geer, aangebracht. Met de plaatsing van Mercurius en Minerva – links en rechts van de hoofdingang – identificeerde De Geer zich met zowel de handel als de wijsheid.
Louis de Geer
Wapenhandelaar en bankier Louis de Geer is de bekendste eigenaar van het Huis met de Hoofden. Hij kocht het pand in 1634 en overleed er in 1652. Louis de Geer speelde een belangrijke rol in de ontwikkeling van de Zweedse ijzerertsproductie en de export van aanverwante producten. Ook steunde hij koning Gustav II Adolf met geld en materieel tijdens de Dertigjarige Oorlog (1618-1648) en de oorlog tegen Denemarken. Het borstbeeld van de Zweedse koning in het voorhuis houdt deze herinnering levend. In het Huis met de Hoofden nodigde De Geer diverse vrijdenkers uit die in deze periode in het relatief tolerante Amsterdam verbleven.
Jan Comenius
In zijn testament bepaalde Louis de Geer dat het Huis met de Hoofden in de familie moest blijven. Zijn zoon Laurens bood de gevluchte Tsjechische filosoof en pedagoog Jan Amos Comenius hier onderdak. Later zou Comenius zelf een pand aan de Prinsengracht bewonen. Nadat vier generaties De Geer het Huis met de Hoofden hadden bewoond, kwam het pand in handen van een Zweedse achterneef. In 1779 verkocht diens zoon het huis op zijn beurt aan iemand van buiten de familie.
Tussen 1811 en 1865 was hier kunsthandel De Roos gevestigd. Daarna kwam er in het pand een HBS en een Openbare Handelsschool. In de eerste helft van de twintigste eeuw werd het gebouw gebruikt door het Conservatorium van Amsterdam. Ook heeft het pand dienst gedaan als kantoor van het gemeentelijk Bureau Monumentenzorg. Tegenwoordig is het huis in het bezit van een particuliere kunsthandelaar.
