E considerada como um dos mais belos monumentos brasileiros do período colonial, o prédio foi construído entre 1782 e 1784 para servir como residência ao arrematante dos contratos dos dízimos e entradas João Rodrigues Macedo, que no ano de 1789 alugou a parte térrea para aquartelár-as tropas encarregadas de reprimir a Inconfidência Mineira, e para servir como prisão aos réus mais ilustres da conspiração, e em decorrência de sua insolvência perante o fisco, João Rodrigues de Macedo o seu casarão em 1803 foi transferido para a Junta da Real Fazenda e a Intendência do Ouro e passou a ser denominado como Casa do Contos.