A casa pertenceu a senhores de engenho e abrigou uma enorme senzala onde era feita a triagem de escravos para leilões. O prédio do século XIX já foi ocupado por um armazém e hoje é sede do Hotel Atlântico Búzios, que reformou o interior do prédio, mas manteve a fachada da antiga Casa do Sino.