Das von der Belfast Charitable Society erbaute Haus wurde bis zu den 1880er Jahren als Belfasts Armenhaus genutzt. Mit seinem herrschaftlichen Aussehen und seiner friedlichen Atmosphäre würde Clifton House seinen damaligen Bewohnern heute gewiss eine weitaus bessere Unterkunft bieten als sie es früher gewohnt waren, denn seit jenen Tagen ist das Gebäude einer Reihe von Renovierungsmaßnahmen unterzogen worden.

Während seiner Zeit als Armenhaus bot Clifton House den ärmsten Einwohnern Belfasts Schutz und Verpflegung. Den dort lebenden Kindern wurden wertvolle Fähigkeiten in Handwerken wie Spinnen und Weben beigebracht, die sich zu wichtigen Wirtschaftszweigen der Stadt entwickelten. Zwei der Gründer von Clifton House waren Zeitungsredakteure und nutzten ihre Tätigkeit, um über die guten Taten des Hauses zu berichten. Einer ihrer Neffen, Henry Joy McCracken, wurde jedoch für seine Beteiligung an der Irischen Rebellion im Jahr 1798 gehängt und auf dem Clifton Street Graveyard begraben. Dies führte dazu, dass die nebenan stationierte Armee aufgrund der Verbindung des Hauses mit der Rebellion auf die Räumung von Clifton House drängte.

Heute wird Clifton House teils zu Wohnzwecken und teils als Konferenz- und Veranstaltungszentrum genutzt, in dem das ganze Jahr über verschiedene Veranstaltungen stattfinden. Unterhalb der markanten weißen Spitze, die das Dach des Gebäudes ziert, ist ein Informationszentrum untergebracht.

Das in der Nähe der A12 gelegene Clifton House befindet sich im Herzen von Belfast in der Clifton Street und gehört zu den wichtigsten Sehenswürdigkeiten der Stadt.