Po zakoupení Kyselky započal Heinrich Mattoni kromě výstavby stáčírny minerální vody s budováním lázeňského areálu včetně lázeňských domů. Lázeňský areál se rozkládal původně v údolí Lomnického potoka, lázeňské domy vyrostly u cesty od Vodoléčebného ústavu k Velké kolonádě pod Ottovým pramenem. Hlavní část souboru lázeňských domů byla řešena v hloubkové ose s dalekými průhledy podél řeky. Cesta byla přeměněna v nábřežní promenádu na způsob bulváru, jako v Karlových Varech či Bad Ems.
Nejprve byla mezi lety 1873–1875 postavena budova zasilatelství minerální vody, zvaná Jindřichův dvůr. V letech 1890-1893 byl objekt postupně architektonicky upraven vídeňským architektem Karlem Haybäckem do současné podoby.
V jeho sousedství vyrostl mezi lety 1874-1875 Švýcarský dvůr, pro ubytování lázeňských hostů. Vzorem pro hrázděné konstrukce s velkými ondřejskými kříži byly frankofonní oblasti Švýcarska. V roce 1888 byla provedena celková přestavba objektu s rozšířením velké lodžie.
Po boku Švýcarského dvora byla roku 1882 postavena hrázděná budova skladů, v letech 1884-1885 přestavěná, snad podle plánů karlovarského stavitele Emanuela Grimma, na velký Kurhaus. Později byl objekt přezván podle manželky Heinricha Mattoniho na Vilemínin dvůr. K němu přiléhala Nakládací budova („Verladehalle“), kde se bedny s minerálkou nakládaly na vagóny. Přízemí budov totiž sloužilo provozním účelům stáčírny. Před budovami na nábřeží byly položeny koleje pro vlečku ke skladům minerální vody.
V těsném napojení na budovu nakládky byl postaven objekt Správy lázní, původně Úřednický dům pro správu a byty úředníků. V roce 1894 byl pod skalnatým výběžkem postaven podle projektu Karla Haybäcka dům „Stallburg“ s byty pro sedm rodin zaměstnanců firmy Mattoni.
V roce 1948 byl majetek dřívější firmy Heinrich Mattoni v Kyselce znárodněn. Lázně sloužily svému účelu, ale už nikdy ne v rozsahu jako v dobách Mattoniho. Došlo také k oddělení činnosti lázní od stáčení minerálních vod. Po privatizaci v 90. letech nový vlastník stáčírny Mattoni, společnost Karlovarské minerální vody a.s. (KMV), ji rozvinula do dnešní úspěšné podoby. Privatizace lázní se jiným subjektům nezdařila, činnost lázní nebyla obnovena a důsledkem byla degradace budov bývalých lázní.
Dominantní část lázeňského komplexu dnes vlastní a opravuje obecně prospěšná společnost Lázně Kyselka, za finanční podpory KMV, která zároveň přímo provádí opravy dalších historických budov v Kyselce. Všichni se společně snaží o obnovu budov s cílem udělat z Kyselky zajímavý turistický cíl, a byť s jinou náplní, přinejmenším vizuálně obnovit atmosféru bývalých lázní.