Zmiękczacz wody instaluje się zazwyczaj przy wejściu instalacji do budynku, za licznikiem. Zanim podłączycie go do sieci, warto zamontować przed nim filtr wstępny (tzw. filtr narurowy). Wyłapie on zanieczyszczenia mechaniczne oraz większe i mniejsze cząstki, które mogą uszkodzić urządzenie. Filtry te zakłada się bezpośrednio na rurę, a ich wkłady wymienia średnio co 3 - 6 miesięcy, zależnie od jakości oraz ilości filtrowanej wody.
Każdy zmiękczacz wody składa się z trzech części:
- zbiornika filtracyjnego, który zawiera żywicę jonowymienną,
- zbiornika na solankę używaną do regeneracji żywicy,
- głowicy sterującej, która reguluje pracę zmiękczacza i uruchamia regenerację żywicy.
Głowica sterująca to mózg urządzenia. Umożliwia ona całkowicie automatyczną pracę zmiękczacza, kontroluje ilość zmiękczonej wody i na tej podstawie dobiera częstotliwość i długość regeneracji żywicy. Wybrane modele głowic posiadają tzw. zawór mieszający, dzięki któremu można ustawić pożądaną miękkość wody.
Zbiornik filtracyjny to największa część zmiękczacza. W nim znajduje się żywica jonowymienna w ilości dobranej do zużycia wody. Nie może ona całkowicie wypełniać zbiornika ze względu na dynamiczny przebieg procesu zmiękczania i regeneracji żywicy.
W zbiorniku na solankę przechowywany jest roztwór wody i soli tabletkowej, niezbędny do procesu regeneracji żywicy jonowymiennej. W zmiękczaczach kompaktowych, czyli kabinetach, zbiornik ten jest zintegrowany z urządzeniem i mieści się pod jedną obudową, razem ze zbiornikiem filtracyjnym i głowicą.
Ważnym elementem zmiękczacza wody jest też tzw. by-pass. Jest to rodzaj obejścia, które umożliwia korzystanie domownikom i urządzeniom z wody niefiltrowanej, gdy zmiękczacz jest w cyklu regeneracji. Dzięki temu można spokojnie skorzystać z toalety w środku nocy, wstawić pranie czy włączyć zmywarkę. By-pass przyda się też w razie serwisu lub awarii zmiękczacza, zapewniając dostęp do wody.