Klubjai a Sashalmi Petőfi (1954–1957), közben FC Chur (1956–1957), az Újpesti Dózsa (1957–1968), valamint az Egyetértés SC, illetve a névváltozás után a VM Egyetértés (1969–1973) voltak.
Édesapja, az eredetileg a Schäffer nevet viselő idősebb Sóvári Kálmán birkózóbajnok volt, szerette volna, ha a fia is követi. Ám az ifjabb Kálmán szívesebben futballozott. 1957-ben bemutatkozott az Újpesti Dózsa első csapatában, s a következő bő tíz évben meghatározó embernek számított.

Bajnoki címet nyert 1959–1960-ban, KEK-elődöntős volt 1961–1962-ben. A válogatottal részt vett az 1966-os angliai világbajnokságon, a portugálok elleni nyitó mérkőzésen elszenvedett vereség egyben a búcsúját jelentette a nemzeti tizenegytől, mindössze huszonöt évesen.