A rábaközi Veszkényben látta meg a napvilágot 1820. december 16-án, elszegényedett nemesi családban. Töretlen hitét édesanyjától örökölte; a tudományokban való jártassága és papi hivatása a győri és a soproni bencéseknél, az esztergomi kisszemináriumban, a pozsonyi Emericanumban és Nagyszombatban érlelődött meg, szemináriumi tanulmányait a bécsi Pázmáneumban végezte. Első, Esztergomban bemutatott szentmiséje után Zalka János szülőfalujába sietett, ahol ünnepi istentisztelet keretében köszönte meg a híveknek, különösen édesanyjának azt a sok áldozatot, ami őt a lelkipásztori pályára segítette.

Káplánságát Kőhídgyarmaton (ma Kamenný Most, Szlovákia) és Dorogon kezdte, majd teológiai tanulmányainak folytatására ismét Bécsbe, az Augustineumba került. Teológiai doktorátusát a szabadságharc idején, 1848 augusztusában szerezte meg. A pest-belvárosi plébániára került, ahol káplánként működött, s a Katholikus Néplap szerkesztésével hívta fel magára a figyelmet. 1849-től katedrára cserélte a lelkipásztori feladatokat: először az esztergomi szeminárium prefektusa, majd a pesti hittudományi kar egyháztörténet-professzora, később rektora lett. Publicisztikai tevékenységet folytatott, évekig volt a Religio folyóirat szerkesztője. Tevékenysége nem kerülte el az uralkodó figyelmét sem: 1859-ben Ferenc József esztergomi kanonokká nevezte ki.

1867-ben – amikor a Scitovszky János hercegprímás halálával megüresedett esztergomi érseki széket Simor János győri püspök nyerte eltért vissza egyházmegyéjébe mint megyéspüspök. Zalka János 34 éven keresztül, haláláig kormányozta a győri püspökséget. Főpásztorként sem feledkezett meg szülőföldjéről: a veszkényi templomot és az iskolát gazdag adományokkal látta el, a falu határában lévő Mária-kép számára – ahol sokszor imádkozott édesanyjával együtt – Sarlós Boldogasszony tiszteletére kápolnát építtetett. Többször elzarándokolt a Rábaköz búcsújáró helyére, Osliba. Püspöksége alatt a rábaszováti, a szanyi, a péri, a himodi és a bőnyi templom is megújulhatott; Pinnyéden kápolnát építtetett. Bővítette a nagyszemináriumot, otthont teremtve ezzel páratlan értékű könyvtárának; Győrben a katolikus tanítóképzőnek új épületet emeltete.