또 하나의 축은 ‘음악’의 개혁이었다. ‘음악’이라는 새로운 병기가 그에게는 있었다. 루터에게서 음악은 ‘생존’을 위한 위로를 넘어서, 확신하는 믿음 가운데 그를 충만하게 이끌었다.
이러한 두가지 개혁운동은 여러 면에서 교회의 변혁을 요구하고 있었다. 1517년 루터의 종교개혁이 시작된 다음 해에 스위스 종교 및 정치개혁을 주도한 울리히 츠빙글리(1484~1531)는 상당한 수준의 음악교육을 받았고, 특히 악기를 다루는 데 재능이 있었지만, 어떤 식으로든지 예배에 음악이 강조되지 않도록 했다. 스위스 독일어 사용권에서 일어난 츠빙글리의 개혁은 프랑스어권인 제네바에서 칼뱅에 의하여 강력하게 추진되는데, 기존 교회의 전통에 대한 칼뱅의 깊은 불신은 예배에서 가톨릭의 전례는 물론이고 문화, 예술 등 사람들의 주의를 산만하게 할 가공적인 그 어느 것도 허락하질 않았다.
스위스의 츠빙글리도 목사인 동시에 음악적 재능을 인정받았던 사람이었으며, 프랑스의 신학자 칼빈도 앞의 두 사람 못지 않게 교회음악의 대한 관심과 업적을 남긴 사람이었다. 이러한 음악에 대한 관심과 전문가에 비견되는 그들이 한 목소리로 교회음악의 개혁을 주창한 핵심은 바로 기존의 예배의 흐름을 방해하는 음악을 버리자는 것이었다. 종교개혁이 교리적인 문제에 국한하지 않고 모든 종교적 부패의 사슬을 끊어야 하며 거기에는 음악적 타락도 포함된다는 점과, 교회음악이 개혁되어야 한다는 점을 공통적으로 인식하고 있었다.
특히 사제만이 아닌 모든 회중이 주님의 은총을 직접 맛보는 예배가 중요한 주제로 대두되었는데, 이것은 당연히 당시 교회 음악에 대해서도 개혁하려는 노력을 가져왔다.
지금 우리가 교회에서 부르고 있는 찬송가(Hymn)라고 알고 있는 찬송은 루터와 츠빙글리, 그리고 칼빈 등의 종교개혁의 결과로 성립된 개신교(Protestant Church)의 탄생과 함께 시작되었다.