До 1941 года Яков Крейзер высоко поднялся по карьерной лестнице. Перед началом Великой Отечественной войны Крейзер окончил курсы усовершенствования командного состава при Академии имени Фрунзе и был назначен на должность командира 1-й Московской Пролетарской дивизии.
Свои военные знания Я.Г. Крейзер показал в самом начале войны. За успешное руководство дивизией, а также личное мужество и героизм 22 июля 1941 года полковнику Крейзеру было присвоено звание Героя Советского Союза, а его дивизия стала Гвардейской. Уже спустя месяц воронежец получает звание генерал-майора, а затем получил под командование армию, став одним из самых молодых командармов.
Войска под его руководством блестяще показали себя в битвах под Сталинградом, Ростовом,Смоленском принимали участие в освобождении Украины, Крыма и Прибалтики.
За время войны был дважды ранен.
Звание генерал-полковника Якову Крейзеру присвоили в июле 1945 года.