1933年10月，宋哲元收编汤部，委汤玉麟为29军总参议，从此失去了军权。1934年1月9日，南京政府取消对汤的通缉令。5月2日，北平军分会任其为高级顾问，半年后解职，回到天津寓所。汤玉麟在抗日战争其间多次拒绝出任伪职，度过了一生中最为平静的岁月。解放战争时为了安全，汤玉麟曾搬到花园路3号居住。1949年2月病死于天津，终年80岁。