해방 직후 소련 군사아카데미 유학. 한국전쟁 이후 귀환해 일선 군부대 지휘관을 거쳐 주로 참모부 계통에서 활동. 1970년 포병사령부 부사령관을 지냈고, 1980년 6차 당대회 때 당중앙위원회 군사위원회 위원으로 진입했다. 1982년 중앙당 군사부장, 1985년 대장 승진과 함께 김일성 주석의 군사담당 서기(보좌관)로 자리를 옮겨 김 주석(1994.7) 때까지 보좌했다. 김일성 사후에는 그의 시신이 안치돼 있는 금수산기념궁전 관장으로 있으면서 유사시 김정일 국방위원장의 군사보좌역의 역할도 수행하는 것으로 알려져 있다.

전형적인 무인으로 평소에는 조용하고 내성적이나 매사에 꼼꼼하고 치밀해 군사장비와 관련된 제원이나 성능 등에 정통해 각종 포의 숫자와 포탄 수량까지 모두 꿰고 있다는 풍문이 있다. 김 주석 생전 주석 명령으로 각 군부대에 내려가는 '교시'의 대부분이 그의 손을 거쳐 하달됐다고도 한다. 김일성 생전에는 공식 석상에 더러 나타났으나 그의 사후에는 매우 드물어졌다.

김영남 최고인민회의 상임위원회 위원장의 친동생.