김정일 국방위원장의 최측근 중 한 사람. 김정일시대를 이끌어 가는 이른바 '혁명2세대'의 중추적인 인물군에 속한다. 김용순 노동당 중앙위원회 비서와 함께 김정일의 공식활동에 가장 많이 수행하는 당료 중 한 사람. 노동당 중앙위원회 간부담당 비서, 당중앙위원회 간부부장, 김일성고급당학교 교장(2006년 1월 현재).

해방 후 한국전쟁까지 북한 초기 정권의 가장 중요한 인물 중 하나로 내각 부수상, 산업상, 6.25 때 전선사령관 등을 지낸 바 있는 김책의 아들. 1960년대 말 인민군 부총참모장과 정찰국장으로 지내면서 청와대 기습사건과 울진•삼척 무장공비침투사건 등을 유발한 것으로 알려진 군부 강경파 김정태는 그의 동생이다.

아버지가 항일 투쟁을 한 탓에 만주일대를 떠돌며 불우한 유년시절 보냈고, 해방 후 입북 김일성종합대학에서 공부하다가 소련에 유학했다.

노동당 중앙위원회 지도원으로 사회생활을 시작해 출신배경에 힘입어 출세가도를 달렸다. 1963년 8월 인민군에 투신, 총정치국 부총국장(중장), 67년 인민보안성(사회안전성) 정치국장 등을 지냈고, 1968년에는 중앙당 선전선동부 부부장, 1984년 8월 중앙당 과학교육부장, 1985년 6월 중앙당 간부부장 등을 지내 군과 당의 요직을 두루 거쳤다. 1992년 12월 간부담당 비서.

중앙당 선전선동부장 재직 당시 부부장이었던 김정일과 돈독한 관계를 맺었고, 김정일 후계구도 형성에 기여한 것 이 오늘날의 그의 위치를 다지는 발판이 됐다. 평소 말 수가 적고 엄격하며 보수적인 성향의 인물로 평가된다.