克留奇科夫出生在俄罗斯西南部的伏尔加格勒，曾当过装配工和律师，还当过检察院的检察长。后来，克留奇科夫进入一所外交学院学习，并加入“苏联国家安全委员会”（即克格勃）工作。1954年～1959年他被派往苏联驻匈牙利大使馆工作。

　　在匈牙利期间，克留奇科夫担任尤里·安德罗波夫（后于1982年~1984年担任苏共中央总书记）的助手。1967年安德罗波夫就任克格勃主席后，克留奇科夫得到了提拔和重用，开始平步青云。

　　1974年，克留奇科夫被任命为克格勃海外间谍工作主管，负责克格勃在海外的情报工作。1988年，苏联领导人米哈伊尔·戈尔巴乔夫任命他为克格勃主席。

　　克留奇科夫情报生涯中遭受的最大挫折是在1985年。当年，克格勃在与英国情报机关的“斗法”中失败，使俄罗斯著名双面间谍奥列格·戈迪夫斯基得以成功逃往英国，此人是苏联克格勃历史上级别最高的背叛者，原先是克格勃间谍，1960年派驻丹麦的时候被英国国外情报局策反，成为双面间谍。