如果单单从军事角度讲，伏罗希洛夫是二战早期就被淘汰的元帅。在二战爆发三个月后，这位斯大林最重要的军事助手基本上就离开前线和指挥位置。不过斯大林并没有抛弃自己曾经的亲密战友，仍然给予了他一定的地位。二战结束后，伏罗希洛夫的地位仍然显赫，是战前五位元帅（布琼尼、沙波什尼科夫、铁木辛哥、库利克）中唯一一位仍然留在权力核心的人物，这足以证明他人生的成功。
伏罗希洛夫和斯大林的关系非同一般，对于并不擅长军事指挥的伏罗希洛夫来说，他在苏联“十月革命”前就和斯大林建立了友谊，而且得到后者的极大信任，这一点正是他常年屹立不倒的最重要因素。
1881年2月，伏罗希洛夫出生在乌克兰的卢甘斯克州。父亲是铁路工人，童年生活贫困。1894年，13岁的他才进入一所学校学习了两年，所以在他担任重要领导人后，经常在发表讲话时说的第一句话是：“我的文化程度不高。”
1896年，他进入一家工厂做学徒工，并开始接受布尔什维克思想。1903年，22岁的他离开家乡到卢甘斯克工作，1905年当选卢甘斯克市苏维埃主席。1906年，他前往瑞典的斯德哥尔摩参加俄国社会民主工党的第四次大会，他在会议期间第一次见到了列宁，结识了年长其2岁的斯大林。二人一见如故，当时斯大林还是一个名不见经传的人物，伏罗希洛夫就对他十分敬重，这段经历让伏罗希洛夫受益终生。
次年的第五次会议期间，伏罗希洛夫又结识了日后的两位重量级人物－加里宁和伏龙芝。加里宁这个名字并不被人熟知，其实自苏联十月革命之后，直到1946年加里宁去世，他都是苏维埃名义上的元首。苏联喜欢用领袖名字用作地名，1931年，莫斯科北部的特维尔城改名为加里宁。二战爆发时，为防止德军第3和第4装甲集群从莫斯科北面突入，在时任西方面军司令员朱可夫的建议下，苏军统帅部决定在莫斯科北部的加里宁地区组建“加里宁方面军”，并任命科涅夫担任方面军司令员。
二战末期，苏军攻占德国东布鲁斯首府柯尼斯堡。在加里宁去世后，柯尼斯堡改称加里宁格勒，成为现今俄罗斯仅存的用苏联时期著名领导人命名的城市。
伏龙芝的名气更大一些，在苏联内战期间，白卫军主要有两股势力。一股是邓尼金指挥的南方部队，后来被叶戈罗夫指挥的苏维埃西南方面军（军事委员是斯大林）击败；另一股就是远东地区高尔察克指挥的部队，击败他们的正是伏龙芝。1925年伏龙芝去世后，苏联将工农红军军事学院改名为伏龙芝军事学院，这所院校日后成为世界四大军事名校，他的名字也得以更久远地流传。
伏罗希洛夫能够结识二人，为他以后平步青云，进入苏维埃核心有很大帮助。当然他的成功的第一步是自己走出来的。1908年起，他先后在巴库、彼得堡（列宁格勒）等地从事地下活动。期间多次被监禁和流放，逐渐成长为苏俄革命的骨干人物。真正改变他命运的是十月革命爆发后，他机缘巧合地开始了自己的军事生涯，并在内战期间最著名的一场保卫战期间建立了卓越的功勋。
1915年，他来到察里津，在一家炮兵工厂当工人，察里津这个名字也并不人所熟知，他在十年后有了一个新名字，叫斯大林格勒。1917年二月革命爆发前夕，36岁的伏罗希洛夫来到圣彼得堡，成功策划了伊兹麦洛夫近卫团起义。十月革命期间，他在工人中组建赤卫队。无论从年龄、阅历和级别上看，此时的伏罗希洛夫已经具备了大展拳脚的条件。
苏维埃成立之初，托洛茨基和列宁是新生政权举足轻重的两个人物，他们面临的第一个难题就是如何从一战中全身而退。在内部讨论期间，包括二人在内的领导层已经决定向德国作出妥协，换取新生政权的外部稳定，然后全力解决国内问题。但托洛茨基带队的谈判小组临时改变主张，拒绝在既定的谈判方案上签字，德国和奥匈帝国军队随后攻入苏联境内。1918年3月，德奥联军攻入基辅，并威胁哈尔科夫。列宁于是委派骨干力量前往乌克兰东部，伏罗希洛夫在此时被派回家乡卢甘斯克，负责在当地组建武装力量抵抗侵略。
伏罗希洛夫很快就在卢甘斯克组建了一支游击队，与进至乌克兰东部的德奥联军激战，并多次击退德奥联军的进攻。4月，兵力处于绝对劣势的苏军最终败退，哈尔科夫、卢甘斯克等地相继沦陷。伏罗希洛夫率领部队东撤，继续和邓尼金指挥的白卫军作战。几个月后，邓尼金的白卫军企图夺取察里津，伏罗希洛夫的部队奉命向察里津集结。
负责察里津防务的正是斯大林，他此时是苏维埃主席团成员，并被临时委派为西南方面军军事委员，给方面军司令员叶戈罗夫担任副手。斯大林正遇到一个非常棘手的问题，担任察里津地区卫戍部队指挥员的斯涅萨列夫对其并不买账，后者是托洛茨基的人，此前曾在服役于沙俄军队。
斯大林和托洛茨基在军队指挥员任命上存在根本性的分歧，时任苏维埃军事委员会主席的托洛茨基主张大量吸纳沙俄时期的军事将领，以发挥他们身上具备的军事专长，让新组建的红军能够迅速形成战斗力；斯大林则认为应该任命“信得过的人”担任军事主官。请注意，斯大林的这个观点在很长一段时间都没有改变过。对于那些信得过的人他会大力提拔，即便有过错也还会给部下重新崛起的机会，而对于那些反对或者质疑他的人则毫不客气。
二人最直接的分歧是如何对待“卡尔梅克骑兵团”的问题上。在当时骑兵还没有完全没落的时代，苏联境内有两支骑兵力量最著名，其一是以哥萨克人为主组建的骑兵，另一支就是以蒙古人为主组建的骑兵。卡尔梅克骑兵是蒙古瓦剌（也称“卫拉特”）的后裔，17世纪土尔扈特部东归后，沙俄加大了对蒙古人的打压。
卡尔梅克蒙古族部落生活在伏加尔河下游地区，1918年哥萨克骑兵侵扰察里津后，渴望得到苏联认同的卡尔梅克人组建了一支骑兵部队赶来增援。但察里津卫戍司令员斯涅萨列夫并不想接卡尔梅克骑兵，他认为这些人并不可靠。斯大林对他们也不信任，可察里津形势危急，斯大林希望能够将这支战斗力强悍的骑兵部队纳入麾下。
就在这个时候，伏罗希洛夫赶到察里津，在斯大林的授意下，伏罗希洛夫把蒙古骑兵编入自己的部队。7月，斯大林在得到列宁的默许后，下令将斯涅萨列夫以及他的司令部成员全部逮捕，并把他们押到伏尔加河的一艘船上。不久之后，斯大林将部队改编为第10集团军，由伏罗希洛夫出任集团军司令员。
进攻察里津的白卫军有步兵和骑兵近4.5万人、火炮150余门、机枪610挺。斯大林和伏罗希洛夫的部队共有步兵和骑兵约4.2万人、火炮120余门，实力稍逊一筹。伏罗希洛夫别出心裁，把火车车厢进行装甲加固，并把火炮、机枪和卡尔梅克骑兵搬到列车上。当哥萨克骑兵向己方冲击时，他就让这些“装甲列车”赶到前线，用炮火压制敌方骑兵展开，然后趁着对方出现混乱，派出骑兵发起冲击。凭借这种出其不意的战术，白卫军在损失了1.2万人后，对察里津发起的第一轮进攻失败。
在白卫军退却后，托洛茨基开始发难，他要求斯大林将斯涅萨列夫等人释放。斯大林不得不解除对斯涅萨列夫的软禁，但将其余人连同那艘关押他们的船一同沉到伏尔加河。不甘心的托洛茨基又提出解除伏罗希洛夫的职务，在给列宁的电报中，他认为伏罗希洛夫只配指挥一个团，决不能将一支5万人的部队交给他指挥。
10月，白卫军卷土重来，对察里津发动了第二次围攻。伏罗希洛夫命令部队主动出击，他的装甲列车部队袭击了白卫军的一处重要据点，并夺走了白卫军效仿红军装备的两列装甲列车。此事轰动了整个红军，伏罗希洛夫在战后也不无得意地说：“如果能让我拥有10万蒙古骑兵，不仅是察里津，整个黑海和高加索地区都唾手可得。”
10月中旬，已经完成组建的第10集团军集中数列装甲列车和21个炮兵连，对突入察里津纵深防线的白卫军实施反击。红军密集火力给白卫军造成了重大损失，战局开始有利于苏维埃军队。此后，苏军第8、第9集团军和北高加索地区的部队也转入反攻，白卫军第二轮进攻也被击退。
至次年初，察里津的危险被彻底解除。此役的胜利对新生的苏联产生了深远的影响，斯大林因此提升了自己在军内的影响力，包括布琼尼、伏罗希洛夫等人成为他在军队的有力支持者。
列宁去世后，斯大林逐渐巩固了自己的核心地位，综合能力更强的伏罗希洛夫逐渐成为斯大林最重要的军事助手。1925年，他当选苏维埃陆海军人民委员。他在这个位置任职9年，然后改任国防人民委员。1935年苏联部分恢复军衔制，54岁的伏罗希洛夫和52岁的布琼尼一道晋升为元帅军衔。在二战爆发前的苏军五位元帅中，他们二人的资历更老，其余三位铁木辛哥、沙波什尼科夫和库利克是1940年才晋升的元帅军衔。
在“和平的二十年”，伏罗希洛夫迎来了自己的军事生涯高峰，但在二战爆发前，他其实已经在走下坡路。苏联和德国于1939年8月23日签署《互不侵犯条约》后，苏联趁德国在波兰、北欧和法国连连取胜之际，也拿到了相当多的好处，而且越来越超过苏德条约的范围：苏联不仅从波兰多去了西乌克兰和西白俄罗斯，还在苏芬战争中，将国境向北移动150公里。接着苏联又吞并了波罗的海三国，从罗马尼亚手中夺走了比萨拉比亚和北布科维纳。其中除了和芬兰打仗付出了代价，苏联几乎都兵不血刃地达到了目的。
在希特勒看来，这根本就是德国打仗，俄国白得好处。而斯大林利用扩大领土来进行对德战备的意图也很明显。另一方面，第一次世界大战后，罗马尼亚等国为了对付苏联，一直都靠英法庇护。现在英法在欧洲大陆垮台，这些国家现在都转向寻求德国的保护，德国也趁势把手伸了进来。
斯大林从没有指望过和德国建立长期的和平。但按他的估计，德 国和西方之间的战争将持续很长的时间。可出乎意料的是，波兰以及 号称欧洲第一陆军大国的法国在不到一年的时间里相继败亡。据说斯大林曾这样问他身边的人：“他们竟一点也不能抵抗吗？”另一次他则愤怒地大骂法国，然后感叹：“现在希特勒肯定要打破我们的脑袋了！”
外部因素是让斯大林焦虑的一个方面，在不久前结束的苏芬战争中，在苏军占据绝对优势的情况下，战争被足足拖了4个月，而且伤亡数字达到了70万（另有伤亡百万的说法）。这让斯大林意识到苏军的战斗力并没有自己想象的那样强大，他自然而然地把责任落在了主管军事伏罗希洛夫的身上。
斯大林和伏罗希洛夫发生了一次激烈的争吵，盛怒下的斯大林对国防人民委员伏罗希洛夫大加指责。把他说成是文化程度低、对现代战争一窍不通、只对手枪在行、并把大量时间花在对着摄像机微笑的内战将领。伏罗希洛夫也毫不客气，他在遭到斯大林的攻击后反驳道：“所有这一切只能怪你自己！消灭老一辈红军的就是你这个人，我们最好的将军都是被你杀害的。”
伏罗希洛夫所言非虚，从1935年至1938年苏联施行的“大清洗”政策让苏联遭遇了灭顶之灾。在斯大林发动的清洗中，仅在军队内部就损失了图哈切夫斯基、叶戈罗夫和布柳赫尔（加伦将军）三位元帅，3.5万名军人遭到判刑、处死的迫害，军队的基础遭到巨大的摧残。
为了弥补这些在短期根本无法弥补的损失，大批低级别军官被越 级提升。昨天的排长变成团长，营长变成师长甚至军长。各种速成班 培养出的大量“速成少尉”（仅受过6个月军事训练）也充斥着军队。 在1941年初，苏军指挥员中仅有7.1%受过高等军事教育，55.9％受过中级教育，24.6%的人毕业于速成班，剩下的12.4%则根本没有受过军事教育。
斯大林显然不会为自己的过错承担责任，他决定启用一批新人逐渐取代伏罗希洛夫和其培养的一派高级将领。1940年5月，斯大林任命苏芬战争的功臣铁木辛哥担任国防委员，逐渐缩短和伏罗希洛夫的职务差距；次年1月，他又让朱可夫替代了担任总参谋长不久的梅列茨科夫，后者也是伏罗希洛夫的亲信。战争爆发后，被伏罗希洛夫提拔的库利克元帅和巴甫洛夫大将因为拙劣的指挥能力也被斯大林淘汰。前者之后一直满腹牢骚，在二战刚刚结束时被斯大林以叛国罪处决；后者结局更惨，在战争爆发没多久就因为损失了几乎全部西方面军部队，被斯大林以叛国罪被处决。
1941年6月22日，苏德战争爆发，这给权力被逐渐削弱的伏罗希洛夫一次机会。6月23日，斯大林决定成立统帅部大本营；6月30日，他又重组国防委员会，成立了由他本人担任主席的国防委员会，副主席为莫洛托夫，成员包括伏罗希洛夫、马林科夫，以及在战后史料中被“省略”了的贝利亚。
由于战争初期前线处于极度混乱的状态，7月10日斯大林又一次改组统帅部大本营，将统帅部大本营改为最高统帅部大本营，由他本人任主席，莫洛托夫被任命为副主席，伏罗希洛夫、铁木辛哥、布琼尼和朱可夫成为总统帅部大本营成员。同时，斯大林把前线划分为西北、西方和西南三个战略方向，并成立战略方向总司令部，任命伏罗希洛夫为西北战略方向总司令。这个战略方向总指挥部并没有太多的实权，而是统帅部派往前线的办事机构，既没有预备队，也没有物资。
伏罗希洛夫负责的西北方向领受的任务是不惜一切代价保住爆发过“十月革命”的苏联精神支柱，以及波罗的海舰队的主要基地所在的列宁格勒。在这座城市周围，德国及其盟友部署了两个主要的重兵集团：
一个是在列宁格勒西南面和爱沙尼亚方向的波罗的海沿岸作战的德军北方集团军群，共有31个师。其中用于进攻列宁格勒和爱沙尼亚的有23个师（3个装甲师、3个摩托化步兵师）。另一支是从列宁格勒以北的卡累利阿地峡和拉多加湖方向进攻的芬兰军队主力，由芬军总司令曼纳海姆元帅指挥。两个轴心国重兵集团总兵力为40个师3个旅（包括北方集团军群的预备队）。上述部队由德国空军第1航空队和芬兰空军提供空中支援。两支航空部队可以使用的作战飞机总数不少于700架。
伏罗希洛夫管辖着两个方面军，即波波夫中将指挥的北方方面军；索边尼科夫少将指挥的西北方面军。两个方面军共有5个集团军，1个卢加战役集群，合计49个师又2个旅（包括临时组建的民兵师）。归伏罗希洛夫指挥的海军包括红旗波罗的海舰队和北方舰队。
虽然苏军师级编制总数比德国人略多，但经过边境恶战，各师普遍严重缺员。伏罗希洛夫赴任时，西北方面军的33个师中，只有7个师基本满编。其他各师的兵员只有800～2000人，兵力只相当于德国军队的营或团。
方面军所辖的第3、第23、第28坦克师加起来也只有214辆坦克。其中第23坦克师只有11辆坦克和2辆装甲车；第28坦克师剩3辆坦克。战斗力最完整的是第3坦克师，有8000人、200辆坦克和81辆装甲车。
支援该方向的航空力量除了拥有2个方面军所属的空军外，还有波罗的海舰队和北方舰队空军。红军北方、西北方面军，波罗的海航空兵，防空歼击航空兵第7军的飞机加在一起共有1300架。
两个苏联方面军加起来共有42.5万人，红旗波罗的海舰队另有大约9.2万人。因此，伏罗希洛夫掌管的陆海空军总兵数为51.7万人。而与之作战的德国军队总兵力不少于60万人，芬兰军队另有23万人，德芬联军在兵力上占有优势。
伏罗希洛夫大致判断出了德国人重点进攻的方向，即从列宁格勒南面和西南方向猛扑过来的德国北方集团军群主力无疑是最危险的敌人，这里也就成了苏军的主要防御方向。在主要防御地段苏军不仅配置了西北方面军所辖第27、第 11和第8集团军共31个师又2个旅，而且还加强了从北方面军调来的6个师又1个旅。这些部队被编成卢加战役集群，交给他们的任务是在芬兰湾到伊尔门湖之间，担任卢加河沿岸的防御，分担一部分西北方面军的任务。
而对于从列宁格勒以北拉多加湖两侧进攻的15个师的芬兰军队 （包括1个德国师），伏罗希洛夫只部署了北方面军所辖第7和第23集团军共8个师的兵力进行防御。
此时，在强大的德国军队步步紧逼的困境下，疲于应付的苏军所 采取的全部战略就是拼命坚守列宁格勒，最大程度地消耗德军，伺机 发动反攻。为此在列宁格勒州领导人日丹诺夫、库兹涅佐夫的组织下，当地军民沿着普斯科夫、卢加、诺夫哥罗德、旧鲁萨和卡累利阿地峡等地构筑了大约900公里长的阵地。防线的数字确实鼓舞人心，可是阵地的质量却低下得惊人。依据苏军西北战略方向总指挥部的检查报告，在苏军重点设防的卢加地区，匆匆构筑的前沿阵地根本没有铁丝网和雷区，已经挖好的战壕和掩体也几乎起不到保护人员的作用。但在时间紧迫、形势危急的情况下，红军也只好接受这种廖胜于无的防御阵地。
在极端不利的情况下，为了尽可能遏制德军的强大攻势，苏军将领们还绞尽脑汁想出了其他一些办法。伏罗希洛夫拿出了内战时代的老经验，下令组织民兵队伍参加城市保卫战。为此列宁格勒前后动员了16万人补充到战斗部队中。
利用民兵本身倒是无可厚非，也符合苏联国防委员会7月4日关于动员民兵师的指示。但伏罗希洛夫却把事情做过了头，他把民兵的作用看得比正规军还要大，过分醉心于那些装备低劣的工人的战斗热情，甚至下令在民兵中通过选举产生营长。而与此同时，他却并不把正规部队的炮兵放在心上。
1941年7月10日，德军开始向列宁格勒地区发起第一轮进攻。德国人来势汹汹，但和战争一开始的20天不同，这次他们的进攻对苏军并没有太多的突然性可言。在事先构筑的那些虽然远远谈不上坚固和完善但好歹存在的防御阵地面前，德国装甲部队的进攻遭到了有所准备的苏军相当顽强地抵抗。在地形狭窄，灌木丛生，视距有限的战场，缺少步兵掩护的德国坦克部队打得出乎预料地艰苦，推进速度相当缓慢。
7月12日，德军第4装甲集群所属第41装甲军避开苏军的防御正面，调转方向从卢加西南40公里处转向西北方向进攻。措手不及的苏军在这个地区兵力极为空虚，只能在德军装甲部队的前进通道匆匆投入组建不久的列宁格勒第2民兵师。
可该师还没赶到战场，第41装甲军已经得手。第6装甲师打头阵的劳斯战斗群穿过森林沼泽，发现了两座桥梁：一座无人防守，另一座在地图上没有标示。于是20辆德国坦克几乎未遇任何抵抗，从卢加河下游渡河成功，在伊万诺夫斯科耶渡口建立桥头堡。
第1装甲师也夺取了一座桥梁。现在德国装甲先头与列宁格勒的距离只剩下110公里。 列宁之城危在旦夕！
为了挡住德国人通向列宁格勒的道路，苏军投入了卢加战役集群的预备队。7月15日，伏罗希洛夫赶到前线，指挥列宁格勒第2民兵师向盘踞伊万诺夫斯科耶渡口的德军发动反击。
在德军第6装甲师地段，他们把掩护苏联民兵的坦克放到500米内，88毫米高炮和100毫米加农炮这时突然开火击毁坦克，然后用炮火和机枪狂射苏联民兵。在遭受重大损失后，第2民兵师又发起了新的进攻，再度被德军的150毫米榴弹炮和第11装甲团30辆坦克的凶猛火力阻击所挫败。
德军占据的两个村庄被第2民兵师夺回，但也无法继续前进。此后第2民兵师不顾重大伤亡，不断地持续攻击，还把列宁格勒基洛夫步兵学校的学员也投入战斗，与反冲击的德军刺刀见红。德国第6装甲师的其他部队以及第1步兵师也陆续抵达战场。这场残酷的血战持续到7月18日，缺乏火炮和重装备的苏联民兵和正规部队一道以顽强抵抗暂时挡住了德国装甲部队的进攻。
在此期间，曼施坦因指挥的第56装甲军的进攻也同样受阻。7月14日，苏军第11集团军所属第70步兵师在索利奇地区对德军第56装甲军第8装甲师展开反击。战至7月16日，第8装甲师已经陷入被包围歼灭的危险，该军所属的第3摩托化师也遭受苏军的攻击自顾不暇。依靠空中补给和不断地坦克反冲击，第8装甲师才从口袋里逃了出来。而德国第3摩托师在摆脱苏军追击前，遭到了17次攻击。在混乱当中第56装甲军后勤部队所属的400多辆汽车也被丢给了苏军。
此次战斗后，第56装甲军所属的3个师自巴巴罗萨行动开始以来的兵员损失已经超过了6000人。第8装甲师可以使用的坦克减少到80辆，连同短期内可以修复的坦克也只有150辆。而在战争开始时，该师有212辆坦克。直到7月18日，在得到第1步兵军掩护后，曼施坦因才在后撤了大约40公里后稳住阵脚。第8装甲师因为损失太大，于8月5日转为北方集团军群预备队，暂时离开一线。
至7月22日，作为德军主要进攻力量的第4装甲集群的攻势被遏制，列宁格勒的第一次危机被解除。
1941年8月8日，德军北方集团军群恢复攻势。德军第16集团军将右翼留在伊尔门湖以南，掩护赫普纳的第4装甲集群在东南方向伊尔门湖地区的侧翼，而集团军主力则和第4装甲集群共同组成左、中、右三个突击集团进攻列宁格勒。为了切断苏军从列宁格勒向东撤退的道路，德军计划和北面的芬军一同将苏军合围在芬兰湾与拉多加湖之间。
8月9日，德军第41装甲军第1装甲师冒雨突破了苏军阵地。第二天，在第6装甲师配合下，第1装甲师击退了苏军第2民兵师，推进到列宁格勒的莫罗斯克韦策车站。此时德国坦克随时可能闯进列宁格勒。手头已经没有多少预备队的伏罗希洛夫，只能把还在组建中的列宁格勒近卫第1民兵师投入战斗。为了迅速赶到战场，该师抛弃了辎重，仅带着武器和干粮，强行军60公里赶到了莫罗斯克韦策车站，紧接着就撞上德军精锐的第1装甲师的装甲摩托化纵队，陷入了力量对比悬殊的残酷战斗。
8月10日天气好转，德国第8航空军的飞机也开始升空支援。有了强大空军的配合，莱因哈特指挥的第41装甲军攻势越发猛烈。苏军的战况急转直下。8月13日，莫罗斯克韦策车站失守。
莱因哈特的进展让第4装甲集群司令赫普纳大为兴奋，他下令把曼施坦因的第56装甲军第8装甲师也调到莱因哈特的右翼。这样莱因哈特就有5个师进攻列宁格勒，其中有3个装甲师。但当面苏军的抵抗依然极为顽强，激战4天后，莱因哈特付出了1.6万人伤亡的代价，没有取得关键进展。
8月19日，曼施坦因的第56装甲军在列宁格勒东南地区取得进展。他的部队不仅击退了苏军第34集团军的反击，还趁势夺取了苏军西北方向总司令部所在地诺夫哥罗德。8月20日，德军北方集团军群几乎沿着整个战线发动了全面进攻，苏军各集团军节节失利。8月24日，德军中央集团军群所属第3装甲集群完成北上集结，开始加入列宁格勒方向的进攻。
8月25日，伏罗希洛夫向斯大林建议收缩防线，他请求将爱沙尼亚首府塔林的部队经过海路撤到列宁格勒方向，得到了斯大林的允许。但撤出来的2万多苏军在德军凶猛地进攻下还是无法挽回列宁格勒的颓势。在8月下旬，大卢基、霍尔姆等城市相继沦陷。大量战斗人员牺牲或被俘，第48集团军所剩兵力甚至只有不到5000人；第22集团军仅被俘人员就有3万多人。按照这个趋势发展，列宁格勒失守只是时间问题。
8月底，苏军统帅部对北方部队改组，成立卡累利阿方面军，专门负责防御北面的芬兰军队；成立列宁格勒方面军，负责防御从南面进攻的德军北方集团军群。与此同时，波罗的海舰队仍然归西北方向总司令部指挥。
临时改组指挥机构没有改变战场态势，斯大林将前线的失利归咎于指挥员指挥不力。9月5日，波波夫被解除了列宁格勒方面军司令员的职务，并且撤销了西北战略方向总司令部，由伏罗希洛夫担任列宁格勒方面军司令员。
9月8日，德军突进施吕瑟尔堡，至此列宁格勒的陆地通道被彻底切断，守军只能通过拉多加湖面和空中对外保持联系，列宁格勒被围困了。
9月9日，斯大林决定撤换已经束手无策的伏罗希洛夫。当天还在叶利尼亚战场的战壕里督战的朱可夫，接到了总参谋长沙波什尼科夫的电报：朱可夫必须于当晚8点前赶到莫斯科。
斯大林决定任命朱可夫为列宁格勒方面军司令员，去接替伏罗希洛夫。因为太仓促，还来不及签署书面命令，斯大林只给了朱可夫一个纸条当凭证。朱可夫抵达列宁格勒后，便立即前往列宁格勒方面军指挥部，此时伏罗希洛夫正在召开军事会议，讨论如何实施斯大林已经批准的“炸毁波罗的海舰队所有舰船”的决定。朱可夫走到伏罗希洛夫近前，将斯大林写的纸条交给了他，伏罗希洛夫看到上面写着：“请将方面军交给朱可夫同志指挥，然后立即返回莫斯科。”
据说伏罗希洛夫站在原地愣了很久，他没有想到自己会以这样的方式离开列宁格勒前线，也没有想到会被斯大林弃用。
在此后3年多的卫国战争期间，伏罗希洛夫都没有再指挥过任何一场战役，他在大本营负责敌后游击队的管理工作，其间陪同斯大林出席了几场重要的国际会议。斯大林会在军事上弃用伏罗希洛夫，在其他方面还是给予后者足够的尊重，所以伏罗希洛夫仍然在军内享有很高的威望。
二战结束后，伏罗希洛夫开始担任苏联部长会议副主席。1952年10月，代表斯大林主持了苏共第十九次代表大会的开幕和闭幕。1953年，伏罗希洛夫开始暗中支持赫鲁晓夫。赫鲁晓夫上台后，伏罗希洛夫表面支持赫鲁晓夫的“全面否定斯大林”的主张，暗地里则继续维护斯大林的权威。1960年，他的一些事情被揭发，从而离开了权力核心。
1966年，勃列日涅夫刚上台时，还曾借助伏罗希洛夫的威望，他因此再次出山，担任比较重要的职务。
1969年12月2日，伏罗希洛夫在莫斯科逝世，享年88岁。遗体葬于红场列宁墓后方。
