德国军队在波兰战役和法国战役中表现出来的强悍，以及苏军在苏芬战争中表现出来的羸弱深深地触动了斯大林的神经。在军队中他倚重的伏罗希洛夫和布琼尼已经落伍，经过“大清洗”的红军极度缺乏训练有素的指挥员，而新式飞机、坦克等武器虽然可以投入量产，但真正装备部队的数量非常有限。
1940年5月8日，斯大林晋升铁木辛哥、沙波什尼科夫和库利克元帅军衔。其中在苏芬战争中表现出色的铁木辛哥取代伏罗希洛夫，担任国防人民委员；一向心思缜密、善于筹划的沙波什尼科夫出任副国防委员，并执掌总参谋部；而作为炮兵权威专家，库利克执掌则军备。
为了填补各级指挥员的空缺，斯大林下令将关押在监狱里的4000多名军官召回部队，其中就包括日后成长为苏军元帅的罗科索夫斯基、托尔布欣和罗特米斯特罗夫（兵种元帅）。与此同时苏联开始扩大军校规模，200多所军事学校、19所军事学院、10个普通大学的军事系和7所海军学校则在短期内为部队培养了数十万各类人员。
在斯大林的鞭策下，苏联军事工业生产迅速提高。从1939年到1941年6月，苏联国防工业增加39%，而其他工业增长仅13%。新建的工厂开始向乌拉尔、伏尔加河、西伯利亚等纵深地带延伸。航空工业增长尤其显著。战前两个月，德国空军的一个代表团曾参观过几个苏联航空球形轴承、合金和航空发动机工厂。回国后他们在给戈林的报告中宣称苏联的飞机制造业是全欧洲最大、最先进的。
航空兵方面，苏军将原有的航空旅改为师和团，新式飞机已经开始装备部队，5个空降军也在组建中。至1941年6月22日，军工部门为部队供应了17745架飞机，其中新式飞机达到3719架。
1939年苏联陆军只有98个师200万人，为了满足未来战争的需要，苏军开始迅速扩充军队规模，一度被解散的机械化军又重新组建，到了1941年6月，陆军已经达到303个师，兵力455万人。29个机械化军完成组建，其中20个机械化军（40个坦克师和20个摩托化师）部署在西部战线，并装备了10384辆坦克。
看似一片可喜的景象却隐藏着诸多问题。在斯大林发动的清洗中，红军丧失了全部的军区司令、90%的军区副司令和参谋长、80%的师级指挥员。1/3的团长，中、下级军官损失惨重，技术人员也未能幸免，仅空军就有5616名飞行员被清洗。
为了弥补空缺，经过短期培训的大批低级别军官不得不被越级提升，昨天的排长变成团长，营长变成师长甚至军长。各种速成班培养出的大量“速成少尉”（仅受过6个月军事训练）也充斥着军队。在1941年初，苏军指挥员中仅有7.1%受过高等军事教育，55.9％受过中级教育，24.6%的人毕业于速成班，剩下的12.4%则根本没有受过军事教育。
不仅指挥员的素质低下，苏军士兵有一半是1941年以后入伍的新兵，绝大多数没有实战经验。战争爆发前，455万军队中部署在西部地区的兵力为253万。
相比之下，德国即便在魏玛共和国时期只有10万陆军时，也保留了4000名军官，12000名中士和至少16000名下士。在军队编制之外，还有大量退役的军官在拿着高额退休金，各种秘密军事组织在1935年以前就储备了700万后备人员。这些人为建立庞大而精良的军队提供了保证。
1939年9月，德国入侵波兰时，共投入160万陆军兵力和2800辆坦克；1940年西线之战，德国投入了280万陆军兵力、2580辆坦克和强击火炮。而到了1941年6月，德国军队已经扩张到850万人，投入东线战场的兵力达到421万人，其中陆军兵力320万人和4829坦克和强击火炮。不仅如此，仆从国军队投入东线的兵力也达到87万人。
德军的素质也普遍高于苏军。在当时的380万德国野战陆军中，300万以上在1940年以前入伍。他们不仅接受了16周严格的步兵基础训练或21周装甲兵基础训练，而且在波兰、西欧和巴尔干的大规模战役中积累了丰富的战斗经验。少量1940年入伍的新兵也接受了和过去同样严格的装甲兵训练或者8周的步兵训练。至于1941年入伍者则只能编入后备军。德国战前就非常优秀的士官和军官队伍在损失很小的战争中得到了充分锻炼。不夸张地说，1941年的德军是当时世界上素养最高的军队。
陆军在装备、火力和后勤保障方面也存在严重不足。
坦克方面，部署在西部地区的20个机械化军，装备的坦克数量虽然高达10384辆（西部各军区装备的坦克总数量为12782辆），但新式的T-34坦克、KV坦克只有1325辆，其余则是陈旧的T-35、T-26、T-28、BT型等轻、重型坦克。大部分过时的坦克无法和德军3号和4号主力坦克匹敌，而且这些坦克可以立即投入作战的只有2157辆，其余则列入维修名单中。
如果战争爆发，能勉强拉上战场的坦克数量倒也不少，可以超过一万辆。当时苏联各机械化军与边境的距离，平均超过100公里，最远达400公里。战斗一旦打响，大量老旧坦克即便投入战场，也未必能开到战场，更不用说作战了。
当然，一支机械化部队的战斗力绝不仅仅体现在坦克的数量和质量上。合理的编制、能够与坦克分队密切协同的摩托化步兵和炮兵部队、可以及时提供油料和其他补给物资的运输车辆，有时要比单纯的坦克重要得多。德国装甲部队在战争初期的成功就证明了这一点。而苏联之所以废弃旧的坦克军，建立新的机械化军，目的也正是提高部队的协同战斗能力。但由于西部苏军的各个机械化军都是匆忙组建起来的，因而其车辆、火炮甚至枪支弹药都严重不足。
支援火力方面，20个机械化军因为尚未组建完毕，有的军一门火炮都没有，最多的一个军有186门炮，各军共有火炮2000门和2529门迫击炮。相比之下，德军每个装甲师拥有摩托化牵引的36门榴弹炮。
机动性方面，各军都没有达到编制要求，20个机械化军实有车辆共39816辆（另有3111辆拖拉机），每个军平均不到2000辆，只有编制的39%。如第43坦克师，按编制应该有1500辆卡车和特种车辆，实际只有571辆——这意味着这些机械化军和坦克师，无法将相当一部分重武器和装备送到战场。
油料保障方面，苏军的供应能力严重不足，只能提供标准的17.5%。实力最强的第4、第8机械化军都非常缺乏运输工具，其他各军的情况更糟。如第11机械化军和第14机械化军第30坦克师，竟然根本就没有炮兵牵引车；而第24机械化军则1辆机动车也没有；第15机械化军的军属炮兵只有一个连能得到机械牵引；很多摩化师竟没有输送人员的汽车。
更具讽刺意味的是，苏军步兵虽然缺乏汽车，但至少还有骡马拉车运送物资、牵引火炮，而新建的机械化军由于名义上是摩托化部队，所以连马也没有。结果在战斗中，机械化军的炮兵根本无法移动，步兵只能徒步行军，作战所必需的油料、弹药无法运输。
总的来说，苏联机械化军除了几千辆能用的坦克外，几乎是一无所有，其整体装备大大落后于得到强大摩步、炮兵部队配合，战术后勤保障充分的德国装甲部队。
步兵部队的情况也不乐观。战前苏军一个步兵师的编制是14483人（战争爆发不久苏军实行集团军小型化，每个集团军下辖5～6个师，每个师8000～10000人），战争前夜的列宁格勒军区的步兵师平均只有11985人；波罗的海军区平均每个师为8712人；西部军区平均有9327人；基辅军区平均8792人；敖德萨军区平均有8400人。基辅军区所辖步兵师，每个只有44~86门火炮，而按编制应该有132门。该军区的步兵师平均每个有226辆机动车，而按编制是558辆。也就是说，基辅军区的步兵师，火力和机动力不到编制的一半。
到1941年6月15日，苏军西部各军区有38026门火炮、迫击炮（不包括50毫米迫击炮）。其中高射炮5516门，反坦克炮7520门，榴弹炮、加农炮、山炮16057门，迫击炮8933门。
德国为进攻苏联集中了强大的炮兵部队。除了150多个师的火炮外（多数师有3～4个榴炮营），还投入了德国全军98%的独立炮兵（124个营）。总计有600多个炮兵营（不含高炮营、反坦克炮营以及步兵营团装备的火炮）。
苏军炮兵在摩托化程度上与德国的差距更为显著。在战争前夜，苏联炮兵的牵引车数量只及编制的20.5%，而德军装甲部队的炮兵以及大部分的反坦克、高射火炮都实现了摩托化牵引，甚至普通步兵师的炮团也实现了重炮的机械化牵引。机动能力上的劣势令苏军的炮兵处于更为不利的地位，而更糟糕的是，在战争突然爆发时，红军的大量炮兵还在后方训练，无法发挥作用。
空军方面，截至战争爆发前，苏军陆海军共有飞机约两万架，其中部署在西部战线的作战飞机共计9917架。但是同坦克部队一样，大多数都是老旧机型。相当一部分在开战时丢弃在机场，没有人维护，也没有飞行机组。优秀的飞行员奇缺，“大清洗时期”让苏联航空部队损失了5600多名飞行员，全军飞行员缺额32.3%。以远程航空兵为例，1346架飞机中，只有931架配备了飞行员。
德国空军和陆军不同，他们在入侵苏联前遭受过几次惨重的损失。连同训练在内，德国空军已经累计损失了超过11000架飞机，其中有6749架不可修复。尽管如此，德国空军仍然十分强大，作战飞机累计超过10000架，而且绝大多数是新式飞机。为入侵苏联，德国准备了一支强大的空军力量，投入作战飞机4821架（这个数字有很多版本）。
空军除了航空部队外，还拥有庞大的后勤与高炮部队等地面部队。在对苏作战的4个德国航空队的编成内，就有包括5个航空管区（13个供应营），6个特别航空管区，19个通信团、11个通信营在内的各种后勤、建筑工程及补给部队。
飞机性能方面，以战斗机为例。苏军80%的战斗都是老旧的伊-15、伊-16和伊-153战斗机。这几种飞机速度慢，根本无法同德军Bf-109战斗机媲美。只有少量装备的“米格”战斗机在各方面与德军战斗机旗鼓相当，尤其在动力上更胜一筹，但米格战斗机火力较弱，机体防护性差，所以在空中格斗时也处于劣势。
通讯方面，与地面坦克部队一样，只有少量指挥员驾驶的飞机配备了无线电通讯设备，而且还相当笨重。而德军飞机普遍装备了无线电收发设备，在空战中，苏联飞机之间只能靠摇摆机翼来传递信息。这种原始的联络方式不仅作用有限，而且还导致飞机彼此间不得不尽可能地飞得近一些，结果又对其在空战中的机动产生不利影响。由于所有西部军区的航空部队全部只装备有70只无线电罗盘，苏联飞机的导航也处于极落后的状态，飞行与编队都很困难。
训练方面，德军一线飞行员飞行时间都在450小时以上，二线飞行员也至少有250小时。相比之下由于苏军新式飞机列装较晚，飞行员平均飞行时间在10～12小时之间。总的来说，由于飞行员素质的差距和无线电设备的落后，苏联空军在编队空战、作战指挥、飞行调度和导航等众多方面，都远远落后于德国空军。这使在飞机性能上已经处于劣势的苏联空军处于更不利的地位。
唯一让斯大林放心的是执行力。希特勒在战争期间一直抱怨自己的将军们在他耳边喋喋不休，而且对他阳奉阴违，可在苏联没有人敢这么对待斯大林。1940年5月，当他解除自己的老战友——伏罗希洛夫的国防人民委员职务时，后者虽然发了几句牢骚，但也只能服从，身边的人也没有人敢为他求情。可以说这是大清洗的几年中，斯大林得到的最大一颗果实。
1940年8月，苏联最高苏维埃主席团发布命令，废除了红军的政治委员制度，改而执行单一首长制。军事首长全面负责对军队的训练、物质技术保障、人员的教育和战时指挥。政治军官实行政治副指挥员和政治部主任的制度。
苏军旧的两长制度建立的基础在于国内战争年代职业军官都是政治上不完全可靠的前沙皇军人，为了加强领导，必须设立与之同级的政治军官。而到了20世纪三四十年代，苏军的专业军官都是党培养出来的红色指挥员，不再需要政委去监控。加上实战条件下，两长制所带来的指挥上的弊端日益明显，使斯大林定下了废除该制度的决心，借以提高军事首长的威信，便于其有效地指挥军队。
出于同样的目的，从1940年5月起，苏军对陆、海军高级指挥人员实行将官级军衔，1940年11月起对列兵和初级指挥人员也实行了新军衔。这一做法所包含的另一含义是对俄国军事传统的恢复，同时预示着在未来的战争中，斯大林将用旧军队的“光荣历史”来召唤红军的荣誉感。
1940年9月，斯大林责成总参谋长沙波什尼科夫起草一份报告，分析“一旦德国入侵将采取什么计划”。沙波什尼科夫在这份报告中认为德军的主攻方向在战线中段，即沿着通往莫斯科最近的路线——明斯克、斯摩棱斯克、莫斯科进攻。
斯大林否定了这个判断，他认为德军的注意力在两翼，即列宁格勒和基辅，尤其是乌克兰地区将是希特勒最有可能进攻的地方，因为那里有煤、有粮食，还有石油。
凭借自己崇高的威望，没有人怀疑斯大林的判断。在这次讨论结束后，苏军把边境地区的兵力进行了调整，将隶属于白俄罗斯军区的大量部队调往基辅特别军区。事实证明，这是斯大林的一次严重误判。
1941年2月1日，斯大林启用朱可夫出任总参谋长。3月底，日本外务大臣松冈洋右到访柏林，计划在回国途中经停莫斯科。斯大林担心德国和日本签署协议，一旦战争爆发，两国将从东西两个方向同时向苏联进攻。斯大林意识到，苏联并非没有机会，松冈洋右经停莫斯科就是一个“善意”的信号。1941年4月13日，苏联和日本签订“中立条约”，有效期5年。
斯大林仍然利用一切机会维持和德国的“友好”关系。但同时他也不敢盲目自信。1941年5月5日，斯大林在克里姆林宫向刚从军事学院毕业的几百名青年军官发表讲话。他坦言红军没有准备好战争，所以政府正努力通过外交和其他办法把德国人拖过秋季，那么战争必然会在1942年发生。所以他坦言“从此时到8月份，是最危险的一段时间”。
进入6月，克里姆林宫的气氛越来越紧张，各方面汇集来的情报显示德国人即将发动进攻。此时斯大林表现得出奇的倔强，他始终不相信越来越明显的事实，而是将这些情报视为英国人的挑拨离间。他曾对朱可夫说：“用德国人吓唬我们，用我们吓唬德国人，有人（英国）就是要唆使我们敌对，以收渔翁之利。”
6月21日，朱可夫获悉基辅特别军区抓获了一名德国司务长，对方告知德国将在次日凌晨入侵苏联。斯大林仍然不相信，但在随后举行的紧急会议上，他不得不同意发布一项命令：西部各军区的前线部队，立即做好战备，准备抗击德国可能发动的突袭。
1941年6月22日凌晨，斯大林在处理完事情后，拖着疲惫的身体刚要躺在卧室沙发上休息一下，突然有人敲门。他知道这个时候若不是特别严重的事情是没有人敢敲门的。他打开房门，卫士长向他报告，朱可夫打来了紧急电话。后者在电话中告诉斯大林，德国空军正在空袭基辅和明斯克。
斯大林拿着电话筒，深深地叹了一口气，然后骂道：“希特勒这个大流氓！”
