1941年6月22日凌晨，当得知德国入侵时，斯大林爆了粗口。很显然“约瑟夫大叔”失态了。关于那一天斯大林的表现，后来很多人留下了文字，其中包括当天与斯大林在一起的人、日后飞黄腾达的人，也包括苏联的历史学家。
赫鲁晓夫在1956年的一次秘密讲话中提到了那一天的情形，他说：“我们不应该忘记，在前线遭受了最初的严重挫折和失败后，斯大林曾经认为一切都完了。他在当时的一次讲话中说过，我们已经永远失去了列宁缔造的一切。在那之后斯大林实际上有很长时间没有指挥过军事行动，而且什么事也不做。只是在一些政治局委员去看他并告诉他说，必须立即采取某些措施来改善前方的局势的时候，他才重新开始工作。”
按照斯大林的亲信、主管后勤工作的人民委员阿斯纳塔斯·米高扬的回忆，政治局委员们都纷纷赶到斯大林的住处，当众人意识到斯大林要“逃避责任”时，莫洛托夫和贝利亚要求他回去工作。
人民委员部办公室主任雅科夫·恰达耶夫的回忆中说：“他在最初几天给人的印象是行为极其矛盾，一方面坚强果断，一方面沉默寡言、犹豫动摇。但总体来说，在前线最危急的几个月里，他非常镇定，表现自信而沉着，并且非常忙碌。”
这几个人都是斯大林去世后的“获益者”，尤其是赫鲁晓夫，在任期间一直全盘否定斯大林。实际上赫鲁晓夫在那个时候还不是核心圈的人，6月22日那天，他也不在莫斯科而是在基辅，所以他的话都是听来的。恰达耶夫也承认自己在那天并不在场，至于米高扬则不清楚。
回忆那一天情形的还有莫洛托夫、朱可夫和拉扎尔·卡冈诺维奇。莫洛托夫回忆：“斯大林非常焦虑。他没有怨天尤人，但他有点失常。我不是说他失去自我控制了。他很受打击，但没有表现出来。他当时肯定很艰难。说他不痛苦那都是胡说。但对他的描写不符合当时的实际情况……他像往常一样，还是夜以继日地工作，从来没有惊慌失措，没有丧失他的演说的才能。他当时表现怎样？就像斯大林应该表现的那样——沉着坚定。”
朱可夫的说法是：“斯大林本人意志坚强，他绝不是懦夫。只有一次我看到他有点消沉。那是在1941年6月22日的黎明，当时他相信战争是可以避免的希望破灭了。在1941年6月22日之后，在整个战争期间，斯大林都在坚定沉着地掌管着这个国家。”
当有人问起卡冈诺维奇“在战争爆发时，斯大林有没有惊慌失措”时，他的回答直截了当：“这是撒谎！”
斯大林显然被德国人打了个措手不及。战前收到的那些“德国即将入侵”的情报都被他扔到角落里，几乎所有人都相信的事实被他视为“别有用心之流”的挑拨离间，而现实却打了他一个响亮的耳光。
在最初的几天，斯大林肯定是急躁和焦虑的，但同时苏联决策层的工作依旧是有条不紊的。6月22日当天，经过他同意的20道不同的政令和命令下发；6月23日，苏军总司令部大本营成立，由铁木辛哥担任主席，负责战争的战略指导；6月24日，苏联成立疏散委员会，负责组织人员和物资撤离交战区；成立情报局，协调和指导战时宣传工作。
战争爆发当天的早上5时45分，莫洛托夫结束了和德国大使舒伦堡的会谈，对方向苏联正式递交了宣战书。莫洛托夫提出发表一篇全国广播讲话，向全国民众讲清事实。考虑到事情还没有彻底明朗，斯大林认为自己还不便亲自发表讲话，于是将这件事委托给莫洛托夫。不过在演讲稿写完后，他当场做了大量修改，主要是为了突出三个要点。其一是莫洛托夫代表斯大林本人；其二是强加给苏联战争的不是德国人民，而是德国纳粹；最后莫洛托夫将德国的入侵比作当年的拿破仑入侵，号召苏联人民进行卫国战争，保卫自己的祖国。
当天晚些时候，“大清洗”的功臣、时任副外交人民委员的维辛斯基带来了一个好消息，苏联驻英国大使麦斯基发来电报说，英国外交大臣安东尼·艾登向苏联保证，英国绝不会同德国单独媾和。后者还告诉麦斯基，首相丘吉尔将在当晚发表广播讲话，宣布和苏联结盟。
英国人送来的消息让斯大林非常欣慰，正如丘吉尔本人在当晚所说“在过去的25年中，没有人像我那样始终在坚持反对布尔什维克，但这一切与现在正在发生的事情相比，变得不重要了”。他宣布：“苏联人的危险就是我们的危险，就是美国的危险，正像苏联人为自己的心灵和家园而战的事业，就是这个地球上每一个地方的自由的人们和自由的民族的事业一样。”
如果说在政务上斯大林还能应付自如，那么发给前线的命令则更多地表现出紧张和无措。6月22日零时30分，坐镇大本营的铁木辛哥和朱可夫奉命下发了第一道命令，要求各军区做好战斗准备，应对德国人可能发动的入侵；航空兵部队立即疏散飞机并做好伪装。这份命令还特别强调，避免发生任何挑衅行为。
早上7时15分下发的第二道命令则通报了德军发动空袭的情况，命令各军区向已经越过边境的德军发动反击，但是在没有特别授权的情况下，不得擅自越过边境。9时15分，第三道命令开始更具体，命令西北方面军（原波罗的海特别军区）和西方面军（原西部特别军区）右翼发动反攻，包围并摧毁德军北方集团军群；命令西南方面军（原基辅特别军区）发动反攻，包围德军南方集团军群；命令列宁格勒方面军和南方方面军（原敖德萨军区）继续保持防御态势。
从大本营发布的命令看，斯大林仍然坚持当初的判断，认为德军的进攻重点在两翼，而非明斯克-斯摩棱斯克-莫斯科这条中央路线。在第三道命令中，大本营要求西方面军以一部协助西北方面军反攻，另以主力牵制德军中央集团军群从华沙至明斯克的进攻路线。
不仅仅是斯大林，大本营和总参谋部都低估了德军一开始发动进攻的力度。朱可夫在回忆录中也写道：“对于敌人一下子就把它预先部署在各个主要战略方向上的全部可以动用的兵力，投入到这样大规模的突然进攻，也就是对于此次进攻的总体性质，我们事先没有料到。不论是国防人民委员还是我自己或我的前任沙波什尼科夫和梅列茨科夫，以及总参谋部的高级军官们，都没有料到敌人会集中那么多的装甲部队和摩托化部队，并在第一天就把它们投入行动，以强大的战斗集群向所有战略方向实施有力的楔形突击。”
6月23日～25，最初的反击毫无进展，大本营甚至不能在第一时间获得前线传回来的消息，斯大林变得异常焦虑。他委派朱可夫立即赶到基辅，监督西南战线的行动；委派伏罗希洛夫赶赴列宁格勒；沙波什尼科夫和库利克则被派到了西方面军司令部。斯大林的“数据库”什捷缅科则回忆说：“尽管有些紧张，但总参谋部的气氛从一开始就是有条不紊的。我们谁也没有怀疑希特勒的突袭战术只能给他带来暂时的优势。各位首长和他们的下级的行动，都像以往一样自信。”
6月底，斯大林面临一个即将发生的可怕事实——德国人把最强大的兵力放在了战线中段，而且白俄罗斯首府明斯克的陷落仅仅是时间问题。6月29日，他两次赶到国防人民委员会的所在地，向赶回来的朱可夫表达对西部战局的担忧。6月30日，明斯克失守，整个西方面军作为一支战略武装力量已经不复存在。至7月上旬，德国人已经全线突入苏联的纵深300～600公里。28个师被彻底消灭，另有70个师至少损失了一半人员和装备。
非常时期促使斯大林对党政军顶层机构进行改组，作为和平时期最重要的决策机构——政治局虽然在战争期间仍然存在，但很少开会，国防委员会在事实上取代了它的功能，成为苏联最高领导集体。7月19日，斯大林开始亲自领导国防人民委员会，这个机构各主管部门由炮兵部队、装甲部队、空降部队、防空部队、通讯部队、预备队，以及后勤、教育、军事情报与反情报、宣传组成。
7月10日，总司令部大本营被改组为统帅部大本营，斯大林任主席。8月8日，它被更名为最高统帅部大本营，而斯大林则成了武装力量的最高统帅。在总参谋部的帮助下，大本营负责军事战略和重大军事行动的计划、准备和实施。
经过这一轮改组，斯大林将党政军的控制权集中在了自己手中，相比于二战主要参战国而言，苏联的战时机构更加高效，最大程度减少了内部消耗，但付出的代价是一旦决策失误，也会遭受无法弥补的损失。
在顶层机构确定后，斯大林仍然将主要精力放在军事决策上。对于其他领域虽然也会参与，但还是把日常事务交给自己信任的下级。例如把内务工作（国内安全）交给了贝利亚；把经济工作交给了尼古拉·沃兹涅先斯基；把军需工作交给了米高扬；把运输工作交给了卡冈诺维奇。至于外交方面，他虽然对莫洛托夫很放心，但仍然花费很多时间与后者一同决策。
被后人诟病的机构和制度也同样相继建立。7月16日，国防委员会下辖的宣传局改组为政治部，由麦赫利斯执掌。全军恢复军事委员制度，作为政治主官和部队副指挥官，军事委员拥有军事行动的否决权。麦赫利斯给各级军事委员和政治委员下达的指示中强调：维持军队的纪律和严厉处置扰乱军心、胆小怯战的人和逃兵。在没有得到批准的情况下，军队绝不允许后退。政治委员要亲自负责，确保这一政策的执行。
此君在战争期间玩儿的相当过火。
7月17日，国防委员会成立一个隶属于内务人民委员部的特别部门，负责打击红军中的间谍和叛徒，并且有权当场处决逃兵。8月16日，斯大林发布第270号命令，要求各部队处决怯战和临阵脱逃的人，在战斗中“畏缩不前”的指挥官要立即撤职，被包围的部队要战斗到最后一人。斯大林还极为严厉地宣布，从今以后怯战者、逃兵和投敌者的家属有可能会被逮捕。
9月12日，斯大林命令前线指挥官成立“督战队”，阻止红军士兵向后方逃跑并清洗煽动恐慌和开小差的人。斯大林还规定，这些督战队的任务是要支援那些没有动摇也不害怕被包围的士兵。
与此同时为了警醒全军，一些高级指挥员承担了最初惨败的责任。报销了整个西方面军的巴甫洛夫大将于7月16日被逮捕，罪名是“参与反苏阴谋”。7月22日，军事法庭判处巴甫洛夫死刑，罪名改为怯战、制造恐慌、玩忽职守和擅自撤退。
受到巴甫洛夫牵连的还有梅列茨科夫大将，二人关系亲密，前者在遭受酷刑时承认后者是“反苏阴谋”的同谋。梅列茨科夫同样遭受了内务部的严刑拷打，不过他什么都没交代。当年9月，他被无罪释放，但职务降为集团军司令员。
被清洗的还包括一批空军高级指挥员，仅在6月22日这一天，德国空军对苏军机场进行的毁灭性打击，就给苏联造成了1200架飞机的损失。
7月10日，针对德军三个方向的进攻，斯大林对前线各方面军进行整合。西北方面军、列宁格勒方面军、卡累利阿方面军以及波罗的海舰队统一划归伏罗希洛夫领导的“西北方向指挥部”；重新组建的西方面军、中央方面军和预备队方面军划归“西方方向指挥部”，由铁木辛哥担任总指挥；西南方面军、南方方面军以及黑海舰队划归“西南方向指挥部”，由布琼尼担任总指挥。
与此同时，西方面军交给了叶廖缅科，朱可夫因为顶撞斯大林被降职改任预备队方面军司令员，沙波什尼科夫则回到统帅部，接替朱可夫总参谋长的职务。
朱可夫与斯大林的争吵缘起于“基辅是放弃还是坚守”的问题上。朱可夫从军事角度提出了“必要时应该放弃基辅”的主张，以便苏军可以逐次抵抗和迟滞德军的进攻。他并不知道，斯大林刚刚接待了来访的美国特使霍普金斯，后者是代表罗斯福，考察美国为苏联提供军事援助物资的必要性。
美国人绝不希望苏联倒下，但也不愿付出无谓的损失。在霍普金斯抵达莫斯科前，美国国内普遍预测苏联坚持不了三个月，所以不应白白浪费美国的援助物资。斯大林在和霍普金斯会面时向对方承诺，战线将维持在当前（8月初）100公里左右，而根据斯大林的这份承诺，基辅绝不能丢。
朱可夫就这样因为“直言”而被贬，但他指挥的预备队方面军以一次有力的反击于9月初夺回了叶利尼亚，这是苏德战争爆发以来，苏联取得的第一次胜利。也正是因为这次胜利，斯大林重新开始倚重朱可夫。
无论如何遮掩，都无法消除斯大林在基辅防御战役期间所应承担的责任。苏联人崇尚进攻，这是红军的传统。斯大林是“唯意志论者”，他相信人的意志和决心具有改变世界的力量，“没有布尔什维克不能攻占的堡垒”，这是斯大林内心的真实想法。很可惜苏军的实力无法满足他的期望。
8月初，德军南方集团军群逼近基辅，不仅是朱可夫，斯大林的幕僚们也都提醒“在必要时放弃乌克兰首府”。然而斯大林在8月18日发布命令说，绝不能让敌人占领基辅。8月底的时候，红军被迫后撤到沿第聂伯河的防线；这样一来，基辅现在就被暴露在一个很长而且脆弱的突出部的一端了。
就在此时，希特勒作出了“南北分兵”的决定，古德里安的第2装甲集群在魏克斯的第2集团军配合下，从中央集团军群作战区域调离，南下向苏军西南方面军侧背发动进攻。苏军统帅部察觉到了敌人的这一着，但斯大林相信，由叶廖缅科指挥的新组建的布良斯克方面军，有能力解除这一威胁。8月24日，斯大林在跟叶廖缅科进行电报交流时问他，如果给他增派一些兵力，他是否能够摧毁古德里安这个“下流胚”。叶廖缅科回答道：“说到古德里安这个下流胚，没说的，我们一定尽力粉碎他，完成您交给我们的任务。”
但是到了9月初，布良斯克方面军没能阻止古德里安的推进。斯大林再次致电叶廖缅科：“大本营对你的工作还是感到不放心，必须彻底粉碎古德里安和他的整个集群。在没有做到这一点以前，你关于胜利的一切保证都没有任何价值。”
根据华西列夫斯基的回忆，9月7日，西南方面军请求允许把部分兵力撤退到杰斯纳河一带，以保护他们的右翼、阻止古德里安的前进。华西列夫斯基和沙波什尼科夫带着这一建议去见斯大林，打算让他相信，早就该放弃基辅并撤退到第聂伯河东岸。“谈话是艰难的、毫不妥协的”，华西列夫斯基回忆道，“斯大林责备我们，说我们和布琼尼元帅一样，采取了尽可能不抵抗的路线——往后退而不是狠狠地打击敌人”。
9月9日，斯大林终于下达了部分撤退的命令，但“只要一提到放弃基辅已经刻不容缓”，华西列夫斯基说，“斯大林就会大发雷霆，立刻失去自我控制。而我们显然也没有足够的意志去承受这种突然发作的暴怒，对于我们为这场正在迫近的惨败应该负有的责任也缺乏正确的理解”。
9月10日，西南方向总司令布琼尼在与沙波什尼科夫通话时强调，叶廖缅科的部队未能完成他们的任务。他还说，如果没有增援他将被迫下令撤退。布琼尼要求沙波什尼科夫向斯大林转达他的看法，他在第二天又直接给斯大林发了一封电报：“西南方面军军事委员会认为，在当前的形势下有必要允许方面军全面撤退到后方，如果西南方面军的撤退再拖延下去，就有可能造成人员和大批物资的损失。”
当天晚些时候，斯大林在跟西南方面军司令基尔波诺斯中将通话时告诉他：“我们认为你的撤退的建议是危险的。不要再想着后退了，要想着抵抗，而且只有抵抗。”斯大林当天还决定撤掉布琼尼西南方向总司令的职务，由铁木辛哥接替他的位置。
9月13日，基尔波诺斯的参谋长向沙波什尼科夫报告说，离大溃败已经没几天了。斯大林震怒之下亲自口授了回信：“图皮科夫少将给总参谋部发了一封惊慌失措的急电。而形势要求各级指挥官要保持格外清醒的头脑与克制，任何人都不应惊惶失措。前线的所有部队都必须明白，要义无反顾地顽强战斗。所有人都必须坚定不移地执行斯大林同志的指示。”
尽管斯大林提出了这些告诫，但结局还是很快到来了。9月17日，大本营终于下令从基辅撤退到第聂伯河的东岸，但为时已晚，德国人在基辅东面的包围圈的钳子已经收紧了。苏联的4个集团军，总共43个师，都被包围了。在基辅战役中，西南方面军伤亡75万人，其中有超过60万人阵亡、被俘或失踪。阵亡者也包括方面军司令员基尔波诺斯和参谋长图皮科夫。
