1937年夏，毛主席亲自与张爱萍谈话，派他去到上海打游击战。这一着十分高明的大棋！
张爱萍来到上海后，在郊区与中共江浙省委书记刘晓会合，就任省委军委书记。

可是，怎么打游击战呢？
张爱萍连一个兵都没有。
怎么办？
这没有难倒他。日军全面进攻上海后，上海市内大批难民逃亡到郊区各地。他们饱受日军之苦，张爱萍等人一去宣传，他们马上就响应，十几天，张爱萍就神奇地拉起一支几百人的队伍，用张爱萍的话说：“撒豆成兵”。
终究这些青年学生们还是一盘散沙，没有战斗力。张爱萍当过抗大的教员，于是就地办校，专门讲授游击战争的课。这课一讲起来，他头头是道，眉飞色舞。谁知，一次，一个女学生突然问道：“老师，你讲的都是在山上打游击的战法，可阿拉上海郊区，全是平原和水网，往哪里躲，如何打呀？”
                        
                        
                        
                            
张爱萍还真卡壳了，回答不了，认真地说：“是啊，我们不能纸上谈兵！在上海郊区怎么打？我们还需要研究。”

经过几天的思考，久经战阵的张爱萍终于了答案：
一、组织成人数不等的游击队。
上海郊区各地水网纵横，村庄稠密，但是，村村相接，呼应十分方便，而日军不可能占领所有村庄，所以可以把各个游击队分散到各村子之中进行隐蔽。
二、要打游击战时，则集中兵力作战，但采用昼伏夜出、昼散夜聚的方式。
三、以小游击队袭扰日军，集中成大游击队，则聚歼日军，要求灵活多变，不拘一格。
学员们听了，拍手称赞。
正在张爱萍教训练班的游击战争战略战术时，11月，上海沦陷了。中共江浙省委也不得不撤离上海。张爱萍说：“正好撤到郊区，组织游击战争。”

谁他正率领大家正准备撤离时，南京中共代表团的博古来了命令：“以省军委为主，组织外省工作委员会，到浙江工作并转到南京领受任务。”
于是，张爱萍又当了外省工作委员会书记，吴仲超任副书记。不过，张爱萍的工作还是重点放到了郊区游击队上，说：“要去，还是派吴仲超一人去为好。”
刘晓说：“这是中央代表团的指示呀！你不执行好吗？”
张爱萍只好答应：“好吧，我去南京，当面向他们提出上海游击战的问题。”
可他到了南京，中共代表团已撤到了武汉。“不去浙江了。”张爱萍说，“把国民党军丢下的枪，捡起来，我们就地打游击。”便派秘书陈家康去武汉。
可是三天后，陈家康从武汉来电：“中央代表团下令要你们撤到武汉！”
两道金牌令，张爱萍不得不执行了。就这样，他不得不离开了这支刚刚拉起来的游击队。

这令他十分遗憾。1945年8月日军投降时，蒋介石的主力部队还在大西南，只能靠美军飞机将部队运抵上海，以接收上海。时在淮北新四军的张爱萍获知这个消息，拍着大腿感叹地说：
“如果不是博古当时两道调令，今日接收上海的人，就是我张爱萍了。”
陈冠任著、中共党史出版社出版《战将：中国人民解放军传奇将领纪实》一书记述了此事。该书为读者喜欢的经典军事畅销书。