后来虽然在洪武年间，为加强江海防，在元末城墙的基础上，江南的部分府县城墙得以再次修缮。但是从洪武到现在，大多数府县再无大规模城防建设。
唐顺之巡视后发现，依然保有城墙的府县已经屈指可数。大致言之，五座府城拥有城墙。除无锡、常熟外，常州、苏州二府的其余属（州）县拥有城墙。靠近南部的松江、嘉兴、湖州、杭州四府的属县里，除了沿海的海宁、海盐县之外，均无城墙。
上海县、青浦县、嘉善县、平湖县、桐乡县那样的新置县，承平日久之下，人们认为无筑城之必要，所以自建县治起，就无城墙。像安吉、长兴、常熟等州县，在元末明初时筑有城墙，但之后不加修缮，任由城墙倾圯毁坏，至嘉靖初年已经见不到城墙踪迹。
为什么这些州县不愿意修筑城墙？除了东南承平日久，没有匪患外，更重要的是经济利益。城墙坍塌后，多余出大块土地，人们据为己有，置产营业，公有土地遂转为私有。例如嘉兴府崇德县，吕希周《筑城记》载“崇县旧址，悉为民居”；苏州府常熟县民众在旧城址上据以为业，州县不能究，顾征其升斗以为税。倘若开筑城墙，这些已经厚享无城之利愈百年的人势必会坚决阻挠。
而且能占据这些土地的，可不是一般的百姓，基本上都是当地士绅或富室，在地方上具有足够多的话语权，在长期无城的情况下，他们已经成为无城的最大受益者，并且根深蒂固，倘若开筑城墙，则既得利益必会大为受损，所以一闻筑城之议，则曲为挠阻者，无所不至矣。
承平安乐之时，城墙的价值无法充分凸显，人们轻视之。而当战乱兴起，人们方才意识到城墙重要性。之前陆深致仕后建议修筑上海县城墙，结果举城的富户反对。
而这次倭寇屠戮上海县，受祸之惨，屠戮之深，国朝所未有也。之前的上海县，一县编户六百余里，殷实之家率多在市，钱粮四十余万，银布之类数船可载，兼之富商大贾四方辐辏，居积货物尤多。突遭倭寇袭击，上海之民，子女旄倪悉为其所戮辱，室庐财物悉为其所劫烧，间有得脱者，悉走郡城，以寄命于旦夕。此无他，则以上海之城未筑故也。
故而这次方廉修筑上海县城，得到了上海县富户们的一致同意。要知道之前，陆深以上海大户，又是礼部侍郎之尊，谋筑上海城墙都不能成功。用陆深自己的话说就是：上海以镇升县，故旧无城。后之作令者尝欲建请，然无遗址可因，其势颇难。而议者又谓市虽逼浦，而素无草动之虞，在所不必作者。故屡谋而屡寝焉。
现在这些富户们知道倭寇的厉害了，没有城墙，他们就是待宰的羔羊，和自己的身家性命相比，些许浮财算得了什么。唐顺之打算借机在南直隶广修城池、堡垒，限制倭寇的活动范围，为后续剿灭倭寇创造条件。
同时还是要尽可能的保护这些富户和小地主，毕竟他们是朝廷赋税的主要来源，只要能够保证税收和漕粮，对于一时的失利，嘉靖都是可以容忍的。
