自收复金华以来，陈文始终住在军营之中，并没有在城内修建府邸。但是收服衢州府城之后，随着占领区的急剧扩张，老营的职权过多且不利于陈文统筹全局，于是便在金华府城里通过将一座归公的大宅进行改建和扩建，从而完成了临海伯府的修建。
这一座临海伯府占地规模远超府衙的府邸，由一道厚度高墙围起，每隔一段距离就会有一个角楼树立于内，整个府邸看起来根本就不像是府邸而是一座小型的堡垒一般。这样的堡垒修建在府城之内，自然并非只是陈文居住的地方，整个府邸只有一小片区域属于陈文——一个小院，一栋三层的小楼以及一个小花园，其他的地方则多是房舍、库房，甚至还有一座小型的兵营，用以给驻守这座堡垒的部队居住。
这座府邸自修建之初起功能就早已决定，除了地盘以及军事规模的扩大，老营已经不足以做为浙江明军的指挥中心以外，同时也为了防止再度出现类似于曹从龙之流的人物，陈文在经过了连番的会议后，对浙江明军以及官府的进行了一次重组，建立起了以临海伯府为主体的浙江明军体系。而那些房舍和仓库，则全部属于那些新近成立的部门。
根据陈文和孙钰以及部分文物官员的商议结果，临海伯府以下分为民政和军务两个部分。
民政方面，陈文做为武将是不方便直接管理的，只得由孙钰负责的府衙、县衙的行政体系和韩启正负责的各级提刑衙门相结合，继续以行政和司法分离的方式来限制文官的权利。
军务方面，设有从属于临海伯府的军令、参谋、监军、军需、军法、军工、卫所等七个司以及直接向陈文负责的军情司。军令司负责兵符的保管、发放以及军事命令的下达；参谋司负责对情报的分析、地图沙盘的制作以及军队作战部署计划的设计；卫所负责管理金华、衢州和处州三卫的事务；军情司顾名思义，而军需、军法、军工这三个司则是直接从金华镇的三司升级而来。
除此之外，监军司成立的同时，陈文也从日渐扩张起来的华夏复兴会中挑选了部分军官做为监军官，他们的职权则是在于负责保障和维护军心、激励军队的士气以及配合军法官保证军队的归属权。只不过，即便是只能覆盖到军镇、战兵的营一级的监军官，事实上现在大多也远还没有上任，因为除了部分经过陈文亲自考核的以外，其他的则还需要进行一定程度的进修。
如此一来，军令、参谋二司负责协助陈文指挥战兵营和各地驻军作战，监军、军法二司负责保障军令的执行以及军队的归属权，而军工、军需和卫所这三个司则是从军需武备的生产、储存以及管理属于军队和现役士卒的田土上来加强军队的保障。
这些部门有一些原本是从属于金华镇，而卫所司的前身金华卫则是平行于金华镇而从属于陈文的部门。
这些部门建立后，金华镇与新成立的衢州、处州两个军镇则直属于陈文的临海伯府，军镇负责指挥的军队包括各地的驻军，以及受命接受镇总兵官指挥的战兵营。各战兵营内的各部们受临海伯府下设的各司领导，如营军需官受军需司管理、营监军官则受监军司管理，各地驻军亦是如此。
军队被完整的融于浙江明军的体系之内，任何一个军官想要把军队拉走都会受到不同部门的军官们牵制，以致胎死腹中。