战况有些不妙，不过涞源警备司令小柴俊男大佐一点都不紧张，他自信八路军没那么好的胃口吃掉半个大队兵力防守的县城。?果然，战斗开始后不久，由于八路军攻城部队对北面金家井方向的警戒出了问题，从金家井据点向县城撤退的兵力刚到达战场，八路军以为是援军到了，于是匆匆就撤出城外，只在一些碉堡内留下兵力继续坚守。
二十三日一早，八路军重新调整部署，为防止外围据点内的日军在攻城时再与城内相互呼应。攻城部队除留下部分部队包围县城外，开始调集兵力对涞源外围据点进行清理。
战至上午十时，独立师[笔趣屋 .booksav.]2团兵力及时赶到战场，两个团分工后继续进攻。至下午一点，下北头、白石口、中庄、王喜洞、刘家嘴等六个据点被全部拿下，涞源城外之敌被我军彻底清扫干净。为防止攻城期间再出意外，指挥部又调集强大兵力对留家庄、金家井、插箭岭等据点进行牵制性围攻。
小柴俊男中佐率部困守孤城，只能眼巴巴的望着周围几个据点被八路军一一吃掉。陆续有外围据点的兵力突破包围逃回城内，看到涞源城的守军逐渐增加到六百多人，他心里又有些侥幸，为了大队的“面子”，他还是咬着牙没有向旅团部请求“指导”。
八路军的攻势惊动了独立混成第二旅团长人见与一中将他的前任就是在黄土领挨了迫击炮弹的阿部规秀中将。为避免涞源和涞灵、涞蔚几条公路线的局势进一步恶化，他没有坐等部下的求援电报，而是先行调动驻蔚县的独立步兵第三大队主力前去支援。为了方便指挥，人见与一中将甚至将自己的指挥部设立在蔚县城。不过八路军早有准备，日军激战一日未得寸进。
日军见势不妙，从张家口等地抽调了三个步兵中队乘卡车赶至蔚县。独立师[笔趣屋 .booksav.]随即安排三团一个营在北口警戒，防止日军偷袭。
二十四日拂晓，独立师[笔趣屋 .booksav.]再次对涞源城发动进攻。八门迫击炮、六门九二步兵炮、一门山炮的强大火力立刻让日军感受到了压力。日军大队部也挨了十余发炮弹，其中两发打中电台[好书吧 .booksav.]室，涞源与外界的联络中断了。
部队就在城内的钉子发挥了大作用，半个小时不到，涞源城四个城关就背全部拿下。日军发动两次反击未果，随即将兵力向城北方向集中，与八路军开始逐屋争夺。
独立团也开始调整战术，他们一但攻击受挫就立刻开始在墙上挖洞，或是直接调来九二步兵炮打掉日军的火力点。日军顶不住压力，随即放火焚烧民房，力图拖延时间以待援兵到来。八路军也不含糊，有性急的部队直接翻墙、凿屋而过，有的把土坦克弄进城内，在上面浇过水以后继续进攻。
战斗越来越激烈，独立师[笔趣屋 .booksav.]攻的坚决、日本人守的顽强，天快亮的时候，双方终于在离日军指挥部一百五六十米的地方僵持起来。其实双方都有些打不动了，日本人那边是因为太累，八路军这边是因为弹药不继。
乘着战斗间隙，双方赶紧调整部署、补充弹药，没成想，一件让中日双方指挥官都没想到的事情发生了。
瞅着守军阵地被压缩的越来越小，白刃战的地方越来越多，不少伪军见势不妙，只要带队的鬼子一不注意，他们就会扔掉枪跑路或是直接投降八路军。