为保证正常营业，成立初期工行县级机构普遍与人行一套人马、两块牌子。图为当时的工行四川乐山夹江支行第一储蓄所。
从国务院1983年9月17日发文，到1984年1月1日总行正式挂牌成立，工商银行只用三个多月的时间就组建了总行，筹备工作进展十分顺利。
工商银行成立时是国务院直属的国家专业银行，实行总分行制，在全国范围内设立分支机构，由总行垂直领导、统一管理。组建时，按照有先有后的原则，先省辖市、地区行，后省分行、自治区分行，条件成熟一个成立一个，人员、机构、业务等几乎都是从人民银行直接划转过来的。
一是在总行一级，将人民银行总行工商信贷局和储蓄局整建制地、相关司局部分地转入，组建成工行总行，内设机构14个。二是在省分行一级，因地制宜，从人民银行省分行抽调人员组建了省级工行。例如青海省分行设立得就比较晚，一直到1987年5月才从人民银行中分设出来。三是在地市级机构，先是将人民银行部分或整建制地转为工商银行，接着人行再根据工作需要逐步另行组建机构。四是在设立县支行时，采取了谨慎态度，为保证正常营业，不搞人民银行和工商银行分设，而是实行一套人马、两块牌子。也就是说，县级人民银行一律就地整建，改为工商银行，人行的有关业务可委托工商银行办理，为了便于企业单位到人民银行办理对公业务，仍然保留了人民银行县支行的牌子。
在1984年一年的时间里，工商银行全国2万多个分支机构纷纷成立，顺利开展业务，人员迅速达到28万人。在组织机构和管理体制上，形成由总行、省（自治区、直辖市）分行、地区中心支行（省辖市分行）、县支行（城区办事处）、分理处、中心储蓄所、储蓄所组成的垂直管理架构。截至1984年末，存款余额1706亿元，比年初增加581亿元，贷款余额2568亿元，比年初增加484亿元，实现利润71亿元，已经是国内规模最大的银行，较好地支持了国民经济的健康快速发展。