岳家军是南宋名将岳飞所部，以战斗勇猛、纪律严明著称，军号“冻死不拆屋，饿死不掳掠”，时人称之为“岳家军”。金国完颜兀术长期与之作战而经常失利，叹曰：“撼山易，撼岳家军难”。
宋高宗建炎元年（1127年）八月，岳飞任河北西路招抚司中军统制，所部兵力成为岳家军的最早来源。当年冬，岳飞投奔东京留守宗泽。建炎三年（1129年）六月，岳飞跟随东京留守杜充南下，改任江淮宣抚司右军统制。翌年（1130年）七月，岳飞任通泰镇抚使，所部改称通泰镇抚司军。绍兴元年（1131年）七月，改称神武右副军，半年之后又改称神武副军。绍兴三年（1133年）九月，改称神武后军。绍兴五年（1135年）十二月，又改称行营后护军。绍兴十一年（1141年）三月，复改称鄂州驻扎御前诸军，此后沿袭不变。
宋高宗建炎元年（1127年），岳飞任河北西路招抚司中军统制时，所部兵力不足千人。建炎四年（1130年），岳飞出任通泰镇抚使前，兵力已增至万余人。绍兴二年（1132年），岳飞击败叛将曹成之后，兵力增至二万三千人。绍兴四年（1134年），岳飞收复伪齐襄阳之后，兵力增至三万人。翌年（1135年），岳飞镇压湖贼杨么之后，兵力激增至十万人，朝廷同意将岳家军编制从十将扩充为三十将。此后兵力基本维持在十万左右，但编制不断分拆，绍兴九年（1139年）时增至八十四将。
绍兴五年（1135年），金国左副元帅完颜宗辅去世，右副元帅完颜昌和元帅左监军完颜宗弼成为最有军权的将领。此时岳家军的规模从三万多人增加到十万人左右，因为杨幺军的壮丁六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部（约八千五百多人），和此后增拨的统领丘赟所部（近一千五百人）；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部（约一万多人）；以及张浚都督府左军统制杜湛因改任岳飞统辖的黄州武将知州所带来之几千蔡州兵。岳家军以后直到岳飞被宋高宗和秦桧所害，也大体维持十万左右之数量。十二月（西历已到1136年），宋廷整编了全国军队，分为“三衙军”和五大部“行营护军”。“三衙军”即“禁卫军”，由殿前司、马军司、步军司所辖部队组成。五大部“行营护军”中，（1）张俊一军为“行营中护军”，（2）韩世忠一军为“行营前护军”，（3）岳飞一军为“行营后护军”，（4）刘光世一军为“行营左护军”，（5）吴玠一军为“行营右护军”。五大部之外又将王彦的“八字军”编为“行营前护副军”。
从1135年军队整编至1141年绍兴和议，行营护军是南宋的基本军事力量，而三衙军则刚刚组建，除杨沂中统率的殿前司部队因由原来的神武中军改编而成、兵力较强，其它两部解潜统率的马军司部队只有两千骑兵，和颜渐统率的步军司部队都是新编无战斗力的部队。主力行营护军五大部有三个来源：一是源于南宋初年康王大元帅府的宋高宗嫡系御营军，如张俊、韩世忠、刘光世所部，岳飞最早也属这个系统，但因为上书被罢职而离开此军投入张所的军中；二是源于宗泽的东京留守司军，这是岳飞离开王彦后加入的、和金军战斗最多的部队，是岳家军的来源；三是源于吴玠的陕西军，吴玠一军原本没有名号，在这次整编中才得到了行营右护军的名号，被列入正规军。岳飞和吴玠二人都不是嫡系，是纯粹靠军功起家的将领，其部队是行营护军中的主力，尽管人数较少，但战斗力最强。参知政事李邴曾对宋高宗说：“陛下即位之初，韩世忠、刘光世、张俊威名隐然为大将，今又有吴玠、岳飞者出矣。”至此，岳家军前后更改了“神武右副军”、“神武副军”、“神武后军”和“行营后护军”四个军号。
1135年，由于岳家军的兵力变成了原来的三倍，岳家军也从原先十将的编制扩充至三十将的编制，每将的平均兵力是三千多人。到绍兴九年（1139年）岳家军增至八十四将，每将的平均兵力减至一千二百余人。岳家军至少有十二统制“军”：1.背嵬军；2.前军；3.右军；4.中军；5.左军；6.后军；7.游奕军；8.踏白军；9.选锋军；10.胜捷军；11.破敌军；12.水军。其中背嵬军是绝对主力，名字取自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其他军名都是增长士气的军号。
据绍兴九年（1139年）统计，这十二军共有22名统制、5名统领和252名将官分别率领，其中有正将、副将和准备将各84名。王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战；此五人是岳家军的中坚人物。
宋高宗绍兴三年（1133年），岳飞所部神武后军二万三千人，月支钱十二万三千余贯、米一万四千五百余石。翌年（1134年），岳飞收复襄阳六郡，临行前预支金五千两、银十万两、钱二十万贯、米六万石，战事结束后已支钱九十七万五千贯、米三十三万石，大大超过预计。绍兴八年（1138年），岳飞所部行营后护军十万人，月支钱五十六万贯、米七万余石，另有经营收入每年一百五十八万余贯、营田稻谷十八万余石，以佐军用。
岳家军编制原分为中、前、左、右、后五军，随着兵力的增长，又增加背嵬军、游奕军、踏白军、选锋军、胜捷军、破敌军、水军等军。绍兴九年（1139年），岳家军有统制二十二人、统领五人、将官二百五十二人。其中五人最为岳飞所倚重，中军统制、提举一行事务王贵与前军统制、同提举一行事务张宪长期担任岳飞副手，常代替岳飞指挥其他统制作战。左军统制徐庆亦为岳飞爱将，始与王贵、张宪齐名，但被之后加入岳家军的牛皋、董先超越。牛皋后任左军统制、兼提举一行事务，董先任踏白军统制。
