古代没有将军，管民政的叫司徒、管经济的叫司空、管军事的叫司马。由于军队数量很小，天子也只有六军（每军2500人），诸侯最多不超过三军。当时每军的统帅也不叫将军，而叫卿，卿以下叫大夫，大夫以下叫士。

到了春秋时代，诸侯为了扩大势力范围，不断增加兵力，因此，大国诸侯常常拥有三军以上的兵力，而编制上他只有三军，只能设三卿。于是，就把扩充军的ulB/HwLf+D4t02I22g7OtQ==统帅称做“将军”，意即将领一军的意思。以后军队数量越来越大，将军也就越来越多了。作战的军队得由一人统率，因此，在将军中选拔出大将军或上将军来全盘指挥。

到了汉代，军队数量更多，单设一位大将军也管不过来了。于是又出现了骠骑将军、车骑将军、卫将军等级别。以后，各朝将军的名称虽不尽相同，但将军分成许多级别这一原则却是相通的。