1840年日本从中国鸦片战争失利中得到教训，看到了改良“兵制与兵器”的重要新。1853年6月，美国军舰炮击鹿儿岛。第二年，英、美、法、荷联合舰队又向下关轰击。日本蒙受耻辱，决心急起直追，效法欧美，改良兵制。当时日本还处于幕府时期。幕府决定仿照西洋军队，组织洋式兵队3个大队，包括步、骑、炮兵共计13625人，"并模仿西洋兵制，规定陆海军将校的阶级"。这是日本历史上最早设立的西欧式军衔制度。
旧日本陆军军
日本兵制
日本在二战期间实行征兵制。1950年，日本重建武装力量，实行募兵制。
军衔演变将官：大将、中将、少将；
旧日本陆军军衔(1943-1945)
佐官：大佐、中佐、少佐；
尉官：大尉、中尉、少尉；准士官；
下士官：曹长、军曹、伍长；士兵：上等兵、一等兵、二等兵。
明治维新以后，天皇根据兵库县知事伊藤博文的建议，建立起中央直辖的军队，分为陆军和海军两个军种。大元帅为最高统帅衔，授予天皇。当时的日本宪法规定，天皇为陆海军之统帅，全权定陆海军之编制及常备兵额，并宣战讲和及宣告戒严，凡有重要之军事，皆亲裁之。明治三十一年（1898年），日本决定废监军部，改设元帅府为最高的军事咨询机关。元帅府配备元帅若干人，由日本天皇就陆海军大将中选任，颁赐元帅封号，担任军事顾问及检阅陆海军等任务。到第二次世界大战结束日本投降时止，日本共授元帅31人，其中，陆军17人，海军13人。
旧日本海军军衔
现行军衔日本自卫队现行军衔设6等18级：
日本自卫队军衔
将官：陆上幕僚长（海上幕僚长、空上幕僚长）、陆将（海将、空将）、将补；
佐官：一佐、二佐、三佐；尉官：一尉、二尉、三尉；准尉；
曹：曹长、一曹、二曹、三曹；
士：士长、一士、二士、三士。
