南仲，潭州衡山（今湖南衡山）人，南宋著名将领赵方之子。他和哥哥赵范从小就立有大志，父亲很器重他们，就请郑清之、全子才、李燔等名士指点他们的学业。

赵葵从小在军中长大，少年时代就经常随父亲抗击金兵。每次金兵袭来，他都和诸将一起出去，深入敌军中间作战。诸将怕长官的儿子有闪失，总是拼死救他，所以打仗屡屡取胜。一天，赵方犒赏将士，大家嫌赏赐太少，愤愤不平，眼看就要激起兵变，赵葵觉察到以后急忙高呼：“这是朝廷的赏赐，本司另有厚赏！”听了他的话，军心马上安定了。当时，赵葵才十二三岁，事后大家都夸他机警过人。

嘉定十年（1217），金将高琪、乌古论庆寿包围了枣阳（今湖北枣阳）。赵葵和哥哥一起在父亲的带领下前去救援，击退了金人。嘉定十三年，赵葵受父亲的派遣和都统扈再兴一起领兵出战，连败金兵。嘉定十四年，金人进犯蕲州（今湖北蕲春），赵方命令赵葵兄弟二人前往救援。在久长（今湖北新洲东），宋军与回撤的金兵相遇，赵葵见敌方只有几十名骑兵，就率领杨大成等十四人追上前去，没想到后来金兵逐渐增加到了数百骑，赵葵奋力拼杀，等到赵范、扈再兴前来救援才脱围。第二天晚上金兵发动了夜袭，宋军早有准备，大败金兵。