他结过四次婚，每次结婚都公开办仪式，没有藏着掖着，别人说他花心，他自己不承认，说是负责任，蔡国庆在节目里提过他年轻时候的事，说他在煤堆约一个姑娘，又在楼顶约另一个，许亚军笑着说是污蔑，可也没否认事情真的发生过，那时候敢这么干的人不多，他就成了一个另类。
蔡国庆表示挺佩服许亚军的，说自己比不上他，这不是出于嫉妒，而是真心觉得许亚军那种吸引人的劲儿学不来，蔡国庆自己形象也好，歌唱得也棒，但就是没法像许亚军那样让人围着转，许亚军不靠作品出名，而是靠着长相、气场和那份不做作的真诚打动人，在80年代，大多数演员都不太会表达感情，许亚军反而因为这点显得特别突出。
他在八十年代靠着《四世同堂》和《编辑部的故事》走红，那时候电视还是最主要的传播方式，形象好就相当于自带流量，他长着浓眉深眼、带着几分文艺青年的忧郁气质，正好赶上女性开始欣赏有型的男性，刘威和张丰毅也帅气，但不够亲近人，许亚军却让人感觉容易接近，还带点浪漫气息。
他每次结婚都处理得很低调，没有闹出大动静，妻子们也没有公开指责他，更没有通过打官司来分财产，在那个年代，离婚并不常见，社会上的压力也比较大，所以像他这样频繁再婚的做法，反而被看作是负责任的表现，大家没有真正去细想他是不是换伴侣太勤了，而是默认他对每个妻子都是真心的，现在回过头来看，其实不是他这个人有多厉害，而是那个时代对这种事没那么计较。
放到现在，他这种行为肯定会被骂，网友会截图分析，说他是PUA高手，或者靠性别红利，他的“招人喜欢”建立在信息少、审美单一的基础上，现在谁敢这么干，马上就被扒光，他被怀念的，不是那些老婆，而是那个还能自然谈恋爱、不用怕被审判的年代，我总觉得，不是他特殊，是时代给了他空间。