后世褒贬与霍去病同时代的司马迁，对霍去病的评价就似乎有所保留。在《史记》中，司马迁将霍去病与卫青合在一个传里，位置也比较靠后，甚至排在了《匈奴列传》之后。这样的安排并非无心之举。一方面，司马迁不得不记录并承认霍去病所创造的辉煌战果，另一方面却明里暗里对霍去病进行贬抑。比如，招降浑邪王一事，武帝的诏书是“降者十万”，《史记》里写的则是“降者数万，号称十万”，暗示霍去病有夸大战功而受封赏之意。对于霍去病如何统帅大军，纵横大漠，擒杀敌酋，他在传记里大多只引用皇帝诏书的内容。霍去病的成功，在这位太史公眼里，纯粹是靠运气:“军亦有天幸，未尝困绝也。”对于霍去病，他有过两处明确的批评，一处是前面提到的年少轻狂，不学兵法；另一处是贵不省士，“重车余弃梁肉而士有饥者。其在塞外，士卒乏粮或不能自振，而镖骑尚穿（地）域而蹋鞠”。反之，司马迁对于战绩一般的李广则极为推崇，盛赞其“勇于当敌，仁爱士卒，号令不烦，师徒向之”“广之将兵，乏绝之处，见水，士卒不尽饮，广不近水，士卒不尽食，广不尝食”……以司马迁的学识和阅历，不会不明白“慈不掌兵、善不为官”的道理，作为军事统帅，当然是以领兵打胜仗为第一要务，私德应放在第二位。司马迁之所以如此，大概是缘于三个方面原因。第一，霍去病的外戚身份。司马迁自身作为世家大族，对外戚非常鄙视，尽管他也承认卫青、霍去病“颇用材能自进”，但仍然认为这二人是“以外戚贵幸”。有了这个先入为主，能征善战的霍去病再怎么牛，在他眼里，也不过是一个靠裙带关系飞黄腾达的少年，而李广之所以能让司马迁花费大量笔墨去赞美，抛开其人品因素不谈，李广武将世家的出身无疑是一个重要因素。第二，司马迁的个人遭遇。司马迁因李陵案被处腐刑，之后开始创作史记。正常来说，他内心肯定是有怨气的，但又不好直接表达，于是就把气撒到青年将领霍去病身上。第三，不满讨伐匈奴的国策。司马迁认为，汉武帝举全国之力讨伐匈奴，但“建功不深”，这个大前提不被认可，那么以打击匈奴为主要业绩的霍去病，自然也就不为太史公所认可了。继司马迁之后，班固在《汉书》中，虽然仍然把卫青和霍去病合传，且依旧排在李广之后，但至少，把霍去病的名字加进去了，而不是《史记》中的《卫将军骠骑列传》，连个名字都不愿意写。即便是到了近现代，一些史学家还是对霍去病不以为然。比如吕思勉就认为汉武帝即便要对匈奴用兵，也应选用李广、程不识等信臣宿将，战争所耗必可大减。不过，吕思勉似乎选择性地忘记了李广等人在面对匈奴时败多胜少的战绩了。当然，更多的还是对霍去病的肯定。唐代诗人王维曾专门为他写诗：“出身仕汉羽林郎，初随镖骑战渔阳。孰知不向边庭苦，纵死犹闻侠骨香。”其他如李白、杜甫、高适等都先后作诗赞美这位大英雄。即便是为司马迁指摘的不能与士卒同甘共苦的缺点，在民间传说中则是另一番景象：元狩二年（前121），霍去病率兵收复河西地区，武帝特赐御酒一坛，犒赏霍去病。霍去病以为功在全军将士，但酒多人少，便倒酒于城下泉中，与众将共饮，由此得名酒泉。历史的丰富性在于，它不仅有白纸黑字的鸿篇巨著，也有千百余年的口口相传。关于霍去病功过的讨论，也许还将继续下去。但在后世众多有志青年的心目中，他就是一道光。