苏武北海牧羊图。（手绘插画：Winnie Wang/看中国）
太初四年（公元前101年）冬，匈奴响犁湖单于（即匈奴王）死，其弟且鞮侯成为单于，为与汉修好，他遣使送回以往扣留的汉使路充国等人。汉武帝决定对匈奴实行和盟政策，为回报单于的善意，在天汉元年（公元前100年）三月，派中郎将苏武、副中郎将张胜及随员常惠等出使匈奴，送还被扣的匈奴使者，并厚馈单于财物。苏武手持代表天子权力缀有五色旃毛的旌节，率领着一个百余人的使团踏上了征途。那年苏武42岁，他不会想到这一去就是19年。
苏武和他的代表团完成了使命。但是，在回国前夕，莫名其妙的怪事就发生在他的副使张胜身上，张胜跟早先投降匈奴的一些汉人，密谋乘且鞮侯单于外出打猎时，杀掉匈奴的智囊卫律，然后劫持单于的母亲，逃回汉朝。事情败露后，单于大怒，下令逮捕全部汉使。匈奴与汉朝，重新以兵戎相见。
苏武等人全部被捕。张胜露出投机的原形，投降匈奴。苏武被带到匈奴王面前问罪时，单于告述苏武：他对苏武有着深刻的印象，如果苏武肯投降，他愿意原谅苏武。苏武并没有接受他的好意，反而向匈奴王解释说：他自己虽然没有牵涉到劫持阴谋，可是，他觉得应该对副使的行为负责。愿意以死来承担责任，但绝不投降匈奴。
因此单于对苏武的印象更好，认为苏武非常英勇，就叫他的亲近大臣卫律去劝苏武投降。卫律先以死作威胁，但是苏武却无动于衷。卫律接着又以荣华富贵作利诱，但是，这些也都给正直的苏武拒绝了。
单于对苏武严施酷刑，迫其投降，苏武不屈；又将他关在地窖中，断绝饮食，苏武又饥又渴，只好去吃地上的冰雪充饥解渴过活，但却不肯背叛自己的国家。单于情知他心志坚定，不再作幻想，便把他流放到北海(今贝加尔湖)的无人区放牧一群公羊，说：“什么时候公羊产奶了，就放你回去!”
苏武手持旌节来到北海，白天在海边牧羊，晚上孤零零地住在冷清的帐篷里。严冬季节，匈奴故意断其食粮，苏武抓野鼠，掘草根当饭吃。同行的随员常惠也拒绝投降，常惠被匈奴于囚笞官府牢狱，以繁重的苦役折磨他。妄图以此淫威，使他屈服，背叛汉朝。然而，常惠始终不忘自己是堂堂大汉的使节，苦愈重而志愈坚，坚持19年而不屈。
汉武帝去世，汉昭帝即位。始元二年（公元前85年），匈奴壶衍鞮单于新立，欲与汉朝亲善。匈奴与汉和亲。有一次，汉朝使者来到匈奴，要求单于释放苏武，单于谎称苏武已经死了。汉使不明真相，一时不知如何是好。
这时，当年和苏武一起出使匈奴的常惠，悄悄把苏武的情况密告了汉使。汉使不便当面揭穿单于的谎言，便拐着弯对单于说，汉帝狩猎时射得一雁，雁足上系有书信一封，叙述了苏武还在北海牧羊。单于大吃一惊，以为这是天神相助，无奈应允送还苏武等人。
消息传来，苏武狂喜而泣，泪下沾襟。李陵设宴为之送行，洒酣耳热之际，李陵起舞而歌曰：“经万里兮度沙幕，为君将兮奋匈奴，路穹绝兮矢刃摧，士众灭兮名已聩，老母已死，虽欲报恩将安归？”歌罢连啸数声，掩面而去。
始元六年（公元前81年），不辱使命，十九载如一日的苏武和常惠等人，终于返回汉朝。当年一个百余人的使团，死的死，降的降，只剩下9个陪他归故乡。苏武回国时已是白发苍苍，看着其须发尽白的憔悴形象和那根从不离身，旃毛落尽的旌节，皇帝和满朝文武都落下了激动的泪水。
从此，人们常用“苏武牧羊”的典故来表示对志节高尚坚贞的赞颂。
