西汉初期，北方的匈奴不断侵寇扰边境，烧杀抢掠，边境的老百姓饱受其害，朝廷多次派大军反击匈奴，直到匈奴向汉朝纳贡臣服。
匈奴的单于派使节向汉朝朝贡，希望能借此加强彼此之间的联系。天汉元年（前100年），汉武帝决定派中郎将苏武为使节向匈奴回礼，并护送匈奴的使节回去。
苏武手中持着长长的“汉节”（邦国之间互相往来的信物），带领着由一百多人组成的和平使团，带着丰厚的礼物，满载着和平的希望，出使匈奴。
但不幸的是，就在苏武即将完成出使任务，准备回国时，匈奴内部发生了叛乱。苏武等人被扣押在匈奴。
单于知道苏武忠贞爱国，于是想要借机劝他投降，就派遣卫律等人去游说，苏武义正辞严地说：如果我忘恩负义，背叛朝廷，就算是活着，也没有颜面再回到汉朝！说罢，抽出配刀，往自己身上刺了进去。一时间，鲜血喷洒而出，他倒在了一片血泊中。卫律大惊失色，赶紧冲上前去救他，医治了半天之久他才苏醒过来。
单于看到苏武的志节这么高洁，由衷敬佩，就想用高官厚禄来收买他，请他为匈奴效力，但是均被苏武断然回绝了。
后来，恼羞成怒的单于把他幽禁到了地牢里，就是一个露天的大地穴，断绝提供食品和水，希望这样可以改变苏武的信念，逼他投降。
在寒气逼人的地洞中，身心交瘁的苏武躺在刺骨的寒冰上，疲惫地昏了过去。不久，难以忍受的饥饿使他苏醒了过来，他爬到雪堆旁，将一把雪塞进了嘴里。就这样，渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄，冷了，就缩在角里与皮袄取暖。时间一天天过去，苏武在地窖里受尽了折磨。过了好些天，单于见苏武没有死掉，以为他一定有神助，否则这要换成别人，不早就死了好几回了吗？单于只好把苏武放出来了。
单于见苏武仍然没有屈服的表示，他知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到北海（西伯利亚的贝加尔湖一带），让他去牧羊。
临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候这些羊生了羊羔，我就让你回到中原。”而单于只送给他几只公羊。
苏武持着汉节，在风雪交加的北海牧羊，唯一与苏武作伴的，是那根代表汉朝的汉节和几只羊。苏武每天拿着这根汉节放羊，心想总有一天能够拿着回到自己的国家。渴了，他就吃一把雪，饿了，就挖野草逮兔子，冷了，就与羊取暖。这样日复一日，年复一年，使节上挂著的旄牛尾装饰物都掉光了，苏武的头发和胡须也都变花白了。他常常抚摸着它，就像是见到汉王一样。汉节从来没有离开过他的手。
苏武就凭著这股坚忍不拔的毅力，吃著野鼠、啃著野草，艰难地活下去，希望还有那么一天，能重见曙光，返回大汉的国土。
六年过去了，有一次，单于的弟弟于靬王到北海去打猎，惊奇地发现苏武居然还活着。在这种严酷恶劣的环境中，人怎么可能活得下去呢？于靬王被他深深地感动了，他默默地送来了一些食物和牲畜，希望能改善他的生活。
但是好景不长，三年之后于靬王过世，而苏武赖以生存的这些财物却全部被偷走了。又回复到从前那种艰苦不堪的日子。
艰辛的日子又过了五年，单于派李陵来劝苏武投降。李陵是汉朝李广将军的孙子，也是一位骁勇善战的将军，一次战败投降了匈奴。他很敬重苏武高尚的人格。
李陵恳切地劝苏武说：单于听说我与你交情一向深厚，所以派我来劝说足下，愿谦诚地相待你。你终究不能回归本朝了，白白地在荒无人烟的地方受苦，你对汉廷的信义又怎能有所表现呢？我离开长安的时候，你的母亲已去世，我送葬到阳陵。你的夫人年纪还轻，听说已改嫁了，家中只有两个妹妹，两个女儿和一个男孩，如今又过了十多年，生死不知。人生像早晨的露水，何必长久地像这样折磨自己。在这种没有人烟的不毛之地，有谁见得到你的信和义，忠与贞呢？回到汉朝的希望太遥远、太渺茫了，你究竟是何苦呢？
苏武长叹了一口气说道：做臣子的忠于他的君王，就如同做儿子的孝顺他的父母一样，是天经地义的事情，儿子为了报答父母，就算是死了都在所不惜，更不要说这样的一点折磨了。我和父亲受封于朝廷，国家曾经给予我们非常优厚的恩宠，朝廷的深恩大德是我报答不尽的。今天就算是为国家牺牲，赴汤蹈火、我都心甘情愿，请你不要再劝我了。
李陵听了之后百感交集，痛哭流涕，他赞美苏武是一位真正的义士，并对自己的苟且偷生悔恨不已。回去之后，他送来了几十头牛羊，希望能改善苏武的生活。
不久之后，汉武帝驾崩了，当李陵把这个消息告诉他的时候，苏武沧桑的脸上乍现出深切的痛苦。他面向南方，扑倒跪地，放声痛哭，鲜血顺着嘴角流在了地上。从那以后，他终日悲恸的哭泣，谁都劝他不了。
汉昭帝登位后，匈奴和汉达成和议。汉廷寻求苏武等人，匈奴撒谎说苏武已死。后来汉使者又到匈奴，一次夜晚见到了以前的汉使，述说了多年来在匈奴的情况。汉使于是对单于说：“天子在上林苑中射猎，射得一只大雁，脚上系著帛书，上面说苏武等人在北海。”单于十分惊讶，向汉使道歉说：“苏武等人的确还活着。”
苏武终于能够回到故乡，李陵流着泪，目送他消失在万里黄沙中。十九年前由一百多人组成的声势浩大的使团，现在只剩凄冷的九个人，怀着无尽的伤感，踏上返乡的道路。
苏武于汉昭帝始元六年（前81）春回到长安。有感于他的志节，昭帝下令叫苏武带一份祭品去拜谒武帝的陵墓和祠庙。任命苏武做典属国，俸禄中二千石；赐钱二百万，官田二顷，住宅一处。后来宣帝封他为“关内侯”。苏武把财产全部分送给亲朋、故旧，自己什么都没有留下。他的妻子早已经改嫁，后来儿子因被连坐而死，而他自己也已经白发苍苍了。
苏武高超的志节得到了天下人对他的敬仰，不但是在汉朝，在匈奴这样的国家，也赢得了匈奴人的尊敬。
许止净先生说，苏武的忠义精神真的是空前绝后、光耀千古。想想看，在冰天雪地的北海中，生活所需要的“衣食住”是一无所有，他怎么可能活得下去呢？可是凭著对故国的一片赤心，以坚忍不拔的毅力，活了下来，而且是十九年，这岂不就是因为他的忠诚和节义感动了天地，冥冥中自有神助吗？或者说，这种绵延不绝的力量，正是源于他心中生生不息的浩然正气。
孔子说：“志士仁人，有杀身以成仁，无求生以害仁”，又说：“使于四方，不辱君命”，这正是苏武最最真实的写照。
