煤礦工人勇作（高倉健）失手將一名尋釁滋事的流氓打死後，被判刑入獄，在監獄裏，他非常想念自己的妻子光枝（倍賞千惠子），卻因害怕耽誤她的生活和前途，主動提出離婚，並真心實意地勸她改嫁。
　　刑滿釋放前，勇作給光枝寫了一封信，說如果她還沒有與他人結婚，仍在等待著他的歸去，就在家門前的旗杆上挂上一塊黃手帕，假如他看不到黃手帕，會就此遠走他鄉。歸家途中，患得患失的勇作碰到一對駕車出行的年輕情侶（武田鐵矢、桃井薰），搭乘他們的車遊轉了一些地方，之後，他才鼓足勇氣回到家鄉