楚顷襄王是战国时期楚国的国君，他一直沉迷于享乐，大臣庄辛因此十分忧虑，便前去劝谏说：“大王，您经常和州侯、夏侯、鄢陵君、寿陵君他们在一起，他们都是一些贪图享乐的人。如果大王再不好好治理国政，恐怕楚国就要亡国了。”
楚顷襄王听了不以为意地说：“我看你是老糊涂了吧！现在天下太平，楚国怎么会亡国呢？”庄辛说：“我当然是看到了事情的后果，才敢这样说的。如果大王继续宠幸这四个人，楚国一定会灭亡的。如果大王不信，请让我先到赵国避一段时间，看看事情会如何发展。”楚顷襄王同意了。
庄辛在赵国只待了五个月，秦国就发兵攻打楚国，一举攻占了楚国国都郢都。楚顷襄王连忙逃走，流亡到了城阳。这时他才想起庄辛的话，心里十分后悔，赶紧派人去赵国把庄辛请了回来，说：“我当初不应该不听先生的话，现在事情已经发展到这个地步，我该怎么办呢？”庄辛回答：“我听说，就算见到兔子来了才放猎狗去追，羊丢失了才去修补羊圈，也还来得及。现在大王还有方圆数百里的土地，只要大王有心振作，一定可以恢复楚国的。”
楚庄王听后，立即封庄辛为阳陵君，并在他的辅佐下重振国力，终于收复失地，渡过了这次危机。然而，在后世流传的过程中，人们又逐渐丰富了这个成语的相关故事。从前有个养羊的人，一天早上他放羊时发现羊圈破了个窟窿，夜里狼从窟窿里钻进来，叼走了一只羊。邻居劝这个人：“赶快把羊圈修一修吧！”这个人却说：“羊都丢了，还修羊圈干什么？” [3]
可是第二天一早，这个人去放羊时，发现狼又从窟窿里钻进来叼走了一只羊。他后悔没听邻居的话，赶紧动手把羊圈上的洞补好了。从那以后，他的羊再也没有丢过。