小说以殖民地时期新英格兰生活为背景，讲述了一段在没有爱情的一段婚姻之外，三个主要人物的命运。 女主人公赫斯特在移居北美的途中，她的丈夫失踪，她孤身流落到一个陌生的城市里，在那儿，她认识了一位年轻牧师，两人彼此相爱，她怀孕生下了女儿。这件事触怒了清教徒社会，她因此抓了起来，胸前被戴上了象征耻辱的红A字，怀抱孩子站在刑台上示众并接受审问。而审问她的竟是那个年轻牧师…… 台下，一个相貌奇特的神秘人目睹了这一切。而后，年轻牧师突然得病，神秘人自称医术不凡，并很快成为了他的医师和密友，隐秘的真相逐渐浮现…… 小说以人道主义的悲悯情怀，层层深入地探究了有关罪恶和人性的各种道德、哲理问题，全书以监狱和蔷薇开场，以墓地结束，充满丰富的象征意义。