17.yüzyıl Boston'ında, katı Püriten kurallarıyla yönetilen bir toplumda geçen hikâye, genç ve güzel bir kadın olan Hester Prynne'in hapishaneden çıkışıyla başlar. Kucağında üç aylık bebeğiyle halkın karşısına çıkarılan Hester, işlediği zina günahının bir simgesi olarak göğsünde altından işlemeli kızıl bir "A" harfi (Kızıl Damga) taşımaya mahkûm edilmiştir.
Kasabanın ileri gelenleri ve saygıdeğer genç rahip Arthur Dimmesdale, utanç kürsüsünde duran kadına çocuğunun babasının adını açıklaması için baskı yapsalar da Hester bu sırrı vermeyi reddeder. Tam bu sırada, kalabalığın arasında uzun zamandır kayıp olan ve Avrupa'dan gelmesi beklenirken kendisinden iki yıldır haber alınamayan yaşlı kocasını fark eder.
Kendisini "Roger Chillingworth" adıyla bir hekim olarak tanıtan kocası, Hester'ı hapishanede gizlice ziyaret eder ve kendi gerçek kimliğini kimseye söylememesini emreder. Hester'dan intikam almayı düşünmeyen Chillingworth, tüm enerjisini çocuğun meçhul babasını bulmaya ve ona eziyet etmeye adar. Hapisten çıkan Hester, kızı Pearl ile birlikte kasabanın dışında ıssız bir kulübeye yerleşir ve iğne oyası yaparak geçimini sağlar.
Toplum tarafından dışlanmasına rağmen yoksullara ve hastalara ettiği yardımlarla zamanla halkın gözündeki kötü imajını kırar; hatta göğsündeki kızıl damga, bazıları için yetenek ve merhamet ("Able" - Kabiliyetli) anlamına gelmeye başlar. Diğer yanda, kasabanın çok sevilen rahibi Dimmesdale, meçhul bir vicdan azabı ve suçluluk duygusuyla her geçen gün daha da eriyip hastalanmaktadır.
Rahibin bu durumunu fırsat bilen Chillingworth, onunla aynı eve taşınarak tedavi kisvesi altında rahibin ruhunun derinliklerine sızar ve ona korkunç bir psikolojik işkence uygulamaya başlar. Rahibin Chillingworth'ün sinsi eziyetleri altında günden güne yok oluşunu izlemeye dayanamayan Hester, sonunda bir ormanda rahiple gizlice buluşarak yaşlı hekimin gerçek kimliğini ona itiraf eder.
Ormanın o kasvetli ama bir o kadar da özgürleştirici atmosferinde, ikili geçmişin yüklerinden kurtulup Avrupa'ya kaçarak Pearl ile birlikte yepyeni bir hayat kurma planı yaparlar. Rahip Dimmesdale, çok önemsediği Seçim Günü vaazını verdikten sonra yola çıkmayı planlar. Ancak Hester, bu kaçış planını bir şekilde öğrenen Chillingworth'ün de onlarla aynı gemiden bilet aldığını öğrenince büyük bir dehşete kapılır.
Seçim Günü gelip çattığında, rahip kilisede hayatının en etkili ve ilham verici vaazını verirken, Hester göğsündeki kızıl damganın ağırlığıyla dışarıda, utanç direğinin yanında beklemektedir. Bütün karakterlerin yollarının kesiştiği bu an, vicdan azabı, intikam hırsı ve toplumsal baskının şekillendirdiği bu karanlık öykünün sırlarının çözüleceği büyük ve dramatik bir yüzleşmeye doğru sürüklenir.
