Roman, İstanbul'da avukatlık yapan Galip'in bir kış günü eve geldiğinde, karısı Rüya'nın onu terk ettiğini belirten 19 kelimelik kısa bir not bulmasıyla başlar. Rüya, çocukluk aşkı ve aynı zamanda amcasının kızıdır. Galip, Rüya'nın nereye gitmiş olabileceğini düşünürken aklına ilk gelen kişi, Rüya'nın üvey abisi (Galip'in de amcasının oğlu) olan ünlü köşe yazarı Celâl Salik'tir. Çünkü Celâl de aynı günlerde ortadan kaybolmuştur. Galip, Rüya'nın Celâl ile birlikte olduğunu veya en azından Celâl'in onların yerini bildiğini düşünerek İstanbul sokaklarında bir arayışa çıkar.
Kitap, sıradışı bir kurgusal yapıya sahiptir. Bölümler sırasıyla bir "Galip'in hikayesi" ve bir "Celâl'in köşe yazısı" olarak ilerler. Celâl'in Milliyet gazetesindeki (romanda adı verilmez ama ima edilir) köşe yazıları; İstanbul'un yeraltı dünyasından Hurufiliğe, Boğaz'ın kurumasından esrarengiz mankenlere kadar pek çok konuyu işler. Galip, bu yazıları okudukça, Celâl'in satır aralarına kendisi ve Rüya için gizli mesajlar, yer işaretleri ve şifreler gizlediğine inanmaya başlar.
Bu arayış süreci, basit bir dedektiflik hikayesinden çıkarak Galip'in ruhsal dönüşümüne evrilir. Galip, Celâl'i bulmak için onun gibi düşünmeye, onun gibi yaşamaya, hatta onun evine (Nişantaşı'ndaki Şehrikalp Apartmanı) gizlice girip onun kıyafetlerini giymeye başlar. Zamanla Galip, Celâl'in yerine geçer; gazeteye onun adına yazılar yollar, telefonda Celâlmiş gibi hayranlarıyla (veya onu tehdit edenlerle) konuşur. Romanın temel tezi olan "İnsanın kendisi olabilmesi için, bir başkası olması gerekir" fikri burada hayat bulur. Galip, İstanbul'un karlı ve karanlık sokaklarında, yüzlerdeki harflerin sırrını ararken aslında kendi kimliğini siler ve "O" (Celâl) olur.
Finalde, Galip'in çözdüğü (veya çözdüğünü sandığı) şifreler onu trajik bir sona götürür. Celâl Salik, yıllardır gittiği "Alaaddin'in Dükkanı"nın önünde vurularak öldürülür. Yanında Rüya da vardır ve o da aynı saldırıda hayatını kaybeder. Galip, aradığı kişileri (karısını ve idolünü) bulamadan, onları ebediyen kaybeder. Ancak bu kayıp, Galip'in tam anlamıyla Celâl'e dönüşmesini tamamlar. Galip, artık Celâl'in masasına oturur ve onun üslubuyla yazmaya devam eder. Kara Kitap, bir cinayet romanı gibi bitse de, aslında kazananın "Yazı" olduğu, yazarın ve karakterin birbirine karıştığı sonsuz bir döngüyle sonlanır.
