U martu 1961. godine 1400 delegata sastali su se na All-In African Conference pod vodstvom ANC-a. U revnosnom govoru Mandela je pozvao apartheid-režim da sazove Skupštinu koja će predstavljati sve građane Južne Afrike, te da razradi Ustav koji će počivati na demokratskim principima. Ukoliko ne dođe do ispunjenja ovog zahteva, upozorio je, većina stanovništva (dakle, crnci) će svečanost proglašenja Republike dočekati masovnim štrajkom.

Mandela se odmah nakon toga dao na posao da u tajnosti organizuje borbu. Iako je uspeo mobilizisati manje ljudi nego što je očekivao, ipak je naišao na značajnu podršku širom zemlje. Vlada je odgovorila najvećom vojnom mobilizacijom od rata pa na ovamo, a Republika Južna Afrika rođena je u atmosferi straha i strepnje.

Mandela je morao živeti odvojeno od svoje porodice, te je stalno menjao mesto boravka da ga vladini špijuni i svugde prisutni informanti ne bi otkrili. Nekad je bio odeven kao radnik, nekad kao šofer. U to vreme sa ostalim vodstvom ANC-a on je osnovao jedan drugi militarni ogranak ANC-a Umkhonto we Sizwe, koji se pripremao za nasilno rešavanje stvari.