Problema semnării unui nou tratat unional a fost discutată pe larg în URSS în decursul anului 1990. Pe 27 decembrie 1990, Congresul al 4-lea al Deputaţilor de la Moscova a adoptat decizia de organizare a referendumului pentru data de 17 martie 1991. Sovietul Suprem de la Chişinău însă nu a aprobat această decizie, cu trimitere la articolul 74 al Constituţiei RSS Moldova şi la declaraţia de suveranitate din 23 iunie 1990. Boicotarea referendumului a fost decisă de asemenea de alte republici unionale: Ţările Baltice, Georgia şi Armenia.
În ciuda unei scrisori trimise de preşedintele Mircea Snegur lui Grigore Eremei în data de 5 martie 1991 unde atenţiona despre consecinţele încălcării legilor RSSM de către Partidul Comunist al Moldovei, structurile centrale şi locale ale acestui partid au participat activ la organizarea referendumului.
Astfel prin complicitatea PCM şi a Moscovei, au fost deschise 506 secţii de votare, inclusiv la Chişinău, Bălţi, Bender şi Tiraspol. Din cele 48 de raioane, 11 participă masiv la referendum, iar în 13 participă doar anumite localităţi. Asistăm la o adevărată dualitate a puterii. Votarea a început cu câteva zile înainte, pe 14 martie. În prima zi în Chişinău au participat la referendum cca. 38 mii persoane, dintre care 25 mii votaseră în secţiile de votare deschise pe teritoriul unităţilor militare ale armatei sovietice, controlate de Moscova.
Organele de drept din RSS Moldova, cu sprijinul Frontului Popular, adoptă imediat măsuri pentru contracararea acestor acţiuni ilegale, ca urmare fiind închise secţii de votare în raioanele Făleşti, Străşeni şi Cantemir. Pe 16 şi 17 martie 1991 au fost pichetate o serie de secţii de votare din capitală şi din teritoriu. În unele raioane, precum Ungheni, Orhei şi Hânceşti, au avut loc ciocniri violente între susţinătorii referendumului şi cei care se pronunţau împotrivă. Acţiunile cele mai eficiente, fără a se ajunge la aplicarea forţei, au fost întreprinse în Chişinău, unde au fost închise majoritatea secţiilor de votare, cum ar fi cea de la uzina Vibropribor, la direcţia moldovenească a aviaţiei civile etc.
Per total însă, referendumul din RSS Moldova a fost declarat nul, întrucât la acesta nu participaseră 70% din alegători, deci majoritatea absolută a cetăţenilor cu drept de vot.
În linii mari, referendumul a avut loc doar în raioanele din stânga Nistrului, controlate deja în mare parte de autorităţile de la Tiraspol, dar şi în regiunile din sud cu o majoritate găgăuză şi bulgară, precum şi în unele raioane din nord, cu o pondere importantă a ucrainenilor.
