Das kan bei jedem physikalischen Datenträger passieren, wenn du nicht wartest, bis Schreibvorgänge beendet sind. Windows-Systeme haben den Nachteil, dass sie dir das nicht ausdrücklich mitteilen.
Unter Linux muss unmountet werden, dann sind die Daten sicher.
Unter Win heißt das dann "Hardware sicher entfernen".
Um deine Frage zu beantworten: Ja, führ es durch. Es muss sogar gemacht werden. Du hast keinen Vorteil, wenn du es sein lässt.