DDR, DDR2 und DDR sind schon mechanisch inkompatibel, d.h. ohne Gewaltanwendung lassen sich Speicherriegel eines Typs nicht in Slots für einen anderen Typ hineinstecken.
Welche Speichergröße pro Slot maximal zulässig ist, steht im Handbuch bzw. auf der Homepage des Motherboardherstellers. Ein Motherboard, das bei 4 Slots 8 GB Speicherausbau erlaubt, sollte mit 2 GB Riegeln theoretisch klarkommen.
Ob eine höhere maximale Taktrate des Speichers etwas bringt, hängt von der Taktung des Front Side Busses ab. Wenn dein FSB maximal 800 MHz bringt, hast du von einem 1066 MHz Speicher nicht viel, außer vielleicht marginal schnellere Zugriffszeiten.