Unter win heißt die config _vimrc und is im vim-install-verzeichnis.

http://vimdoc.sourceforge.net/htmldoc/usr_05.html
oder auch
:help vimrc
oder
:help vimrc-intro
in vim selbst

änderungen gehören grundsätzlich in die ".vimrc". unter windows heiszt sie "_vimrc". fuer gvim gibt es glaub ich auch eine eigene "gvimrc", diese habe ich aber noch nie verwendet. also suche deine vimrc und trage dort deine einstellungen ein, so werden sie permanent.

von gvim gibts auch eine "portable" version (http://portablegvim.sourceforge.net), die du einfach vom usb-stick starten kannst. dort sind die einstellungen in \settings\vimrc