Penso che questo articolo dell'Enciclopedia Dantesca renda abbastanza bene l'idea.
Come hai trovato sul vocabolario Treccani, "vago" proviene dal latino vagus, che significa "vagante, instabile; indeterminato".
Come spiega l'articolo sopra citato, da questo significato deriva l'uso dell'aggettivo che comincia a farsi nel lessico medievale proprio del corteggiamento amoroso, in cui il senso di "vagante" farebbe riferimento al movimiento degli occhi, agli sguardi del corteggiatore sulla persona amata:
La Castellano ha ben chiarito come la diffusione di v. nell'italiano due-trecentesco tragga origine dal vocabolario del corteggiamento amoroso, spesso affidato, nel costume medievale, al muto linguaggio degli occhi e degli sguardi: una riprova indiretta della validità di questa tesi si ha anzi nel fatto che D., su 20 presenze complessive, usi v. nove volte in stretta correlazione con ‛ occhi ', o altri sostantivi di ugual significato, o con il verbo ‛ vedere '.
A un certo punto, comincia a usarsi l'aggettivo "vago" per descrivere le qualità delle donne capaci di suscitare questi "sguardi vaganti", come in questi versi Duecenteschi di Patecchio:
No se meta en vertue om de femena
vaga: / çamai no n’issirà levement, o’ q’el vada.
Da qui deriverebbe il significato di "vago" come sinonimo di "bello, piacevole a vedersi, leggiadro, grazioso".
