El camino o proceso para construir la palabra parece lógico. La raíz "gloso" significa "lenguaje" y tenemos palabras como "glosolalia" que es el don de hablar diferentes lenguas (que Jesús dio a los apóstoles), pero hay que destacar que la psicología usa la palabra como término completamente opuesto: el hablar un lenguaje inventado carente de significado.
En español tenemos incluso
Así que parece que existe la palabra opuesta a la que buscas (Gloso + fobia).
Desgraciadamente, pese a tener palabras como bibliófilo en el diccionario de la RAE no tenemos "glosófilo".
La construcción parece correcta, y ya sabemos que el hecho de que algo no esté en el diccionario no significa que no exista. Además, al usar la raíz "gloso" no habría lugar a entender el sufijo "filia" como en "parafilia" (que designa un patrón de comportamiento sexual. Por ejemplo, la "gerontofilia" es el amor por las personas mayores: amor en el sentido de buscar pareja sexual de edad avanzada).
Sin embargo, creo que "glosofilia" o "glosófilo" serían consideradas palabras de "nuevo cuño". Yo recomendaría que donde las uses pongas el significado a continuación, para mayor aclaración.