English
To be honest, as a native Spanish speaker I barely notice a difference in the pronunciation between the English "J" and the "Y" (I have been repeating several words with both out loud).
That being said, I think that in Mexico City, where I'm from, the sound would be the harshly sound you described from the English "J". It is very possible that in different countries, or even in different regions within a country, the sound will somewhat vary.
As a personal opinion, I do not believe you should be too concerned about getting the sound exactly right between the "J" and the "Y", worst case scenario, if the person you are talking with pronounces it differently he will think that you have a foreign accent.
Regards.
Español
Para ser honesto, como mi lengua materna es el Español, no noto diferencia entre las pronunciaciones de la "J" inglesa y la "Y" (he estado repitiendo diferentes palabras con ambas letras en voz alta).
Sin embargo, creo que en la Ciudad de México, de donde soy originario, el sonido podría ser
el más áspero que describiste como la "J" inglesa. Es muy posible que en distintos países, o en distintas regiones dentro de un mismo país, el sonido pueda variar un poco.
Como opinión personal, no creo que te deba preocupar mucho el tener el sonido exacto entre la "J" y la "Y", en el peor de los casos, si la persona con quien estas conversando lo pronuncia diferente va a pensar que tienes un poco de acento.
Saludos.