40 KB es un poco grande para un .jpg a menos que este sea muy grande. Efectivamente las personas que vean tu sitio apreciarán que intentes reducir un poco este tamaño.

Usando el programa GIMP puedes grabar tu imagen como JPG optimizado y progresivo (que cargue de a poco y se pueda visualizar a baja resolución de inmediato). También tienes que fijarte en el tamaño (ancho x alto) de la imagen, si le haces "resize" en GIMP con el método de interpolación cúbico, no debería deteriorarse tanto la imagen al achicarse. Por último, es recomendable que si la imagen tiene bastante detalle, ofrezcas a los visitantes de tu sitio dos versiones: una a baja resolución y una a alta resolución.