Esto no es posible hacerlo, principalmente porque se prestaría a mucho abuso, por ejemplo, simulando una ventana del sistema e intentando engañar al usuario para que ingrese su clave. Una opción para algo más elegante que un popup es usar hojas de estilo para generar un DIV que está encima del resto de la página y que es ocultado y desplegado usando Javascript.

Un ejemplo de cómo hacerlo es el YAHOO.widget.Dialog de su biblioteca de elementos de interfaz de usuario.