Instalar Cloud-Init en Templates usadas por vRealize Automation 8.x

Después de haber leído unos cuantos artículos y haber realizado algunas pruebas de cara a cumplir con los requerimientos del cliente, he decidido crear este post debido a que el tema es un poco confuso. Pero en este blog trataremos de compilar la información de las referencias adjuntas y explicar todo lo que necesita saber acerca de Cloud-Init y su funcionamiento a través de los Cloud Templates (blueprints) de Cloud Assembly.

Como es costumbre comencemos con un poco de teoría…

Cloud-Init es la inicialización automatizada de OpenStack de una nueva instancia, la cual es una tarea que debe dividirse entre la infraestructura de la nube y el sistema operativo invitado. OpenStack ™ proporciona los metadatos necesarios a través de HTTP o ConfigDrive y Cloud-Init se encarga de configurar la instancia en Linux.

Sin embargo, ¿qué pasaría si necesitara hacer lo mismo, pero en un sistema operativo Windows®?

Cloudbase-Init™ es el equivalente de Windows del proyecto Cloud-Init utilizado en la mayoría de las imágenes de OpenStack Linux. Cuando se implementa como un servicio en Windows, Cloudbase-Init se encarga de todas las acciones de inicialización del invitado: expansión del volumen del disco, creación de usuarios, generación de contraseñas, ejecución de scripts personalizados de PowerShell, CMD y Bash, plantillas de Heat, configuración de comunicación remota de PowerShell y mucho más.

Aunque había opciones limitadas para la inicialización de invitados hasta hace poco, ahora puede estar seguro. Cloudbase-Init es el equivalente en Windows de Cloud-Init: un proyecto de código abierto que trae todas las funciones manejadas en Linux, a Windows.

Para hacer uso de Cloud-Init en los Cloud Templates (blueprints) de Cloud Assembly podemos agregar una sección cloudConfig al código del blueprint, en la que podemos agregar comandos de inicialización de máquina que se ejecutan en el momento de la implementación.

cloudConfig: cloudConfig es el código YAML usado en los blueprints de VMware que envía instrucciones a Cloud-Init través de la unidad de CD-ROM en la plantilla de la máquina virtual.

Que pueden hacer los comandos de cloudConfig?

Ejecutar comandos de inicialización para automatizar la aplicación de configuraciones en el momento de la creación de la instancia, por lo que podemos personalizar usuarios, permisos, instalaciones o cualquier otra operación basada en comandos. Ejemplos incluyen:

  • Establecer un nombre de host (hostname).
  • Generación y configuración de claves privadas SSH.
  • Instalar paquetes de software.

Dónde se pueden agregar los comandos de cloudConfig?

Puede agregar una sección cloudConfig al código de Cloud Template (blueprint) como se muestra en el siguiente código. Básicamente como una propiedad del componente máquina virtual.

Pero también puede agregarse en la configuración de Image Mapping. Cuando se configura la infraestructura, específicamente al crear Image Mappings tenemos la opción de agregar comandos cloud-init en el botón EDIT bajo la opción Cloud Configuration.

De esta manera, todos los blueprints que hacen referencia a la imagen de origen (Image Mapping) obtienen la misma inicialización.

Es posible que tenga un Image Mapping y blueprint donde ambos contienen comandos de inicialización. En este caso, en el momento del despliegue, los comandos se fusionan y Cloud Assembly ejecuta los comandos consolidados.

Por otra parte, cuando el mismo comando aparece en ambos lugares (en el blueprint y en el Image Mapping) pero incluye diferentes parámetros, solo se ejecuta el comando definido en el Image Mapping debido a que estos comandos tienen prioridad sobre los comandos del Cloud Template (blueprint).

Haga clic en el enlace para obtener más información sobre Image Mappings en vRealize Automation Cloud.

Ejemplos de comandos de cloudConfig

La siguiente sección de ejemplo cloudConfig se toma del código del blueprint del WordPress casos de uso para el servidor MySQL basado en Linux.

Cómo se forman los comandos de cloudConfig?

Lo primero que debemos tener presentes es que Linux cloud-init y Windows Cloudbase-init no comparten la misma sintaxis. Una sección cloudConfig para un sistema operativo no funcionará en una imagen de máquina de otro sistema operativo.

  • Linux: Los comandos de inicialización siguen el estándar open cloud-init.
  • Windows: Los comandos de inicialización utilizan Cloudbase-init.

Cómo inicializar automáticamente una máquina en un Cloud Template (blueprint) de vRealize Automation Cloud Assembly?

Puede aplicar la inicialización de la máquina en vRealize Automation Cloud Assembly ejecutando comandos directamente o, si se implementa en Cloud Zones basadas en vSphere, puede hacerlo a través de los Customization Specification de vSphere. (Ver mas).

  • Comandos: Una sección cloudConfig en el código de su Cloud Template (blueprint) contiene los comandos que desea ejecutar.
  • Customization Specification (Especificaciones de personalización): Una propiedad en el código del Cloud Template (blueprint) hace referencia a un Customization Specification de vSphere por su nombre (el nombre del custom Spec).

PREPARACION DE TEMPLATES

Ahora que ya conocemos que es Cloud-Init, Cloudbase-Init, cloudConfig y como funcionan; veamos como es el importante proceso de preparación de la plantillas en vSphere tanto para Windows como para Linux. Ver mas (Opcional).

Preparación de Templates Windows

1. Descargue el instalador del agente desde el sitio oficial de descarga de Cloudbase.

2. Prepare la maquina con todo lo que necesita a nivel de sistema operativo para tener una plantilla funcional (actualizaciones, configuración de discos, instalación de agente de monitoreo, antivirus, etc).

3. Copie el instalador dentro de la VM que será la plantilla para los despliegues desde vRealize Automation.

4. Ejecute el instalador y haga clic en Next.

5. Acepte los términos de la licencia y luego clic en Next.

6. Tome nota de la ruta de instalación por Default, la va a necesitar mas adelante. Después clic en Next.

7. Cambie el Username default de Admin a Administrator y marque la opción Run Cloudbase-init service as LocalSystem. Luego clic en Next.

Nota 1: Si el usuario de administrador local no es Administrator recomiendo renombrarlo en el sistema operativo. De lo contrario en el campo Username indique el usuario de administrador local.

8. Clic en Install para inicial la instalación.

9. Cuando termine la instalación NO haga clic en Finish. Por el contrario vaya a la ruta donde instalo el programa dependiendo a su version de sistema operativo. (en este caso C:\Program Files\Cloudbase Solutions\Cloudbase-Init). Y verifique que existen los archivos cloudbase-init.conf y cloudbase-init-unattend.conf dentro de la carpeta \conf.

10. Utilice cualquier herramienta para editar como administrador el archivo cloudbase-init-unattend.conf y cambie el valor de metadata_services por el siguiente:

metadata_services=cloudbaseinit.metadata.services.ovfservice.OvfService

11. Guarde los cambios y después cierre el archivo cloudbase-init-unattend.conf.

12. Utilice cualquier herramienta para editar como administrador el archivo cloudbase-init.conf que se encuentra en la misma carpeta. En este caso fijaremos los valores de first_logon_behaviour, metadata_services y plugins. Para esto agregue las siguiente lineas al final del archivo.

first_logon_behaviour=always

metadata_services=cloudbaseinit.metadata.services.ovfservice.OvfService

plugins=cloudbaseinit.plugins.windows.createuser.CreateUserPlugin,cloudbaseinit.plugins.windows.setuserpassword.SetUserPasswordPlugin,cloudbaseinit.plugins.common.sshpublickeys.SetUserSSHPublicKeysPlugin,cloudbaseinit.plugins.common.userdata.UserDataPlugin

Nota 2: Configure el valor first_logo_behavior de acuerdo a sus necesidades. En este caso puntual no requerimos que el password de administrador sea cambiado después del despliegue de las VMs. first_logo_behavior puede tener los valores clear_text_injected_only, no, always. Para mayor información ver aquí.

13. Guarde los cambios y después cierre el archivo cloudbase-init.conf.

14. Vuelva a la vista del asistente de instalación y haga clic en Finish sin marcar ninguna opción.

Nota 3: VMware ha visto casos en los que la ejecución de Sysprep impide que funcionen los despliegues de las imagenes.

Durante el deploy, vRealize Automation Cloud Assembly aplica una especificación de personalización (Customization Specification) generada dinámicamente, que desconecta la interfaz de red. El estado de Sysprep pendiente en la imagen puede hacer que falle el Customization Specification de vSphere y dejar el despliegue desconectado.

Por esta razón, si va a utilizar Customization Specification de vSphere deje las opciones de Sysprep desactivadas al crear la imagen (recomendado). Por el contrario si va realizar el Sysprep desde cloudbase-init entonces marque las dos opciones antes de finalizar la instalación.

15. (Opcional Recomendado) Apague la maquina virtual, haga clic con el botón derecho en editar la configuración, cambie la unidad de CD/DVD 1 a Client Device con el Device Mode en Passthrough CD-ROM.

16. Convierta la maquina virtual en Template en el inventario de vCenter Server.

17. En este punto ya podrá configurar el Image Mapping en Cloud Assembly para usar esta plantilla (sino sabe como hacerlo vea How to add image mapping in vRealize Automation to access common operating systems).

Nota 4: La siguiente tabla explica un poco las entradas realizadas durante la instalación

Ejemplo de utilización en Cloud Template (blueprint) con imagen Windows

Para verificar el funcionamiento de los comandos cloudbase-init enviados a través del cloudConfig desde el Cloud Template, recomiendo crear un Cloud Template (bueprint) básico que cree un archivo test.txt en la raíz de disco C:/.

Realice un despliegue de este blueprint de prueba y debería haberse creado un archivo test.txt en la raíz del disco C:/.

Nota 5: Si todo va bien hasta aquí, puede comenzar a diseñar sus Cloud Templates (blueprints) mas complejos. Utilice siempre la propiedad customizationSpec: [nombre del Customization Specification file de vSphere] si desea realizar el Sysprep desde vSphere.

Preparación de Template RedHat/Centos/Ubuntu

Al desplegar maquinas basadas en Linux desde vRealize Automation, que incluyen comandos cloud-init, se recomienda personalizar la imagen para evitar conflictos entre cloud-init y custom specification. Esto debido a que pueden existir diseños que no funcionen correctamente y podrían producir algunos de los siguientes resultados no deseados. (tomado de vSphere static IP address assignment in Cloud Assembly cloud templates):

  • El código de cloud-init no contiene comandos de asignación de red y la propiedad customizeGuestOs es false.
    Ni los Comandos de inicialización (cloud-init) ni el Customization Spec están presentes para configurar los ajustes de red.
  • El código de cloud-init no contiene comandos de asignación de red y la propiedad ovfProperties está establecida.
    Los comandos de inicialización (cloud-init) no están presentes, pero ovfProperties bloquea el Customization Spec.
  • El código de cloud-init contiene comandos de asignación de red y la propiedad customizeGuestOs falta o está configurada como true.
    La aplicación de Customization Spec (vSphere) entra en conflicto con los comandos de inicialización (cloud-init).

Por suerte, alguien ya se tomó el trabajo de crear unos scripts para la preparación de maquinas RedHat, CentOs y Ubuntu que nos ayudan a evitar esos comportamientos inesperados cuando combinamos Custom Spec y cloud-init.

De esta manera la preparación de los templates con cloud-init para este tipo de sistemas operativos se resume en la ejecución del script correspondiente.

1. Descargue los scripts de preparación del siguiente repositorio externo.

Nota 6: Hay dos archivos para cada una de las distribuciones de Linux, los que tienen un myblog al final del nombre del archivo usan un enfoque de cron job que se explica en este blog y el que no lo tiene, usa un servicio runonce personalizado que creamos en lugar de usar un cron job. Ambos funcionan, pero al final estos son dos enfoques diferentes, puede usar el que prefiera. Personalmente recomiendo utilizar el que usa el servicio runonce (sin “myblog” al final del nombre del archivo).

2. Cargue el script a la ruta /tmp del servidor Linux que utilizará como Template para vRealize Automation.

Si utiliza una herramienta como WinSCP. Suba el archivo utilizando la opción de texto plano, para evitar que se cambie el formato del mismo.

3. Verifique el formato del archivo desde una ventana de Terminal dentro del OS. Para esto ejecute uno de los siguientes comando según corresponda con el sistema operativo invitado.

vi /tmp/build-centos-rhel-vra8-template.sh

ó

vi /tmp/build-ubuntu-vra8-template.sh

4. Escriba :set ff? y enter para verificar el formato del archivo cargado.

Si la salida del comando anterior es fileformat=dos entonces deberá ejecutar el siguiente comando para convertirlo a formato UNIX, de lo contrario no podrá ejecutar el script.

5. Escriba ahora :set ff=unix y enter para cambiar el formato del archivo.

6. Guarde los cambio ejecutando :wq

7.  Tómese un tiempo para inspeccionar el script y cambiar el usuario cloudadmin por administrator o root (dependiendo de su configuración).

8.  Comente la ultima línea para evitar que la maquina se apague de manera automática y guarde los cambios. Esta línea la ejecutaremos de forma manual cuando termine la ejecución del script.

9. Cambie los permisos del archivo ejecutando uno de los siguiente comandos (dependiendo de su OS).

chmod +x  /tmp/build-centos-rhel-vra8-template.sh 

ó

chmod +x /tmp/build-ubuntu-vra8-template.sh

10. Importante: Verifique que el servidor tenga salida a internet y alcance los repositorio de actualización.

11. Pruebe el comando yum install -y cloud-init, si funciona correctamente entonces podemos ejecutamos el script con el siguiente comando dependiendo de OS.

 ./tmp/build-centos-rhel-vra8-template.sh 

ó

./tmp/build-ubuntu-vra8-template.sh

12. Si la instalación finaliza correctamente, ejecute el apagado de la maquina con el siguiente comando.

shutdown -h now

13. (Opcional Recomendado). Haga clic con el botón derecho en editar la configuración, cambie la unidad de CD/DVD 1 a Client Device con el Device Mode en Passthrough CD-ROM.

14. Convierta la maquina virtual en Template en el inventario de vCenter Server.

15. En este punto ya podrá configurar el Image Mapping en Cloud Assembly para usar esta plantilla (sino sabe como hacerlo vea How to add image mapping in vRealize Automation to access common operating systems).

Ejemplo de utilización en Cloud Template (blueprint) con imagen RedHat/CentOS/Ubuntu

Para verificar el funcionamiento de los comandos cloud-init enviados a través del cloudConfig desde el Cloud Template, recomiendo crear un Cloud Template básico que cree un archivo test.txt en el repositorio /tmp/test.

Realice un despliegue de este blueprint de prueba y debería haberse creado un archivo Test.txt en el repositorio /tmp/test.

Nota 7: En las maquina Linux los comandos enviados desde cloudConfig pueden visualizarse en el archivo

/var/lib/cloud/instance/cloud-config.txt dentro del OS. Esto es útil cuando necesitamos hacer troubleshooting y necesitamos validar si los comandos están entrando a la maquina.

Al abrir el contenido del archivo podemos visualizar todos los comandos que hemos configurado en la sección cloudConfig del Cloud Template (blueprint) de vRealize Automation.

Preparación de Template SUSE

Llegamos a la ultima plantilla que veremos en este blog, y es tal vez de la que menos información encontramos en la web. Bueno, que realmente funcione sin darnos tantos dolores de cabeza.

El procedimiento de preparación de se resume en los siguientes pasos.

1. Verifique que la maquina virtual que será plantilla para vRealize Automation tenga salida a internet para alcanzar los repositorios de descarga de SUSE.

2. Instalar dependencias recomendadas en el enlace de IBM.

Para instalar los paquetes en SUSE ejecute los siguientes comandos como root.

zypper install xfsprogs
zypper install python3-oauthlib
zypper install python3-Jinja2
zypper install python3-PyYAML
zypper install python3-distro
zypper install python3-jsonpatch
zypper install python3-jsonschema
zypper install python3-PrettyTable
zypper install python3-requests
zypper install python3-configobj

Nota 8: Si por alguna razón falla la instalación de los paquetes python3-jsonpatch y
python3-jsonschema entonces intente instalarlos manualmente con ayuda de la documentación oficial de SUSE.

Ejemplo para SUSE SLE 15.3 (tomado de la documentación oficial python-jsonpatch from devel:languages:python)

En el ejemplo anterior encontramos el repositorio para instalar python-jsonpatch y con el pudimos instalar python3-jsonpatch y python3-jsonschema. No se preocupe si su version de SUSE no es la misma, solo es cuestión de buscar rápidamente en la web el comando correcto para su version.

3. Una vez instalados todos lo paquetes listados anteriormente. Proceda a instalar el cloud-init como lo indica la documentación oficial de SUSE cloud-init from Cloud:Tools. De nuevo puede apoyarse de la web para buscar el comando correcto de acuerdo a su version de SUSE.

Ejemplo para SUSE 15:

4. Una vez terminada la instalación del componente cloud-init en el Template. Ejecute los siguientes comandos:

systemctl enable cloud-init-local.service
systemctl enable cloud-init.service
systemctl enable cloud-config.service
systemctl enable cloud-final.service
systemctl start cloud-init.service
systemctl start cloud-init-local.service
systemctl start cloud-config.service
systemctl start cloud-final.service
cloud-init status
cloud-init clean

5. Si los comando se ejecutan correctamente, realize el apagado de la maquina con el siguiente comando.

shutdown -h now

6. (Opcional Recomendado). Haga clic con el botón derecho en editar la configuración, cambie la unidad de CD/DVD 1 a Client Device con el Device Mode en Passthrough CD-ROM.

7. Convierta la maquina virtual en Template en el inventario de vCenter Server.

8. En este punto ya podrá configurar el Image Mapping en Cloud Assembly para usar esta plantilla (sino sabe como hacerlo vea How to add image mapping in vRealize Automation to access common operating systems).

Ejemplo de utilización en Cloud Template (blueprint) con imagen SUSE

De manera similar a como lo hemos hecho en los casos anteriores, para verificar el funcionamiento de los comandos cloud-init enviados a través del cloudConfig desde el Cloud Template, recomiendo crear un Cloud Template básico que cree un archivo test.txt en el repositorio /tmp/test.

Realice un despliegue de este blueprint de prueba y debería haberse creado un archivo test.txt en el repositorio /tmp/test.

De igual manera a como lo hicimos en el Template RedHat, en SUSE podemos verificar los comando que fueron enviados desde cloudConfig a la nueva instancia de maquina, en el archivo /var/lib/cloud/instance/cloud-config.txt

Nota 8: Puede hacer uso de los logs de cloud-init para hace troubleshooting de ser necesario.

Ejemplo: Visualizacion de Logs.

NOTAS ADICIONALES PARA TODOS LOS TEMPLATES

Nota 9: Para garantizar una interpretación correcta de los comandos, incluya siempre el carácter de barra vertical cloudConfig: | como se muestra.

Nota 10: Si una secuencia de comandos de cloud-init se comporta de manera inesperada, verifique la salida de la consola en /var/log/cloud-init-output.log cuando haga troubleshooting. Para obtener más información sobre cloud-init, puede consultar la documentación oficial de cloud-init .

Nota 11: Cuando despliegue en vSphere, proceda con cuidado si intenta combinar los comandos integrados de cloudConfig con la utilización de Customization Specification de vSphere. No son formalmente compatibles y pueden producir resultados inconsistentes o no deseados cuando se usan juntos. Sin embargo, puede utilizarlos juntos de forma segura siempre y cuando NO utilice comandos de inicialización para la red en cloudConfig ya que esta acción la realiza el Customization Specification de vSphere. Recomiendo leer el siguiente enlace y revisar los ejemplos allí descritos para entender cómo interactúan los comandos y los Custom Specification. Revise los ejemplos para Asignación de direcciones IP estáticas en Cloud Templates de Cloud Assembly .

Nota 12: Es posible examinar los comandos que son enviados a través de cloudConfig desde vRealize Automation. Para esto siga los siguientes pasos.

1. Abra el Deployment en vRealize Automation y después Clic en Topology.

2. En el panel del lado derecho expanda la sección > Cloud Config.

3. Revise los comando que fueron enviados a la instancia de maquina virtual durante el despliegue.

Nota 13: Puede configurar la propiedad remoteAccess en el código del Cloud Template (blueprint) para crear un usuario adicional (diferente al administrator o root) para el acceso después del despliegue de la maquina virtual. Por supuesto deberá utilizar la propiedad de cloudConfig para enviar comandos cloud-init (Linux) o cloudbase-init (Windows) y de esta manera otorgar los permisos necesarios dentro de la maquina virtual. Por defecto tendrá permisos de acceso remoto. (Para mayor información ver aquí).

Nota 14: Los blueprint a partir de la version de vRealize Automation 8.2 han sido renombrados como Cloud Templates.

OPCIONAL

Por ultimo y como paso adicional a la preparación de las plantillas de cualquier sistema operativo. Solo si evidencia algún conflicto entre Custom Spec y cloud-Init, aunque no debería; pero si es el caso siga las recomendaciones descritas en How to make a Cloud Assembly deployment wait for initialization, para hacer que la inicialización de la maquina desplegada por Cloud Assembly espere un tiempo antes de comenzar.

Referencias

  1. Cloudbase-Init
  2. Cloud-Init
  3. Configuration commands in Cloud Assembly templates
  4. vSphere static IP address assignment in Cloud Assembly cloud templates
  5. How to perform Windows guest customization
  6. How to automatically initialize a machine in a vRealize Automation Cloud Assembly template
  7. Creating and Managing Customization Specifications
  8. How to create an initializable Windows image for vSphere
  9. Cloudbase-init Configuration options reference
  10. Windows guest initialization with Cloudbase-Init in vCenter
  11. Logging for cloud-init in redhat OS
  12. Add repository and install manually python-jsonpatch for SUSE SLE 15
  13. Preparing a vSphere VM to Receive a cloud-init Script (KB 76346)
  14. Installing and configuring cloud-init on SLES
  15. cloud-init from Cloud:Tools project
  16. python-jsonpatch from devel:languages:python project
  17. Prepare a SLES or openSUSE Leap virtual machine for Azure
  18. How to add image mapping in vRealize Automation to access common operating systems
  19. How to enable remote access in vRealize Automation Cloud Assembly templates
  20. Supply a username and password to vRealize Automation Cloud Assembly
  21. How to Use Remote Access Authentication in your Cloud Assembly Deployments