Creación de Azure Databricks

Para poder utilizar el recurso de Azure Databricks, es necesario no pertenecer a la capa gratuita de Azure, ya que en esta capa no nos permitirá crear el servidor (Compute) dedicado para el procesamiento en Databricks.

• 1.-Realizamos clic en el botón "Upgrate".
• 2.-Nos abrirá la interfaz de 'Upgrade', donde para este proyecto utilizaremos el plan "Basic".
• 3.-Procedemos a dar clic en el botón "Upgrade to pay as you go"

• Recargamos la página y esperamos unos minutos a que nuestra cuenta de Azure se actualize al nuevo plan.

• Verificamos que ya no pertenezcamos a la capa gratuita de Azure, a veces podría tardar varios minutos.
• Nos dirigimos grupo de recursos creado previamente. => Revisar aki
• En el grupo de recursos, Haz clic en el botón "+ Create".

• Se apretura la página Marketplace, busca "Azure Databricks" y selecciona "Azure Databricks" de los resultados de búsqueda.

• Una vez seleccionada la opción "Azure Databricks", haz clic en el botón "Create".

• 1.- Suscripción: Selecciona la suscripción que deseas usar.
• 2.- Grupo de recursos: Crea uno nuevo o selecciona uno existente.
• 3.- Nombre de la máquina virtual: Asigna un nombre, como ejemplo para el proyecto le asignamos "dbw-project-etl-001", el cual cumple con la Definición de su convención de nomenclatura establecida por Azure como buenas prácticas para el nombramiento de recursos.
• 4.- Región: Selecciona la región donde deseas crear el recurso.
• 5.- El pricing tier en Azure Databricks se refiere al plan de precios que determina los recursos y costos asociados. Los niveles comunes incluyen Standard Tier para equilibrio entre rendimiento y costo, y Premium Tier para mayor potencia y escalabilidad. Es importante elegir el nivel adecuado según las necesidades de tu proyecto. Para el proyecto seleccionamos el "Standard".
• 6.- Clic en "Review + create".

• Una vez configurado hacemos clic en el botón "Create".

• Nos dirigimos al recurso haciendo Clic en "Go to resource"

• Una vez dentro del recurso de Databricks, podemos acceder al panel de Azure Databricks haciendo clic en el botón "Launch Workspace".

Visualizamos la interfaz de trabajo de Azure Databricks; Nos dirijiremos a crear el "Compute"(servidor físico) para realizar el procesamiento y ejecución de los Notebooks:

• 1.- Clic en "Compute".
• 2.- Luego clic en "Create Compute".

Completa los detalles básicos como:

• 1.- Definimos el nombre del clúster,
• 2.- Establecemos el modo si será "Single mode" o "Multi node".
• 3.- Establecemos el access mode en "No isolation shared", para permitir el acceso al entorno de trabajo a mas usuraios que la cuenta principal.
• 4.- Elegimos el Databricks Runtime, se recomienda no seleccionar ni el primero ni los últimos para poder trabajar con una versión estable, para el proyecto seleccionamos la version "Runtime: 12.2 LTS".
• 5.- Mantener desactivado la opción de "Phothon Aceleration", devido a que representa un gasto adicional, se recomienda activarlo en caso requiera mejorar el rendimiento de las operaciones de Python en el clúster.
• 6.- Selecionamos el tipo de nodo (CPU o GPU), ajusta los tamaños y cantidades de nodos según tus necesidades de rendimiento y presupuesto, para el proyecto elegimos "Standard_DS3_V2".
• 7.- Establecemos los minutos de inactividad del clúster para que se apague automáticamente cuando no esté en uso.
• 8.- Finalmente le damos clic al botón "create compute".

Recuerda que puedes definir las características de escalado automático, si deseas que el clúster se ajuste automáticamente según la carga de trabajo. .

• Validamos que el clúster se haya creado satisfactoriamente.

Cargamos lo NoteBooks a Azure Databricks:

• Nos dirigimos a Workspace
• En el directorio Shared, importamos los notebooks, los cuales deben tener una extensión ".dbc".

• Finalmente, ya tenemos el clúster creado y listo para llamarlo al abrir los notebooks.

Creando SECRET SCOPES conectado a AZURE KEY VAULT (kv)

• Ir al workspace, luego a nuestro notebook de “Mount Storage”, finalmente modificar la url del workspace desde el “#”.
• reemplazar en parte de la url: "#secrets/createScope". Sintaxis:

https://<your_azure_databricks_url>#secrets/createScope

Una vez realizado el paso anterior, nuestra ventana cambiará al Homepage “Create Secret Scope”

• a. Scope name: “sc-adls”
• b. Manage principal: “All Workspace Users”
• c. CONFIGURACIÓN AZURE KEY VAULT

Ir a nuestro recurso “Key Vault”

a. Ir a properties

b. copiar y pegar DNS = Vault URI

c. Copiar y pegar Resource ID

• Aplicamos cambios, clic en “ok”.