Linked Services - Azure Data Factory
Linked Services para Azure Data Lake Storage Gen2¶
NOTA: El recurso de "Azure Blob Storage" o "
Azure Data Lake Storage Gen1/Gen2" ya debe estar creado previamente para continuar con esta parte del proceso, en caso se lo tengas aun creado revisa el siguiente Post(clic aki).
Ingresamos a nuestro recurso de Azure Data Factory y hacemos clic en el botón de "Launch Studio".
- Dentro de tu Azure Data Factory Studio, en el entorno de diseño, iremos al panel de navegación izquierdo, selecciona el botón de "
Manage" (icono del engranaje).
- Bajo la sección "Linked services", selecciona el botón "
+ New".
- En la ventana "New linked service", aparecerá una lista de los diferentes tipos de Linked Services que puedes crear.
- Busca y selecciona "Azure Blob Storage" o "
Azure Data Lake Storage Gen1/Gen2", dependiendo del tipo de Storage Account que tengas. - Clic en "
Continue" en la parte inferior.
Llena los campos necesarios para configurar el Linked Service. Los campos típicos incluyen:
- 1.-Name: Un nombre descriptivo para el Linked Service, para este caso lo nombraremos "
lkdsAdls", buscando cumplir con la Definición de convención de nomenclatura establecida por Azure como buenas prácticas para el nombramiento de recursos. - Podemos asignar una breve descripción de Linked Services.
- 2.-Al tratarse de una conexión de dos servicios que se encuentran en la misma cloud utilizamos "
AutoResolveIntegrationRuntime". -
3.-Seleccionamos el tipo de autenticación en este ejemplo "
Account key". -
4.-Subscription: Selecciona tu suscripción de Azure.
-
5.-Storage account name: Selecciona tu Storage Account desde el listado, en este caso seleccionamos el previamente creado llamado "
adlsacm001".- Authentication method: Selecciona el método de autenticación. Puede ser mediante la cuenta de servicio como en el ejemplo actual ó una clave de acceso o Managed Identity.
- Account key o Managed Identity: Ingresa la clave de acceso si has seleccionado la autenticación mediante clave.
-
Después de ingresar toda la información requerida, selecciona el botón "Test connection" para asegurarte de que los datos ingresados son correctos y que Data Factory puede conectarse al Storage Account.
Si la conexión es exitosa, recibirás un mensaje de confirmación.
- Si la prueba de conexión es exitosa, selecciona "Create" para finalizar la creación del Linked Service.
Linked Services para Azure SQL Database¶
NOTA: El recurso de "
Azure SQL Database" ya debe estar creado previamente para continuar con esta parte del proceso, en caso se lo tengas aun creado revisa el siguiente Post Clic aki.
Ingresamos a nuestro recurso de Azure Data Factory y hacemos clic en el botón de "Launch Studio".
- Dentro de tu Azure Data Factory Studio, en el entorno de diseño, iremos al panel de navegación izquierdo, selecciona el botón de "
Manage" (icono del engranaje). - Bajo la sección "Linked services", selecciona el botón "
+ New".
- En la ventana "New linked service", aparecerá una lista de los diferentes tipos de Linked Services que puedes crear.
- Busca y selecciona "Azure SQL Database".
- Clic en "
Continue"
Llena los campos necesarios para configurar el Linked Service. Los campos típicos incluyen:
- 1.-Name: Un nombre descriptivo para el Linked Service, para el ejemplo lo llamamos "
lkdsSqlDatabase", buscando cumplir con la Definición de convención de nomenclatura establecida por Azure como buenas prácticas para el nombramiento de recursos. - Podemos asignar una breve descripción de Linked Services.
- 2.-Al tratarse de una conexión de dos servicios que se encuentran en la misma cloud utilizamos "
AutoResolveIntegrationRuntime". - 3.-Subscription: Selecciona tu suscripción de Azure.
- 4.-Server name: Selecciona o ingresa el nombre del servidor SQL.
- 5.-Database name: Ingresa el nombre de la base de datos SQL.
- Nos desplazamos hacia la parte inferior para continuar con la configuración..
- 1.-Authentication type: Selecciona el método de autenticación (Basic, Managed Identity, Service Principal, etc.).
Username y Password estos datos se crearon previamente con la generacion del recurso Azure SQL Database:
- 2.-Username: Ingresa el nombre de usuario si seleccionaste la autenticación básica.
- 3.-Password: Ingresa la contraseña si seleccionaste la autenticación básica.
- 4.-Después de ingresar toda la información requerida, selecciona el botón "Test connection" para asegurarte de que los datos ingresados son correctos y que Data Factory puede conectarse al Storage Account.
Si la conexión es exitosa, recibirás un mensaje de confirmación.
- 5.-Si la prueba de conexión es exitosa, selecciona "Create" para finalizar la creación del Linked Service.
Linked Services para Azure Virtual Machine¶
NOTA: El recurso de "
Azure Virtual Machine" ya debe estar creado previamente para continuar con esta parte del proceso, en caso se lo tengas aun creado revisa el siguiente Post(clic aki). Esto puede ser replicado en un entorno On-Premise(servidor local) el cual simula la Virtual Machine en el Proyecto.
- Asegúrate de que SQL Server esté instalado y configurado en tu VM.
- Verifica que la VM tenga una IP pública o un nombre de dominio accesible.
- Configura las reglas de firewall en la VM para permitir el tráfico en el puerto TCP 1433 (puerto predeterminado de SQL Server).
- Asegúrate de que SQL Server esté configurado para aceptar conexiones remotas.
Ingresamos a nuestro recurso de Azure Data Factory y hacemos clic en el botón de "Launch Studio".
- Dentro de tu Azure Data Factory Studio, en el entorno de diseño, iremos al panel de navegación izquierdo, selecciona el botón de "
Manage" (icono del engranaje). - Bajo la sección "Linked services", selecciona el botón "
+ New".
- En la ventana "New linked service", aparecerá una lista de los diferentes tipos de Linked Services que puedes crear.
- Busca y selecciona "File System".
- Clic en "
Continue"
Para configurar el New Linked Services debemos revisar algunos recursos creados previamente¶
Iniciamos...
- 1.-Name: Un nombre descriptivo para el Linked Service, para el ejemplo lo llamamos "
lkdsFileSystem", buscando cumplir con la Definición de convención de nomenclatura establecida por Azure como buenas prácticas para el nombramiento de recursos. - Podemos asignar una breve descripción de Linked Services.
- 2.-Connect via integration runtime: en este caso selecionamos la integracion nombrada "
IR-LOCALHOST", de tipo Self-Host configurada previamente en nuestra Virtual Machine. - 3.-Utilizamos para el Host: Ruta donde se almacena nuestra data a cargar en el servidor que puede ser Virtual Machine ó On-Premise(Revisar Clic Aki)
- 4.-User name: utilizamos el nombre de user administrador y El nombre de la makina virtual(Revisar Clic Aki); ejemplo para este proyecto utilizamos "
vm-retail-prod@vm-retail-acm-001". - 5.-Password: Ingresamos la password de nuestro usuario administrador de la VM.
- 6.-Después de ingresar toda la información requerida, selecciona el botón "Test connection" para asegurarte de que los datos ingresados son correctos y que Data Factory puede conectarse al Storage Account.
Si la conexión es exitosa, recibirás un mensaje de confirmación.
- 7.-Si la prueba de conexión es exitosa, selecciona "Create" para finalizar la creación del Linked Service.
a.- Ruta donde se almacena nuestra data a cargar en el servidor que puede ser Virtual Machine ó On-Premise¶
b.- Utilizando la Virtual Machine requerimos del nombre asignado a la VM¶
Linked Services para Azure Databricks¶
NOTA: El recurso de "
Azure Databricks" ya debe estar creado previamente para continuar con esta parte del proceso, en caso se lo tengas aun creado revisa el siguiente Post(clic aki).
Ingresamos a nuestro recurso de Azure Data Factory y hacemos clic en el botón de "Launch Studio".
- Dentro de tu Azure Data Factory Studio, en el entorno de diseño, iremos al panel de navegación izquierdo, selecciona el botón de "
Manage" (icono del engranaje). - Bajo la sección "Linked services", selecciona el botón "
+ New".
