AI 함수 - 사용자 지정 모델 엔드포인트 지정

 

AI 함수 - 사용자 지정 모델 엔드포인트 지정

 

이전 글에서 텍스트 분석에 AI 함수를 이용해보았습니다. Azure에 리소스를 생성하지 않고도 AI 함수를 잘 이용할 수 있는데요. 이런 경우는 기본적으로 패브릭 LLM 엔드포인트를 사용합니다. 그래서 기본적인 패브릭 LLM 모델을 이용하게 됩니다. 데이터 원본을 따로 지정하거나 보안을 강화하는 경우라면 사용자 고유의 모델 엔드포인트를 사용하여 사용자의 Azure 리소스를 이용하게 설정할 수도 있습니다.  

여기서는 간략히 사용자 지정 모델 엔드포인트를 설정하여 AI 함수를 호출해보겠습니다.

먼저 사용자의 Azure 리소스가 있어야 합니다. Azure AI Foundry에서 프로젝트를 생성합니다. 프로젝트에서 엔트포인트와 키를 확인할 수 있습니다.

해당 프로젝트는 gpt-4.1-mini 모델을 가지고 있습니다.

엔드포인트를 사용자 지정하지 않고 노트북에서 AI 함수를 호출 시 엔드포인트를 출력해보면 다음과 유사하게 나타납니다.

https://f14d9194c0234e7fb8bef30ab7b0a13e.pbidedicated.windows.net/webapi/capacities/~~~

 

위에서 생성한 리소스의 엔드포인트와 키를 지정하여 aifunc를 생성하면, 해당 노트북 세션에서는 사용자 지정 엔드포인트를 이용하게 됩니다. AI 함수를 이용하기 전에 아래와 같은 코드를 실행합니다.

위 코드를 실행한 후 엔드포인트를 출력해보면 Azure 리소스의 OpenAI 엔드포인트를 표시합니다. 노트북 세션을 새로 시작하고, 임의의 엔드포인트와 키를 입력하게 되면 AI 함수가 실행되지 않습니다. Azure AI Foundry 프로젝트의 엔드포인트와 키를 입력하여 진행합니다.

모니터링을 확인해보면 사용자 지정 엔드포인트를 이용하여 해당 리소스가 호출이 되는 것을 확인할 수 있습니다.

 

 간략히 텍스트 분석을 위해 AI 함수를 이용하는 방법을 확인해보았습니다. 아직 미리보기 기능이며 한글은 미흡한 부분이 있으며, 다른 모델이나 서비스와 비교하여 분석에 활용할 수 있습니다.