본문 바로가기

Cloud

 (167)
Azure Application Gateway(v2) IPv6 지원 GA 작년에 Preview로 출시한, Application Gateway의 IPv6 지원이 '24년 3월 20일자로 GA 되었습니다. IPv4 주소 부족 이슈와, IPv6 Client 지원이 필요한 경우에도 이제 Applicaton Gateway를 통해서 IPv6로 서비스가 가능합니다. 기존의 IPv4 전용 Application Gateway를 IPv4와 IPv6가 모두 가능한 Dual Stack Application Gateway로는 변경이 불가하고, 신규 Application Gateway로 만드셔야 사용이 가능합니다. IPv6 지원이 가능한 Application Gateway를 사용하기 위해서는 IPv4와 IPv6에 대한 서브넷이 모두 있는 Dual Stack VNet을 만들어서 사용해야 합니다. 다만,..
Azure OpenAI Assistant - Part 3 Today Keys : azure, openai, assistant, service, function, calling, 함수, 호출, api 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 첫 번째와 두 번째 포스팅에서는 Azure Open AI Assistant의 Code Interpreter을 사용해 보는 것을 알아보았고, 이번 포스팅에서는 Azure Open AI Assistant의 또 다른 기능인, Function Calling 사용하는 예제를 살펴봅니다. Azure OpenAI를 사용하기 위한 서비스를 생성합니다. 먼저 각자의 Azure Open API Key와 Endpoint를 설정하고, API Version은 Azure Op..
Azure AI Service : Speech Service로 음성 인식하기 Azure Speech Service를 사용하기 위해서 SDK를 pip을 이용해서 설치합니다. pip install azure-cognitiveservices-speech Speech Service SDK를 import하고, speech 서비스 사용을 위해서 key와 현재 speech service가 배포된 리전을 변수로 만듭니다. import azure.cognitiveservices.speech as speechsdk speech_key = "Azure AI Speech service key" service_region = "koreacentral" Key와 리전은 Azure에서 배포된 Speech 서비스에서 다음과 같이 확인이 가능합니다. 이제 음성 인식 내용을Text로 반환하는 함수를 아래와 같이..
Azure Private Subnet (Preview) Azure에서는 기본적으로 VNet 내의 VM에 대해서 Internet에 대한 Outbound 통신이 가능합니다. VNet을 생성하고, 서브넷을 구성하면 System Route가 기본으로 구성되는 데, System Route 중에 하나가 0.0.0.0/0 에 대한 인터넷 경로로의 통신입니다. 물론 명시적으로, 0.0.0.0/0에 대한 추가 라우팅을 구성하여 재정의가 가능합니다. 다만, 재정의가 아닌 System Route의 삭제는 불가합니다. 그리고, 이러한 통신을 위해서 기본 Outbound Access IP(공인 IP)가 자동으로 할당됩니다. 이 공인 IP와 System Route를 통해서 기본적으로 인터넷 Outbound 통신이 가능합니다. 그런데, 23년 11월에 Privae Subnet 기능이 ..
Azure OpenAI Assistant - Part 2 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 두 번째 포스팅에서는 첫 번째 포스팅에서 Play Ground를 통해서 사용한 Code Interpreter를 코드를 이용해서 사용해 봅니다. Azure OpenAI를 사용하기 위한 서비스를 생성합니다. 먼저 각자의 Azure Open API Key와 Endpoint를 설정하고, API Version은 Azure Open AI의 Assistant를 지원하는 API 버전인 2024-02-15-preview 버전을 사용합니다. import os import time import ..
Azure OpenAI 성능 및 대기 시간 시스템 수준 처리량(System level throughput) Model의 Deployment의 전체 용량(분당 요청 수, 처리 할 수 있는 총 토큰) 표준 배포(Standard Deployment) - Deployment에 할당된 할당량(quota)이 처리량에 부분적으로 영향 - 단, 실제 할당량은 Deploy에 대한 호출 승인 로직만 결정하고, 처리량에 대해서 강제하지는 않음. - 호출에 대한 지연으로 할당량만큼의 높은 처리량이 불가 할 수도 있음. ※ 할당량은 TPM(Token Per Minute) 단위로 지역 별, 모델 별로 구독에 할당 됨. TPM 내에서 Deployment를 1개로 운영하거나, TPM을 나눠서 2개 이상 운용 가능 Provisioned Deployment - 설정된 양의 모델..
Azure OpenAI Assistant - Part 1 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 첫 번째 포스팅에서는 Play Ground를 통해서 Assistant 기능 중, Code Interpreter 사용해 봅니다. Code Interpreter를 사용하면, Assistants API를 사용하여, 샌드박스 환경에서 Python 코드를 작성하여 실행하게 됩니다. Azure OpenAI Studio의 좌측의 Playground 메뉴를 보면, 다음과 같이 Assistant가 Preview로 추가된 것을 볼 수 있습니다. Assistant는 현재(24.03.01) 3개의..
Azure AI Studio - Part 3 (prompt flow) Today Keys : azure ai, ai studio, studio, prompt flow, runtime, model, catalog, playground, 프롬프트, 플로우 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 세 번째 포스팅입니다. 세 번째 포스팅에서는 Azure AI Studio에서 제공하는 Prompt flow에 대해서 기본적인 생성 및 예시 Flow를 하나씩 만들어서 실행해 봅니다. Prompt flow가 어떻게 돌아가는지 예시를 통해서 알아보고 이후 포스팅에서는 이러한 예시를 변경해서 Prompt flow를 어떻게 활용 할 수 있는지 알아 보겠습니다. Prompt Flow를 만들기 위해서, 프로젝트에서 Flows로 들어갑니다. Create 메뉴를 눌러..

티스토리툴바