본문 바로가기

Cloud/AZURE

(66)
Azure OpenAI 성능 및 대기 시간 시스템 수준 처리량(System level throughput) Model의 Deployment의 전체 용량(분당 요청 수, 처리 할 수 있는 총 토큰) 표준 배포(Standard Deployment) - Deployment에 할당된 할당량(quota)이 처리량에 부분적으로 영향 - 단, 실제 할당량은 Deploy에 대한 호출 승인 로직만 결정하고, 처리량에 대해서 강제하지는 않음. - 호출에 대한 지연으로 할당량만큼의 높은 처리량이 불가 할 수도 있음. ※ 할당량은 TPM(Token Per Minute) 단위로 지역 별, 모델 별로 구독에 할당 됨. TPM 내에서 Deployment를 1개로 운영하거나, TPM을 나눠서 2개 이상 운용 가능 Provisioned Deployment - 설정된 양의 모델..
Azure OpenAI Assistant - Part 1 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 첫 번째 포스팅에서는 Play Ground를 통해서 Assistant 기능 중, Code Interpreter 사용해 봅니다. Code Interpreter를 사용하면, Assistants API를 사용하여, 샌드박스 환경에서 Python 코드를 작성하여 실행하게 됩니다. Azure OpenAI Studio의 좌측의 Playground 메뉴를 보면, 다음과 같이 Assistant가 Preview로 추가된 것을 볼 수 있습니다. Assistant는 현재(24.03.01) 3개의..
Azure AI Studio - Part 3 (prompt flow) Today Keys : azure ai, ai studio, studio, prompt flow, runtime, model, catalog, playground, 프롬프트, 플로우 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 세 번째 포스팅입니다. 세 번째 포스팅에서는 Azure AI Studio에서 제공하는 Prompt flow에 대해서 기본적인 생성 및 예시 Flow를 하나씩 만들어서 실행해 봅니다. Prompt flow가 어떻게 돌아가는지 예시를 통해서 알아보고 이후 포스팅에서는 이러한 예시를 변경해서 Prompt flow를 어떻게 활용 할 수 있는지 알아 보겠습니다. Prompt Flow를 만들기 위해서, 프로젝트에서 Flows로 들어갑니다. Create 메뉴를 눌러..
Azure AI Studio - Part 2 Today Keys : azure ai, ai studio, studio, model, catalog, playground 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 두 번째 포스팅입니다. 두 번째 포스팅에서는 Azure AI Studio 에서 Project를 만든 후에, Project에서 제공되는 Playground를 사용하는 방법에 대해서 다룹니다. 이후 포스팅에서는 Project에서 제공되는 기능에 대해서 추가적으로 알아 볼 예정입니다. Project 생성을 위해서 Azure AI Studio에서 'Build' 메뉴로 갑니다. 프로젝트 생성은, 프로젝트 이름과 함께 프로젝트에서 사용 할 Azure AI 리소스를 선택하여 생성합니다. 생성된 프로젝트를 보시면, 다양한 도..
Azure AI Studio - Part 1 Today Keys : azure ai, ai studio, studio, model, catalog 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 첫 번째 포스팅입니다. 첫 번째 포스팅에서는 Azure AI Studio 사용을 위해서 리소스를 생성하고, Azure AI Studio에 접속해서 제공되는 서비스를 간략하게 알아봅니다. Azure AI Studio를 만들기 위해서, Azure AI Studio 메뉴에서 Create 메뉴를 클릭해서 아래와 같이 Azure AI 리소스 생성을 시작합니다. Azure AI Studio를 위해서 필요한 Azure AI 리소스를 연결하는 데, 기존에 생성된 AI 관련 리소스를 선택하거나 새롭게 만드시면 됩니다. 이번 포스팅에서는 모두 새롭게..
Azure Application Gateway - Private Link 1 Today Keys : Application gateway, private link, endpoint, private, secure, security, connection, 프라이빗 이번 포스팅에서 다룰 내용은 현재 Preview로 제공되는 Azure Application Gateway의 Private Link를 만들고, 테스트 해보는 예제를 다뤄봅니다. 기존에 Network Loadbalancer를 통해서 사용자 서비스에 대한 Private Link를 Application Gateway에서도 지원하게 되면서 보다 다양한 설계가 가능하게 될 것 같습니다. '22.6.13부터 Preview 제공 중인 Application Gateway의 Private Link를 테스트하기 위한 이번 포스팅의 구성입니다. ..
Azure VNet Peering Today Keys : vnet, peering, sync, address space, azure, 피어링 이번 포스팅은 Azure VNet이 Peering된 상태에서 Address Space를 변경하는 예제입니다. 기존에는 Peering이 된 상태에서는 Address space 변경이 불가했으나, Peering된 VNet에 대한 Address Space 변경에 대한 지원이 22년 9월 15일부터 GA되었습니다. (Preview는 21년 8월 13일) 예전에는 Azure에서 VNet을 생성한 이후에, VNet에 할당된 IP대역인 Address Space 조정이 필요한 경우에 수정이 가능하지만, VNet을 다른 VNet과 Peering으로 연결한 경우에는 VNet의 Address Space에 대한 변경이 ..
Azure Private DNS Resolvers 구성해보기 Today Keys : private, dns, resolver, domain, hybrid, on-premises, 도메인, conditional, forwarder, forwarding, rule 이번 포스팅 지난 5월 17일에 Public Preview로 공개된, Azure DNS Private Resolver에 대한 테스트를 해보는 내용입니다. 기존의 Hybrid Cloud 환경에서 On-Premises와 DNS Query를 원활하게 하기 위해서는 Azure VNet 내에 IaaS로 기반의 DNS 솔루션을 별도로 만들어서 사용해야 했지만, 이제 Managed 형태의 서비스로 On-Premises ↔ Azure 간의 DNS 조회를 할 수 있게 됩니다. 오늘 포스팅에서 다뤄진 아키텍처입니다. On-P..