본문 바로가기

Cloud

(170)
Azure OpenAI 성능 및 대기 시간 시스템 수준 처리량(System level throughput) Model의 Deployment의 전체 용량(분당 요청 수, 처리 할 수 있는 총 토큰) 표준 배포(Standard Deployment) - Deployment에 할당된 할당량(quota)이 처리량에 부분적으로 영향 - 단, 실제 할당량은 Deploy에 대한 호출 승인 로직만 결정하고, 처리량에 대해서 강제하지는 않음. - 호출에 대한 지연으로 할당량만큼의 높은 처리량이 불가 할 수도 있음. ※ 할당량은 TPM(Token Per Minute) 단위로 지역 별, 모델 별로 구독에 할당 됨. TPM 내에서 Deployment를 1개로 운영하거나, TPM을 나눠서 2개 이상 운용 가능 Provisioned Deployment - 설정된 양의 모델..
Azure OpenAI Assistant - Part 1 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 첫 번째 포스팅에서는 Play Ground를 통해서 Assistant 기능 중, Code Interpreter 사용해 봅니다. Code Interpreter를 사용하면, Assistants API를 사용하여, 샌드박스 환경에서 Python 코드를 작성하여 실행하게 됩니다. Azure OpenAI Studio의 좌측의 Playground 메뉴를 보면, 다음과 같이 Assistant가 Preview로 추가된 것을 볼 수 있습니다. Assistant는 현재(24.03.01) 3개의..
Azure AI Studio - Part 3 (prompt flow) Today Keys : azure ai, ai studio, studio, prompt flow, runtime, model, catalog, playground, 프롬프트, 플로우 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 세 번째 포스팅입니다. 세 번째 포스팅에서는 Azure AI Studio에서 제공하는 Prompt flow에 대해서 기본적인 생성 및 예시 Flow를 하나씩 만들어서 실행해 봅니다. Prompt flow가 어떻게 돌아가는지 예시를 통해서 알아보고 이후 포스팅에서는 이러한 예시를 변경해서 Prompt flow를 어떻게 활용 할 수 있는지 알아 보겠습니다. Prompt Flow를 만들기 위해서, 프로젝트에서 Flows로 들어갑니다. Create 메뉴를 눌러..
Azure AI Studio - Part 2 Today Keys : azure ai, ai studio, studio, model, catalog, playground 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 두 번째 포스팅입니다. 두 번째 포스팅에서는 Azure AI Studio 에서 Project를 만든 후에, Project에서 제공되는 Playground를 사용하는 방법에 대해서 다룹니다. 이후 포스팅에서는 Project에서 제공되는 기능에 대해서 추가적으로 알아 볼 예정입니다. Project 생성을 위해서 Azure AI Studio에서 'Build' 메뉴로 갑니다. 프로젝트 생성은, 프로젝트 이름과 함께 프로젝트에서 사용 할 Azure AI 리소스를 선택하여 생성합니다. 생성된 프로젝트를 보시면, 다양한 도..
Azure AI Studio - Part 1 Today Keys : azure ai, ai studio, studio, model, catalog 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 첫 번째 포스팅입니다. 첫 번째 포스팅에서는 Azure AI Studio 사용을 위해서 리소스를 생성하고, Azure AI Studio에 접속해서 제공되는 서비스를 간략하게 알아봅니다. Azure AI Studio를 만들기 위해서, Azure AI Studio 메뉴에서 Create 메뉴를 클릭해서 아래와 같이 Azure AI 리소스 생성을 시작합니다. Azure AI Studio를 위해서 필요한 Azure AI 리소스를 연결하는 데, 기존에 생성된 AI 관련 리소스를 선택하거나 새롭게 만드시면 됩니다. 이번 포스팅에서는 모두 새롭게..
AWS에서 VPN/DX를 통해서 BGP 광고 받은 대역 확인 Today Keys : aws, route, propagation, 라우팅, on-premises, bgp, 광고, 온프렘 이번 포스팅에서는 AWS와 On-Premises 간의 VPN 혹은 Direct Connect로 연결된 상태에서 On-Premises에서 BGP로 광고한 대역을 확인하는 방법에 대해서 알아봅니다. Transit Gateway의 경우, Transit Gateway Route Table의 Route 정보를 보면, 아래와 같이 Propagation에 설정된 Attachment에 대한 라우팅 정보 확인이 가능합니다. VPN 혹은 Direct Connect Gateway를 통해 연결된 DX로부터 광고 받은 On-Premises 대역에 대해서, Transit Gateway Route Table에..
AWS-Azure간의 VPN 및 BGP 연동 Today Keys : azrue, aws, vpn, connection, customer, local, bgp, asn, as number, network 연동, ipsec 이번 포스팅에서는 AWS와 Azure의 간을 VPN / BGP 구성을 통해서 VPC와 VNet이 Private하게 통신하도록 구성하는 예제를 다룹니다. 기존에도 동일한 주제로 포스팅을 한 적이 있었으나, 메뉴들이 시간이 지나면서 조금씩 바뀌는 듯하여 이번에 테스트를 위해 구성하면서 23년 11월 버전의 AWS와 Azure의 VPN 연동 포스팅을 남겨봅니다. 기본 내용은 AWS의 VGW를 통한 Azure와의 VPN 연동 설정이고, 하단에 AWS의 Transit Gateway를 통한 VPN 설정 방법에 대해서도 설정이 다른 부분만 별도..
Amazon VPC Lattice - Part 9: AWS Gateway API Controller Today Keys : lattice, vpc, service, eks, api, gateway, controller, kubernetes 이번 포스팅은 서로 다른 VPC 및 AWS 계정에 걸쳐 서비스 간의 네트워크 연결 및 애플리케이션 계층 라우팅을 자동으로 관리해주는 Amazon VPC Lattice에 대한 아홉 번째 포스팅입니다. 아홉 번째 포스팅에서는 AWS Gateway API Controller에 대한 내용입니다. AWS Gateway API Controller는 Kubernetes API를 구현한 것으로 EKS Cluster의 Gateway, HTTRoute에 대한 Amazon VPC Lattice 리소스를 프로비저닝하는 역할을 합니다. Kubernetes Gateway API에 대한 내용과..