본문 바로가기

Cloud

 (180)
Azure Private Subnet (Preview) Azure에서는 기본적으로 VNet 내의 VM에 대해서 Internet에 대한 Outbound 통신이 가능합니다. VNet을 생성하고, 서브넷을 구성하면 System Route가 기본으로 구성되는 데, System Route 중에 하나가 0.0.0.0/0 에 대한 인터넷 경로로의 통신입니다. 물론 명시적으로, 0.0.0.0/0에 대한 추가 라우팅을 구성하여 재정의가 가능합니다. 다만, 재정의가 아닌 System Route의 삭제는 불가합니다. 그리고, 이러한 통신을 위해서 기본 Outbound Access IP(공인 IP)가 자동으로 할당됩니다. 이 공인 IP와 System Route를 통해서 기본적으로 인터넷 Outbound 통신이 가능합니다. 그런데, 23년 11월에 Privae Subnet 기능이 ..
Azure OpenAI Assistant - Part 2 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 두 번째 포스팅에서는 첫 번째 포스팅에서 Play Ground를 통해서 사용한 Code Interpreter를 코드를 이용해서 사용해 봅니다. Azure OpenAI를 사용하기 위한 서비스를 생성합니다. 먼저 각자의 Azure Open API Key와 Endpoint를 설정하고, API Version은 Azure Open AI의 Assistant를 지원하는 API 버전인 2024-02-15-preview 버전을 사용합니다. import os import time import ..
Azure OpenAI 성능 및 대기 시간 시스템 수준 처리량(System level throughput) Model의 Deployment의 전체 용량(분당 요청 수, 처리 할 수 있는 총 토큰) 표준 배포(Standard Deployment) - Deployment에 할당된 할당량(quota)이 처리량에 부분적으로 영향 - 단, 실제 할당량은 Deploy에 대한 호출 승인 로직만 결정하고, 처리량에 대해서 강제하지는 않음. - 호출에 대한 지연으로 할당량만큼의 높은 처리량이 불가 할 수도 있음. ※ 할당량은 TPM(Token Per Minute) 단위로 지역 별, 모델 별로 구독에 할당 됨. TPM 내에서 Deployment를 1개로 운영하거나, TPM을 나눠서 2개 이상 운용 가능 Provisioned Deployment - 설정된 양의 모델..
Azure OpenAI Assistant - Part 1 Today Keys : azure, openai, assistant, service, code interpreter 이번 포스팅에서는 Azure OpenAI Service의 Assistant 기능에 대한 사용법에 대해서 알아봅니다. 첫 번째 포스팅에서는 Play Ground를 통해서 Assistant 기능 중, Code Interpreter 사용해 봅니다. Code Interpreter를 사용하면, Assistants API를 사용하여, 샌드박스 환경에서 Python 코드를 작성하여 실행하게 됩니다. Azure OpenAI Studio의 좌측의 Playground 메뉴를 보면, 다음과 같이 Assistant가 Preview로 추가된 것을 볼 수 있습니다. Assistant는 현재(24.03.01) 3개의..
Azure AI Studio - Part 3 (prompt flow) Today Keys : azure ai, ai studio, studio, prompt flow, runtime, model, catalog, playground, 프롬프트, 플로우 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 세 번째 포스팅입니다. 세 번째 포스팅에서는 Azure AI Studio에서 제공하는 Prompt flow에 대해서 기본적인 생성 및 예시 Flow를 하나씩 만들어서 실행해 봅니다. Prompt flow가 어떻게 돌아가는지 예시를 통해서 알아보고 이후 포스팅에서는 이러한 예시를 변경해서 Prompt flow를 어떻게 활용 할 수 있는지 알아 보겠습니다. Prompt Flow를 만들기 위해서, 프로젝트에서 Flows로 들어갑니다. Create 메뉴를 눌러..
Azure AI Studio - Part 2 Today Keys : azure ai, ai studio, studio, model, catalog, playground 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 두 번째 포스팅입니다. 두 번째 포스팅에서는 Azure AI Studio 에서 Project를 만든 후에, Project에서 제공되는 Playground를 사용하는 방법에 대해서 다룹니다. 이후 포스팅에서는 Project에서 제공되는 기능에 대해서 추가적으로 알아 볼 예정입니다. Project 생성을 위해서 Azure AI Studio에서 'Build' 메뉴로 갑니다. 프로젝트 생성은, 프로젝트 이름과 함께 프로젝트에서 사용 할 Azure AI 리소스를 선택하여 생성합니다. 생성된 프로젝트를 보시면, 다양한 도..
Azure AI Studio - Part 1 Today Keys : azure ai, ai studio, studio, model, catalog 이번 포스팅은 현재 Preview로 오픈된 Azure AI Studio의 첫 번째 포스팅입니다. 첫 번째 포스팅에서는 Azure AI Studio 사용을 위해서 리소스를 생성하고, Azure AI Studio에 접속해서 제공되는 서비스를 간략하게 알아봅니다. Azure AI Studio를 만들기 위해서, Azure AI Studio 메뉴에서 Create 메뉴를 클릭해서 아래와 같이 Azure AI 리소스 생성을 시작합니다. Azure AI Studio를 위해서 필요한 Azure AI 리소스를 연결하는 데, 기존에 생성된 AI 관련 리소스를 선택하거나 새롭게 만드시면 됩니다. 이번 포스팅에서는 모두 새롭게..
AWS에서 VPN/DX를 통해서 BGP 광고 받은 대역 확인 Today Keys : aws, route, propagation, 라우팅, on-premises, bgp, 광고, 온프렘 이번 포스팅에서는 AWS와 On-Premises 간의 VPN 혹은 Direct Connect로 연결된 상태에서 On-Premises에서 BGP로 광고한 대역을 확인하는 방법에 대해서 알아봅니다. Transit Gateway의 경우, Transit Gateway Route Table의 Route 정보를 보면, 아래와 같이 Propagation에 설정된 Attachment에 대한 라우팅 정보 확인이 가능합니다. VPN 혹은 Direct Connect Gateway를 통해 연결된 DX로부터 광고 받은 On-Premises 대역에 대해서, Transit Gateway Route Table에..

티스토리툴바