애플리케이션 모니터링으로 AI 리소스 보기

이 문서에서는 App Hub에 등록된 애플리케이션, 서비스, 워크로드에서 사용하는 AI 리소스의 원격 분석을 보는 방법을 설명합니다.

오류율, 지연 시간, 토큰 사용량과 같은 측정항목을 생성하기 위해 애플리케이션 모니터링은 OpenTelemetry 생성형 AI 시맨틱 규칙을 따르는 애플리케이션별 라벨 및 이벤트에 대한 trace 데이터를 쿼리합니다. 이러한 측정항목은 AI 리소스의 상태, 성능, 비용을 정량화하며 애플리케이션의 집계 데이터 또는 개별 서비스 및 워크로드의 세분화된 데이터로 사용할 수 있습니다.

다음 대시보드는 등록된 애플리케이션의 AI 리소스 정보를 보여줍니다.

AI 리소스 정보를 표시하는 대시보드

시작하기 전에

이 문서의 절차에는 분석할 활성 AI 리소스가 있는 Google Cloud 프로젝트가 필요합니다. 또한 AI 리소스가 App Hub에 등록된 애플리케이션, 서비스, 워크로드와 연결되어 있어야 합니다. 애플리케이션 모니터링은 의미 있는 결과를 생성하기 위해 원격 분석 및 trace 데이터가 필요합니다.

역할, API 구성 및 애플리케이션 모니터링 설정

  1. 애플리케이션, 서비스, 워크로드 조사: 시작하기 전에 정의된 단계를 완료합니다.

  2. 관측 가능성, Cloud Trace, Telemetry API를 사용 설정합니다.

    API 사용 설정에 필요한 역할

    API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기.

    API 사용 설정

  3. AI 리소스 사용량 정보를 보는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

    역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

    커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

애플리케이션, 서비스, 워크로드 개발 및 등록

애플리케이션, 서비스, 워크로드에서 사용하는 AI 리소스의 데이터를 표시하려면 trace 데이터에 OpenTelemetry 생성형 AI 시맨틱 규칙을 따르는 애플리케이션별 라벨 및 이벤트가 포함되어야 합니다. 다음 단계를 완료하여 이러한 라벨을 가져올 수 있습니다.

  1. App Hub에 애플리케이션과 서비스 및 워크로드를 등록합니다.
  2. 에이전트 개발 키트 (ADK) 프레임워크 를 사용하거나 OpenTelemetry로 애플리케이션을 계측하고 trace 데이터를 Telemetry API로 전송합니다. 계측 샘플은 OpenTelemetry를 사용하여 ADK 애플리케이션 계측 및 수집기 기반 계측 샘플 개요를 참조하세요.

애플리케이션의 AI 리소스 보기

애플리케이션과 연결된 AI 리소스를 보려면 다음 단계를 따르세요.

  1. 콘솔에서 애플리케이션 모니터링 페이지로 이동합니다. Google Cloud

    애플리케이션 모니터링으로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring 인 결과를 선택합니다.

  2. 콘솔의 툴바에서 App Hub 호스트 프로젝트 또는 관리 프로젝트를 선택합니다. Google Cloud

  3. 애플리케이션 탭을 선택한 후 목록에서 애플리케이션을 선택합니다.

  4. 대시보드 탭을 선택합니다.

  5. 대시보드의 목차에서 AI 리소스를 선택합니다.

    시스템은 애플리케이션과 연결된 활성 AI 에이전트가 하나 이상 있는 경우 AI 리소스 항목을 만듭니다. 에이전트가 없거나 모든 에이전트가 비활성 상태인 경우 옵션이 나열되지 않습니다.

대시보드는 다음과 같은 정보를 표시하는 AI 리소스 섹션으로 이동합니다.

  • 초당 쿼리 수 및 토큰 수
  • 평균 오류율, 지연 시간, 도구 호출 오류율
  • 토큰 사용량
  • 에이전트의 오류율 및 지연 시간

서비스 또는 워크로드의 AI 리소스 보기

서비스 또는 워크로드와 연결된 AI 리소스를 보려면 다음 단계를 따르세요.

  1. 서비스 또는 워크로드의 대시보드를 엽니다.

    1. 콘솔에서 애플리케이션 모니터링 페이지로 이동합니다. Google Cloud

      애플리케이션 모니터링으로 이동

      검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring 인 결과를 선택합니다.

    2. 서비스 및 워크로드 탭을 선택한 후 서비스 또는 워크로드를 선택합니다.

    서비스 또는 워크로드의 대시보드가 열립니다. 목차 에는 대시보드의 섹션이 나열되며 이는 AI 리소스 유형에 따라 다를 수 있습니다.

  2. AI 리소스에 대한 정보가 있는 대시보드의 섹션으로 이동하려면 대시보드의 목차를 사용합니다.

    • 에이전트: 에이전트에서 사용할 수 있습니다. 이 섹션에는 세션, 에이전트 호출, 토큰 사용량에 대한 정보가 표시됩니다.

    • 도구: 에이전트에서 사용할 수 있습니다. 이 섹션에는 오류율, 호출 수, P95 지연 시간을 비롯한 도구 호출에 대한 정보가 표시됩니다.

    • 모델: 일부 에이전트에서 사용할 수 있습니다. 이 섹션에는 에이전트가 수행한 모델 호출 수, 오류율, 토큰 사용량에 대한 정보가 표시됩니다.

원격 분석 살펴보기

trace 데이터에 대한 SQL 쿼리는 AI 리소스 차트에 표시되는 데이터를 결정합니다. 이러한 쿼리는 애플리케이션별 라벨 및 OpenTelemetry 생성형 AI 시맨틱 규칙을 따르는 생성형 AI 이벤트별로 trace 데이터를 필터링합니다.

차트의 쿼리를 보려면 차트의 툴바에서 차트 옵션 더보기를 선택한 후 관측 가능성 분석에서 살펴보기를 선택합니다.

Observability Analytics 이 열리고 차트의 데이터를 생성하는 SQL 쿼리가 표시됩니다. 다음 중 한 가지 방법을 사용하시기 바랍니다.

  • 쿼리를 검사한 후 애플리케이션 모니터링으로 돌아갑니다.
  • 쿼리를 실행합니다.
  • 쿼리를 수정한 후 수정된 쿼리를 실행합니다.
  • 쿼리 결과를 표시하는 차트를 만듭니다.
  • 쿼리 결과를 표시하는 차트를 커스텀 대시보드에 저장합니다.

자세한 내용은 다음 문서를 참조하세요.