AWS Certified AI Practitioner 개념정리 -2

오늘도 평소에 폰으로만 문제풀다가 드디어 컴퓨터를 사용할 수 있게되어서 개념 및 빈출문제를 몇가지 더 추가해본다.

 

일단 가장 중요한게 바로 이 장표이다. 여기서 각각 머하는지만 외워도 훨씬 좋다.

출처는: https://www.youtube.com/watch?v=SPDUGSykHkE 이다.

 

 

 

분류	서비스	설명	예시
Generative AI	Amazon Bedrock	생성형 AI 모델을 활용할 수 있는 AWS 서비스	텍스트 생성, 이미지 생성, 코드 자동 생성
	Amazon Titan	AWS 자체 개발한 생성형 AI 모델	챗봇, 자연어 처리(NLP), 자동 번역
비즈니스 AI	Amazon Personalize	AI 기반 추천 시스템	제품 추천, 개인 맞춤 콘텐츠 추천
	Amazon Forecast	시계열 데이터를 이용한 예측	수요 예측, 매출 예측
	Amazon Fraud Detector	사기 탐지 서비스	금융 사기 탐지, 부정 거래 감지
	Amazon Lookout for Metrics	이상 징후 탐지 서비스	매출 급락 감지, 사용자 활동 이상 탐지
검색 AI	Amazon Kendra	AI 기반 기업 검색 엔진	문서 검색, 내부 데이터 검색
자연어 처리 AI	Amazon Translate	실시간 번역 서비스	다국어 지원 애플리케이션
	Amazon Comprehend	자연어 처리 및 감성 분석	리뷰 감성 분석, 키워드 추출
	Amazon Polly	텍스트를 음성으로 변환	오디오북 생성, 음성 안내 서비스
	Amazon Transcribe	음성을 텍스트로 변환	회의록 자동 작성, 자막 생성
비전 AI	Amazon Textract	문서에서 텍스트 및 데이터 추출	계약서 자동 분석, 문서 OCR
	Amazon Rekognition	이미지 및 비디오 분석	얼굴 인식, 객체 탐지
	AWS Panorama	엣지 디바이스에서 영상 분석	보안 감시, 공장 자동화
ML 개발 및 인프라	JumpStart	사전 학습된 모델 활용	기본적인 AI 모델 사용
	Canvas	No-code 머신러닝 도구	비즈니스 데이터 분석
	Studio Lab	머신러닝 학습 환경	데이터 과학자 및 개발자 교육
	Ground Truth	데이터 라벨링 서비스	AI 학습 데이터 생성
ML 인프라	PyTorch, TensorFlow	오픈소스 딥러닝 프레임워크	AI 모델 개발
	Amazon EC2	클라우드 컴퓨팅 서비스	머신러닝 모델 훈련
	AWS Inferentia	AI 추론 전용 하드웨어	빠른 AI 서비스 배포
	AWS Trainium	AI 훈련 전용 칩	대규모 AI 모델 훈련
SageMaker JumpStart	사전 학습된 모델을 빠르게 사용할 수 있는 기능	기본 AI 모델 활용, 추천 시스템 구축
SageMaker Canvas	No-Code 방식의 머신러닝 도구	비즈니스 데이터 분석, 자동화된 예측 모델 생성
SageMaker Studio	웹 기반 통합 개발 환경(IDE) 제공	머신러닝 모델 구축, 데이터 탐색 및 시각화
SageMaker Studio Lab	무료로 사용 가능한 ML 학습 환경	초보자를 위한 AI/ML 실습
SageMaker Ground Truth	데이터 라벨링 자동화 기능	이미지, 텍스트, 비디오 데이터 라벨링
SageMaker Autopilot	자동으로 최적의 ML 모델을 찾고 훈련	자동 ML(Automated Machine Learning) 모델 생성
SageMaker Data Wrangler	데이터 준비, 변환 및 분석 기능	ML 학습 데이터 정제 및 전처리
SageMaker Model Monitor	배포된 모델의 성능을 지속적으로 모니터링	AI 모델 성능 저하 감지 및 개선
SageMaker Pipelines	ML 워크플로우를 자동화하는 기능	CI/CD 기반 ML 모델 관리
SageMaker Feature Store	머신러닝용 피처(feature) 저장소	훈련 및 추론 시 일관된 데이터 제공
SageMaker Training Compiler	모델 학습 속도를 최적화하는 기능	GPU 가속 최적화, 비용 절감
SageMaker Debugger	ML 모델의 문제를 자동으로 감지하는 기능	훈련 과정 모니터링 및 오류 감지
SageMaker Distributed Training	대규모 데이터 및 모델을 분산 학습	고성능 AI 모델 훈련
SageMaker Inference	훈련된 모델을 실시간 또는 배치 예측에 사용	AI 기반 추천 시스템 운영
SageMaker Clarify	편향감지, 설명가능성 분석	채용 AI가 특정 성별이나 인종을 더 선호하는지 확인 등 편향감지 SHAP(Shapley Additive Explanations) 기법을 사용하여 **특정 피처(변수)**가 예측에 얼마나 영향을 미쳤는지 분석.	온라인 쇼핑몰이 고객에게 추천하는 제품이 어떤 요인에 의해 결정되었는지를 설명하려면? SageMaker Clarify를 사용해 가격, 사용자 검색 기록, 구매 이력 등이 추천 결과에 미친 영향을 분석 가능.

 

 

Bedrock 의 기능 별 특징

기능	설명	예시
Model Evaluation	다양한 FM 성능 비교 및 선택	Claude, Mistral, Titan 중 최적 모델 선정
Fine-Tuning	특정 도메인 데이터로 모델 최적화	의료 데이터 기반 챗봇 학습
Retrieval-Augmented Generation (RAG)	기업 데이터 기반 응답 생성	내부 문서 기반 AI 고객 지원
Managed Agents	자동화된 AI 프로세스 설정	AI가 주문 조회 및 환불 자동 처리
Guardrails	유해 콘텐츠 필터링	어린이 대상 AI 서비스 보호
On-Demand Inference	필요할 때만 모델 실행	챗봇 요청 시 AI 활성화
Provisioned Throughput	지속적인 AI 추론 성능 제공	대규모 AI 서비스 운영
Security & Compliance	데이터 보호 및 규정 준수	금융 데이터 암호화 및 접근 제한
API & SDK Integration	AWS 및 타사 시스템과 연결	AI 모델이 Lambda와 연동
Monitoring & Logging	AI 성능 모니터링 및 로깅	응답 지연 시 알람 발생
Cost Management	비용 최적화 도구 제공	AI 모델 자동 중지로 비용 절감

 

 

두개의 차이를 알자. 

 

• 이미지 생성, 텍스트 생성이 필요하면? → 멀티모달 생성형 모델
• 검색, 추천, 분류 모델을 만들고 싶다면? → 멀티모달 임베딩 모델

 

 

 

 

마케팅 분석 회사는 고객 데이터를 기반으로 맞춤 보고서와 인사이트를 생성하기 위해 생성 AI를 사용하고 있습니다. 팀은 프롬프트를 통해 모델과 상호 작용하는 방식을 개선하여 AI가 생성하는 콘텐츠의 품질과 관련성을 높이는 데 집중하고 있습니다. AI가 지속적으로 고품질의 정확한 결과물을 생성할 수 있도록 하기 위해, 효과적인 프롬프트를 작성하는 최선의 방법을 이해하고자 합니다.

이와 관련하여 좋은 프롬프트 기술의 주요 구성 요소는 무엇일까요?

 

Instructions, Context, Input data, Output Indicator

 

• Instructions (지침): 모델에게 수행할 작업이나 원하는 결과에 대한 명확한 지시를 제공합니다.
• Context (맥락): 작업과 관련된 배경 정보나 상황을 설명하여 모델이 문제를 이해하는 데 도움을 줍니다.
• Input data (입력 데이터): 모델이 처리할 구체적인 데이터를 제공합니다.
• Output Indicator (출력 지표): 모델의 응답이 어떻게 구성되어야 하는지에 대한 기준이나 지표를 설정합니다.

 

 

한 의료 분석 회사는 Amazon Bedrock에서 기반 모델(FM)을 미세 조정하여 의료 텍스트 분석에 특화된 AI 역량을 강화하려고 합니다. 이를 위해, 회사는 주석이 달린 임상 노트와 의료 기록으로 구성된 자체 작업 특화 레이블 데이터셋을 사용하여, 관련 정보를 추출하는 정확도를 높이기 위해 모델을 미세 조정할 계획입니다.

 

답

회사는 미리 특정 용량을 예약할 수 있도록 하는 Provisioned Throughput 모드를 사용해야 합니다.

• 미세 조정(Fine-tuning):
  자체 작업에 특화된 레이블이 달린 훈련 데이터셋을 제공하여 모델의 정확도를 높이고, 파운데이션 모델(FM)을 더욱 특화시킬 수 있습니다.
• 지속된 사전 훈련(Continued Pre-training):
  고객 관리 키를 사용하는 안전하고 관리되는 환경에서 자체 비레이블 데이터를 활용해 모델을 훈련할 수 있습니다. 지속된 사전 훈련은 모델이 원래의 훈련을 넘어, 보다 강력한 지식과 적응력을 축적하여 도메인에 특화되도록 도와줍니다.

미세 조정 작업이 완료되면, 커스텀 모델에 대한 고유한 모델 ID가 제공되며, 해당 모델은 Amazon Bedrock에 안전하게 저장됩니다. 모델을 테스트하고 배포하려면 Provisioned Throughput를 구매해야 합니다. 이 모드는 미세 조정 단계에서 요구되는 집중적인 컴퓨팅과 같이 예측 가능한 지속적인 작업 부하가 있는 상황에 맞게 설계되었습니다.

 

Amazon Q Business 웹 애플리케이션 워크플로우에서 사용되는 생성 AI 기법 중 다음 중 어떤 것이 사용되는가요? (두 가지 선택)

 

Large Language Model (LLM):

• 정의:
  LLM은 방대한 텍스트 데이터를 기반으로 학습된 언어 모델로, 입력된 텍스트에 대해 맥락에 맞는 자연스러운 언어를 생성할 수 있습니다.
• 특징:
  • 방대한 파라미터와 복잡한 신경망 구조를 활용하여 다양한 언어 작업(예: 번역, 요약, 질문 응답 등)을 수행할 수 있습니다.
  • 사전 학습을 통해 언어의 패턴, 문법, 의미 등을 이해하고 있으며, 사용자 입력에 따라 적절한 응답을 생성합니다.
• 적용 사례:
  • 챗봇, 고객 지원, 콘텐츠 생성 등에서 사용되며, 다양한 도메인에 걸친 자연어 처리 작업에 강력한 성능을 발휘합니다.

---

Retrieval-Augmented Generation (RAG):

• 정의:
  RAG는 검색(retrieval)과 생성(generation)을 결합한 접근 방식으로, 관련 정보를 외부 데이터 소스에서 검색하여 생성 모델의 입력에 추가함으로써 보다 정확하고 구체적인 답변을 생성할 수 있도록 도와줍니다.
• 특징:
  • 단순한 생성 모델과 달리, 외부 데이터베이스나 문서 집합에서 관련 정보를 검색(retrieve)한 후, 이를 바탕으로 응답을 생성함으로써 사실 기반의 정보를 제공할 수 있습니다.
  • 최신 정보나 특정 도메인에 대한 전문적인 데이터를 실시간으로 반영할 수 있어, 생성된 텍스트의 정확성과 신뢰성을 높입니다.
• 적용 사례:
  • 질문 응답 시스템, 검색 기반 요약, 맞춤형 추천 등에서 활용되며, 대규모 언어 모델의 한계를 보완하는 역할을 합니다.

 

RAG관련 질문 답변이 

모든 제품 카탈로그 PDF를 인덱싱하고, 쿼리 응답을 위해 해당 시스템을 참조하도록 LLM 챗봇을 구성함으로써, Retrieval-Augmented Generation (RAG) 시스템을 활용하세요.

 

이런건데 이게 어떻게가능하냐면,

 

1. PDF 인덱싱:
   • 모든 제품 카탈로그 PDF 파일을 텍스트로 변환(필요한 경우 OCR 기술 사용)한 후, 문서의 내용을 구조화된 형식으로 저장합니다.
   • 텍스트를 기반으로 문서 임베딩(embedding)을 생성하여, 검색 엔진(예: Elasticsearch, FAISS 등)에 인덱싱합니다.
2. RAG 시스템 구성:
   • 사용자의 질문이 들어오면, 먼저 검색 시스템을 활용해 관련 문서나 정보를 검색합니다.
   • 검색된 정보를 LLM의 입력에 추가하여, 더 구체적이고 정확한 답변을 생성하도록 합니다.
3. LLM 챗봇과 통합:
   • 챗봇은 사용자의 질문을 받으면, 먼저 인덱싱된 문서에서 관련 정보를 가져오고 이를 바탕으로 답변을 생성하는 RAG 방식의 파이프라인을 통해 응답을 제공합니다.

이러한 기술들은 현재 다양한 오픈소스 및 상용 솔루션을 통해 구현되고 있으며, 문서 기반 검색과 생성 모델을 결합하는 RAG 시스템은 이미 여러 실제 애플리케이션에서 활용되고 있습니다.

 

더 나은 동영상 추천 서비스를 만들기 위해 어떻게 해야 될까? 

 

1. 결정 트리 (Decision Trees)

• 예시:
  영화 장르 분류 작업에서, 결정 트리는 영화를 여러 특성(예: 감독, 출연 배우, 상영 시간, 평점 등)을 기준으로 분할하여 “액션”, “코미디”, “드라마” 등으로 분류할 수 있습니다. 예를 들어, 첫 번째 분할에서 평점이 7점 이상인 영화를 한 그룹으로, 7점 미만인 영화를 다른 그룹으로 나눈 뒤, 각 그룹 내에서 출연 배우나 감독 정보 등을 기반으로 추가 분할하는 방식입니다. 이처럼 트리 구조로 분기되는 과정을 통해 최종 분류에 어떤 특성이 기여했는지를 쉽게 시각화하고 이해할 수 있습니다.
• 장점:
  • 모델의 의사결정 과정을 시각적으로 이해할 수 있음
  • 각 분기(노드)가 특정 조건(특성)에 따른 의사결정 규칙을 명확하게 보여줌

---

2. 로지스틱 회귀 (Logistic Regression)

• 예시:
  이메일이 스팸인지 아닌지를 분류하는 이진 분류 문제에 자주 사용됩니다. 예를 들어, 이메일 본문의 특정 단어 빈도(예: "무료", "할인", "보너스" 등)를 입력 변수로 사용하여 스팸일 확률을 계산하고, 이를 기반으로 이메일을 스팸/비스팸으로 분류할 수 있습니다.
• 한계:
  • 주로 이진 분류에 적합하므로, 영화와 같이 다중 클래스 분류가 필요한 경우 확장하는 데 한계가 있을 수 있음
  • 분류 경계에 대한 해석은 가능하지만, 결정 트리처럼 각 특성이 어떻게 작용하는지 시각적으로 직관적으로 보여주지는 않음

---

3. 신경망 (Neural Networks)

• 예시:
  이미지 인식 문제에서 신경망(특히 합성곱 신경망, CNN)은 수많은 이미지 데이터를 통해 패턴을 학습하여, 사진 속 객체(예: 고양이, 강아지, 자동차 등)를 정확하게 분류할 수 있습니다. 영화 추천 시스템에서도 사용자 행동 패턴을 학습하여 추천 결과를 생성할 수 있습니다.
• 한계:
  • 복잡한 구조와 다수의 은닉층으로 인해 모델 내부의 작동 원리를 이해하기 어렵고, ‘블랙박스’ 모델로 분류됨
  • 모델의 의사결정 과정에 대한 투명성이 낮아, 회사가 모델의 내부 메커니즘을 문서화하거나 설명하는 데는 부적합할 수 있음

---

4. 서포트 벡터 머신 (Support Vector Machines, SVMs)

• 예시:
  문서 분류 작업에서, SVM은 각 문서를 고차원 특징 공간에 매핑한 후, 클래스 간의 경계를 정의하는 초평면을 찾아 분류할 수 있습니다. 예를 들어, 뉴스 기사를 정치, 경제, 스포츠 등으로 분류할 때 효과적으로 사용될 수 있습니다.
• 한계:
  • 초평면을 이용해 분류하기 때문에, 개별 특성이 최종 분류에 어떻게 영향을 주는지 직관적으로 파악하기 어려움
  • 복잡한 결정 경계를 시각적으로 설명하기에는 한계가 있어, 모델의 내부 작동 원리를 명확히 이해하거나 문서화하기에는 적합하지 않음

 

편향의 종류에 대해 알아보자.

 

1. 샘플링 편향 (Sampling Bias)

• 기초 개념:
  샘플링 편향은 전체 모집단의 특성을 고르게 반영하지 않는 방식으로 데이터를 수집할 때 발생합니다. 즉, 데이터의 일부 집단이 과대 혹은 과소 대표되어, 모델이 학습하는 데이터가 실제 인구의 다양성을 제대로 반영하지 못하는 경우입니다.
• 예시:
  • 한 의료 연구에서 특정 연령대의 환자들만 주로 수집된 데이터를 사용하면, 모델이 나이대가 다른 환자들에게는 부적절한 예측을 할 수 있습니다.
  • AI 모델이 특정 민족이나 성별이 과소 대표된 뉴스 기사 데이터셋을 기반으로 학습할 경우, 해당 그룹에 대한 편향된 예측 결과가 나타날 수 있습니다.

---

2. 측정 편향 (Measurement Bias)

• 기초 개념:
  측정 편향은 데이터 수집 과정에서 사용하는 도구나 방법의 부정확성, 오류 또는 일관성 없는 측정으로 인해 발생하는 편향입니다. 이는 수집된 데이터 자체가 실제 상황과 다르게 기록되거나 왜곡될 때 나타납니다.
• 예시:
  • 체온을 측정할 때 잘못된 캘리브레이션된 체온계를 사용하여 실제보다 높은 온도로 기록된 데이터.
  • 설문조사에서 질문이 모호하게 표현되어 응답자들이 질문을 잘못 해석하여 부정확한 답변을 제공하는 경우.

---

3. 관찰자 편향 (Observer Bias)

• 기초 개념:
  관찰자 편향은 데이터를 수집하거나 분석하는 사람의 주관적인 판단, 기대, 선입견 등에 의해 데이터 해석이 왜곡되는 현상입니다. 연구자의 기대나 가설이 결과에 영향을 미쳐 객관적인 결과를 얻지 못하게 합니다.
• 예시:
  • 심리학 실험에서 연구자가 특정 행동을 기대하고 관찰자 역할을 하면서, 그 기대에 부합하는 행동만 주목하거나 과대평가하는 경우.
  • 질적 연구에서 인터뷰 진행자가 자신의 가설을 뒷받침하는 답변에 더 주목하여 인터뷰 내용을 해석하는 경우.

---

4. 확증 편향 (Confirmation Bias)

• 기초 개념:
  확증 편향은 개인이 자신의 기존 신념이나 가설을 확인하기 위해, 그에 부합하는 정보만 선택적으로 수집하거나 해석하는 경향을 의미합니다. 반대로 자신의 신념에 반하는 증거는 무시하거나 과소평가하게 됩니다.
• 예시:
  • 한 연구자가 특정 이론을 지지하기 위해, 그 이론에 부합하는 데이터만 선택적으로 인용하고 반대되는 연구 결과는 간과하는 경우.
  • 소셜 미디어 사용자가 자신의 정치적 견해를 강화하는 뉴스나 의견만 구독하고, 다른 관점의 정보를 접하지 않아 극단적인 의견에 빠지는 경우.

 

데이터 탐색적 분석에 대해 알아보자.

 

탐색적 데이터 분석(Exploratory Data Analysis, EDA)

회사는 탐색적 데이터 분석(EDA) 단계에 있으며, 이 단계에서는 통계 요약과 시각화를 통해 데이터를 조사하여 패턴을 식별하고, 이상치를 감지하며, 가설을 수립합니다. 이 단계는 데이터셋의 구조와 특성을 이해하는 데 매우 중요하므로, 현재 진행 중인 활동을 가장 적절하게 설명합니다. 통계 계산과 데이터 시각화와 같은 작업은 EDA의 기본적인 요소로, 모델링을 수행하기 전에 데이터의 패턴을 발견하고 이상치를 감지하며, 데이터에 대한 통찰을 얻는 데 도움이 됩니다. EDA는 데이터에 대한 깊은 이해를 제공함으로써 예측 모델을 구축하기 위한 토대를 마련합니다.

부적절한 선택지:

• 데이터 준비(Data Preparation):
  이 단계는 분석이나 모델링에 적합하도록 데이터를 정리하고 전처리하는 과정을 포함합니다. 예를 들어, 결측치 처리, 중복 제거, 변수 변환 등의 작업을 수행합니다. 그러나 데이터 준비는 보통 통계 계산이나 데이터 시각화와 같은 탐색적 분석 활동을 포함하지 않으므로, 질문에서 설명한 활동과는 맞지 않습니다.
• 데이터 증강(Data Augmentation):
  데이터 증강은 주로 기계 학습에서 기존 데이터를 변형하여 학습 데이터셋의 크기와 다양성을 인위적으로 증가시키는 기법입니다. 예를 들어, 이미지 데이터를 좌우 반전하거나 노이즈를 추가하는 방식 등이 이에 해당합니다. 이는 통계 계산이나 데이터 시각화와 관련이 없으므로, EDA 활동과는 거리가 있습니다.
• 모델 평가(Model Evaluation):
  모델 평가는 학습된 기계 학습 모델의 성능을 정확도, 정밀도, 재현율, F1 점수 등과 같은 특정 지표를 사용하여 평가하는 단계입니다. 이 단계는 탐색적 분석 활동과는 달리, 이미 학습된 모델의 효과성을 검증하는 데 초점을 맞춥니다. 따라서 모델 평가 단계는 회사가 현재 수행하고 있는 활동과 일치하지 않습니다.

 

탐색적 데이터 분석(EDA)은 데이터 과학 프로젝트의 필수적인 첫 단계로, 데이터의 구조와 분포를 파악하고, 데이터에 숨어 있는 패턴이나 이상치를 발견하는 데 큰 역할을 합니다. 예를 들어, 한 소매 분석 회사가 고객 구매 기록, 제품 정보, 판매 동향 등의 대규모 데이터를 보유하고 있다고 가정해봅시다. 이 회사는 EDA를 통해 고객들이 특정 시간대에 주로 어떤 제품을 구매하는지, 특정 제품군에서 이상치(예: 극단적으로 높은 구매량)가 발생하는지 등을 시각화하여 파악할 수 있습니다. 이러한 분석 결과는 이후 재고 관리 최적화나 타겟 마케팅 전략 수립에 큰 도움이 됩니다.

또 다른 사례로, 금융 분야에서 고객의 거래 데이터를 EDA를 통해 분석할 때, 특정 패턴(예: 계좌 이체 금액이 급격히 증가하는 경우)이 발견된다면, 이를 기반으로 이상 거래 탐지 시스템을 구축할 수 있습니다. 즉, EDA는 데이터에 대한 전반적인 이해를 도모하고, 문제 해결에 필요한 통찰을 제공하는 매우 중요한 단계라고 생각합니다.

 

 

 

 

SageMaker Canvas의 특징임

코드를 전혀 작성하지 않고 시각적 인터페이스를 사용하여 매우 정확한 머신러닝 모델을 구축할 수 있습니다. Amazon SageMaker Canvas는 코드 없이 사용할 수 있는 인터페이스를 제공하며, 머신러닝 경험이 전혀 없거나 한 줄의 코드도 작성하지 않고도 매우 정확한 머신러닝 모델을 생성할 수 있습니다.

 

Amazon SageMaker JumpStart는 머신러닝 솔루션의 시작을 돕기 위한 서비스로, 여러 사전 구축된 모델과 솔루션을 제공합니다.

미리 정의된 품질 및 책임 메트릭을 기반으로 파운데이션 모델을 신속하게 평가, 비교, 선택할 수 있습니다.

사전 학습된 모델은 귀하의 데이터를 사용하여 귀하의 사용 사례에 맞게 완전히 맞춤화할 수 있습니다.

• 예시 1: 이미지 분류 – 미리 학습된 이미지 분류 모델을 사용하여 빠르게 이미지 데이터를 분석하고 분류할 수 있습니다.
• 예시 2: 객체 감지 – 객체 감지 모델을 활용해 이미지나 비디오에서 특정 객체를 식별하고 위치를 파악할 수 있습니다.
• 예시 3: 텍스트 분류 – 텍스트 데이터를 분석하여 감정 분석, 스팸 탐지 등 다양한 텍스트 기반 작업에 적용할 수 있는 모델을 제공합니다.

Top-P

모델이 다음 토큰을 선택할 때 고려하는 가장 가능성이 높은 후보들의 비율에 영향을 미칩니다

 

이 문장은 모델이 다음 토큰을 예측할 때, 후보 토큰들을 선택하는 범위를 결정하는 파라미터를 의미합니다. 구체적으로, 이는 **Top-p 샘플링(또는 누클리어스 샘플링, nucleus sampling)**이라는 개념과 관련되어 있습니다.

• Top-p 샘플링:
  모델이 생성 과정에서 다음 토큰을 선택할 때, 전체 확률 분포에서 누적 확률이 p(예: 0.9) 이하가 되는 최소한의 후보 집합을 형성하여 그 안에서 무작위로 선택합니다. 이로써 너무 낮은 확률의 후보들은 배제되고, 모델이 보다 타당한 후보들만 고려하게 되어 생성 결과의 품질과 다양성이 조절됩니다.

 

Top-k:

• 개념:
  Top-k 샘플링은 모델이 다음 토큰을 생성할 때, 전체 확률 분포에서 상위 k개의 후보 토큰만 고려하는 방법입니다.
• 동작 방식:
  예를 들어, k가 50이라면, 모델은 가장 확률이 높은 50개의 토큰만 후보로 선택하고, 그 중 하나를 무작위로 선택하여 다음 토큰으로 생성합니다.
• 효과:
  이 방법은 낮은 확률의 토큰들을 배제함으로써, 생성된 텍스트의 품질과 일관성을 높이고, 노이즈를 줄이는 데 도움을 줍니다.

---

Temperature:

• 개념:
  Temperature(온도)는 모델의 출력 확률 분포의 샤프니스(예리함)를 조절하는 하이퍼파라미터입니다.
• 동작 방식:
  Temperature 값이 낮으면(예: 0.5) 확률 분포가 날카로워져, 높은 확률의 토큰이 더욱 선택되기 쉬워져 결과가 더 결정적(deterministic)이고 덜 다양해집니다. 반면, Temperature 값이 높으면(예: 1.5) 분포가 평평해져, 낮은 확률의 토큰도 선택될 가능성이 높아져 결과가 더 다양하고 창의적으로 생성됩니다.
• 효과:
  Temperature는 모델의 출력에서 무작위성을 조절하여, 생성된 텍스트의 다양성과 창의성에 직접적인 영향을 미칩니다.

 

 

머신러닝 기반 개인화를 통해 고객 경험을 향상시키세요

Amazon Personalize는 귀하의 데이터를 활용하여 사용자에게 제품 및 콘텐츠 추천을 생성하는 완전 관리형 머신러닝(ML) 서비스입니다. 귀하는 최종 사용자(예: 연령, 위치, 기기 유형), 카탈로그 내 항목(예: 장르, 가격) 및 사용자와 항목 간의 상호작용(예: 클릭, 구매)에 대한 데이터를 제공합니다. Personalize는 이 데이터를 사용하여 맞춤형의 비공개 모델을 학습시키고, 이를 통해 API를 통해 제공할 수 있는 추천을 생성합니다.

이 서비스는 알고리즘을 사용해 고객 행동을 분석하고, 고객이 관심을 가질 만한 제품, 콘텐츠 및 서비스를 추천합니다. 이러한 향상된 고객 경험 전략은 고객 참여도, 충성도 및 판매를 증가시켜 수익성과 이익 증대로 이어질 수 있습니다.

다음은 기업들이 개인화를 위해 Amazon Personalize를 선택하는 몇 가지 이유입니다:

• 사용자 참여도 및 전환율 향상:
  사용자는 자신의 선호에 맞춘 제품과 서비스에 더 많이 반응하기 때문에, 맞춤형 추천을 제공함으로써 기업은 사용자 참여도와 전환율을 높일 수 있습니다.
• 고객 만족도 증대:
  기업은 개인화를 통해 고객의 필요와 관심사에 더욱 부합하는 제품 및 서비스를 제공함으로써 보다 나은 고객 경험을 선사할 수 있습니다.

 

BERT에 대해 알아보자

 

양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)

임베딩 모델은 정보를 다차원 공간의 밀집 표현으로 캡슐화하도록 학습된 알고리즘입니다. 데이터 과학자들은 임베딩 모델을 사용하여 머신러닝 모델이 고차원 데이터를 이해하고 추론할 수 있도록 합니다.

BERT가 올바른 답변인 이유는, BERT가 단어의 전후 문맥(양방향 문맥)을 모두 고려하여 단어의 맥락적 의미를 포착하도록 특별히 설계되었기 때문입니다. 기존의 정적 임베딩(static embedding)을 사용하는 오래된 모델들과 달리, BERT는 주변 텍스트에 따라 변화하는 동적 단어 임베딩(dynamic word embeddings)을 생성합니다. 이를 통해 동일한 단어가 다양한 문맥에서 갖는 서로 다른 의미를 이해할 수 있게 되어, 언어의 뉘앙스와 미묘한 차이를 파악해야 하는 작업에 이상적입니다.

 

사례 예시:

1. 질문 응답 시스템 (Question Answering):
   예를 들어, 사용자가 "세계에서 가장 높은 산은 무엇인가요?"와 같은 질문을 했을 때, BERT는 문장의 문맥을 양방향으로 분석하여 "에베레스트"라는 답변을 정확하게 도출할 수 있습니다. 이는 단어의 전후 관계를 파악함으로써 질문의 의도를 올바르게 이해하기 때문입니다.
2. 감정 분석 (Sentiment Analysis):
   영화 리뷰와 같은 텍스트 데이터에서 BERT는 리뷰 내의 단어들이 가진 다양한 의미와 뉘앙스를 고려하여 긍정적, 부정적 또는 중립적 감정을 정확하게 분류할 수 있습니다. 예를 들어, "이 영화는 정말 짜릿하지만 때때로 지루하다"와 같은 복합적인 감정을 담은 문장에서도, BERT는 문맥을 분석하여 전체적인 감정을 올바르게 파악할 수 있습니다.
3. 명명된 개체 인식 (Named Entity Recognition, NER):
   뉴스 기사에서 사람, 장소, 조직 등과 같은 특정 명칭을 식별할 때, BERT는 문맥 정보를 활용하여 "Apple"이 기술 회사임을, "apple"이 과일임을 구분하는 등, 동일한 철자라도 문맥에 따라 올바른 의미를 부여할 수 있습니다.

이와 같이, BERT는 다양한 자연어 처리(NLP) 작업에서 뛰어난 성능을 발휘하며, 특히 문맥을 고려한 동적 임베딩 생성으로 인해 복잡한 언어적 뉘앙스를 잘 이해할 수 있다는 장점이 있습니다.

 

 

Amazon Kendra

Amazon Kendra는 머신 러닝(ML)을 기반으로 한, 매우 정확하고 사용하기 쉬운 엔터프라이즈 검색 서비스입니다. 이 서비스는 개발자가 애플리케이션에 검색 기능을 추가하여 최종 사용자가 회사 전반에 분산되어 있는 방대한 양의 콘텐츠 내에 저장된 정보를 손쉽게 발견할 수 있도록 도와줍니다. 여기에는 매뉴얼, 연구 보고서, FAQ, 인사(HR) 문서, 고객 서비스 가이드 등이 포함되며, 이러한 자료는 Amazon Simple Storage Service(S3), Microsoft SharePoint, Salesforce, ServiceNow, RDS 데이터베이스 또는 Microsoft OneDrive와 같은 다양한 시스템에 존재할 수 있습니다.

질문을 입력하면, 서비스는 ML 알고리즘을 사용하여 문맥을 이해하고 정확한 답변이나 전체 문서 등 가장 관련성 높은 결과를 반환합니다. 예를 들어, “기업 신용카드의 현금 보상은 얼마인가요?”와 같은 질문을 입력하면, Amazon Kendra는 관련 문서를 찾아내어 “2%”와 같이 구체적인 답변을 반환할 수 있습니다. 또한, Kendra는 시작을 빠르게 할 수 있도록 샘플 코드를 제공합니다.

 

 

 

 

회사는 모델 튜닝을 위해 하이퍼파라미터를 사용해야 하며, 이는 정규화, 학습률, 드롭아웃률과 같은 파라미터를 조정하여 모델이 새로운 데이터에 대해 잘 일반화할 수 있도록 향상시키는 것을 포함합니다.

답변 이유 및 예시:

• 이유:
  하이퍼파라미터 튜닝은 모델의 성능을 최적화하는 중요한 과정입니다.
  • 정규화 (Regularization): 모델이 훈련 데이터에 과도하게 적합(overfitting)되지 않도록 패널티를 부여하여 일반화 성능을 높입니다.
  • 학습률 (Learning Rate): 학습 과정에서 파라미터 업데이트의 크기를 조절하여 안정적이고 효율적인 학습을 돕습니다.
  • 드롭아웃 (Dropout): 훈련 중 무작위로 일부 뉴런을 비활성화하여, 모델이 특정 뉴런에 의존하는 것을 방지하고 과적합을 줄이는 데 기여합니다.
• 예시:
  만약 모델이 훈련 데이터에 비해 새로운 데이터에서 성능이 떨어진다면, 이는 과적합(overfitting)의 징후일 수 있습니다.
  • 정규화 기법 적용: L1 또는 L2 정규화를 적용하여 모델의 복잡도를 줄임으로써 과적합 문제를 완화할 수 있습니다.
  • 학습률 조정: 학습률이 너무 높으면 최적의 가중치에 도달하기 전에 발산할 수 있으므로, 학습률을 낮추어 더 안정적인 수렴을 유도할 수 있습니다.
  • 드롭아웃 증가: 드롭아웃 비율을 높여 훈련 중 일부 뉴런을 무작위로 제외하면, 모델이 특정 특징에 과도하게 의존하지 않도록 만들어 일반화 성능을 향상시킬 수 있습니다.

 

 

머신러닝 실험 관리

머신러닝은 데이터, 알고리즘, 파라미터의 다양한 조합을 실험하면서 모델 정확도에 미치는 영향을 관찰해야 하는 반복적인 프로세스입니다. 이러한 반복적 특성 때문에 수많은 모델 학습 실행과 버전이 생성되며, 이로 인해 최고의 성능을 보이는 모델과 그 구성 설정을 추적하기가 어려워집니다.

Amazon SageMaker와 MLflow를 함께 사용하여 반복적인 머신러닝 실험을 추적, 정리, 조회, 분석, 비교함으로써 비교 분석 통찰력을 얻고, 최고의 성능을 보이는 모델을 등록 및 배포하세요.

 

 

 

핵심 차이점 요약

1. Amazon Q Business → 기업의 지식 검색 및 업무 자동화
2. Amazon Q Connect → 고객 서비스 및 컨택센터용 AI 지원
3. Amazon Q Developer → 개발 및 IT 운영 지원
4. Amazon Q QuickSight → 데이터 분석 및 비즈니스 인텔리전스(BI)

어떤 Amazon Q를 선택해야 할까?

• 사내 문서 검색, 정보 요약이 필요하다면? → Amazon Q Business
• 컨택센터 고객 응대를 자동화하고 싶다면? → Amazon Q Connect
• 코드 작성 및 디버깅 지원이 필요하다면? → Amazon Q Developer

 

 bias can cause underfitting and high variance can cause overfitting

 

무조건 외우기

 

bias - underfitting

 

high variance - overfitting

 

📌 Overfitting vs. Underfitting 차이점

Overfitting(과적합)과 Underfitting(과소적합)은 머신러닝 모델이 데이터를 학습할 때 발생하는 대표적인 문제입니다.

개념	설명	원인	결과
Overfitting (과적합)	훈련 데이터에 너무 맞춰져서 일반화 성능이 떨어지는 현상	모델이 너무 복잡하거나 훈련 데이터가 부족함	훈련 데이터에서는 성능이 좋지만 새로운 데이터에서 성능 저하
Underfitting (과소적합)	훈련 데이터를 충분히 학습하지 못해 패턴을 제대로 학습하지 못하는 현상	모델이 너무 단순하거나 학습 데이터가 부족함	훈련 데이터와 테스트 데이터 모두에서 성능이 낮음

 

 

 

파인 튜닝(Fine-tuning)은 FM(Foundation Model)의 가중치를 변경하는 반면, **검색 증강 생성(Retrieval-Augmented Generation, RAG)**은 FM의 가중치를 변경하지 않습니다.

 

Feature Engineering(특징 엔지니어링)**은 머신러닝 모델의 성능을 향상시키기 위해 원본 데이터에서 특징을 선택, 수정 또는 생성하는 과정입니다. 이는 모델의 정확도와 효율성을 크게 개선할 수 있기 때문에 매우 중요한 단계입니다.

 

프롬프트 엔지니어링 기법

 

1. Negative Prompting (부정적 프롬프팅)

• 특정한 유형의 응답을 피하도록 모델을 유도하는 기법.
• 예시: "추측하지 말고, 정확한 사실만 제공하세요."

---

2. Chain-of-Thought Prompting (사고 과정 프롬프팅)

• 모델이 논리적 사고 과정을 단계별로 설명하도록 유도하는 기법.
• 예시: "문제를 단계별로 분석하고, 각 단계의 계산을 설명한 후 최종 답을 도출하세요."

---

3. Few-Shot Prompting (소수 예제 프롬프팅)

• 몇 개의 예제를 제공하여 모델이 패턴을 학습한 후 새로운 질문에 답하게 하는 기법.
• 예시:
  Prompt:
  "Apple → 과일, Dog → 동물, Car → ?"
  Model Output: "탈것"

---

4. Zero-Shot Prompting (제로샷 프롬프팅)

• 사전 예제 없이 바로 질문하여 모델이 추론하도록 하는 기법.
• 예시: "번개가 치는 이유를 설명해줘."

 

AI 구조도 순서

Artificial Intelligence > Machine Learning > Deep Learning > Generative AI

 

Amazon Bedrock의 종류별 모드

 

• ✅ 예약 O (Provisioned Throughput 모드) → 일정한 성능 보장, 대규모 워크로드에 적합
• ✅ 예약 X (On-Demand & Batch 모드) → 필요할 때만 사용, 비용 절약 가능하지만 속도·처리량이 불안정할 수도 있음

✔ 고객 서비스 챗봇을 만들 때, 우리 회사만의 대화 스타일과 데이터를 반영해야 한다면? → Provisioned Throughput 필요
✔ 특정 산업(예: 의료, 금융) 도메인에 특화된 AI 모델을 만들고 싶다면? → Provisioned Throughput 필요

---

📌 정리

• On-Demand = 기본 모델(Base Model)만 사용 가능 (커스터마이징 불가)
• Provisioned Throughput = 모델을 미세 조정(Fine-Tuning)하거나 추가 학습(Custom Model) 가능

🚀 즉, 커스터마이징(Custom Model)을 하려면 반드시 Provisioned Throughput 모드에서 일정한 처리량을 예약해야 함!

 

데이터 상주와 보존에 대하여

 

**데이터 상주(Data Residency)**는 데이터가 물리적으로 저장되는 위치와 관련되며, 지역별 법률 및 규정을 준수하는 데 중요한 요소입니다. 반면, **데이터 보존(Data Retention)**은 데이터를 얼마나 오래 저장하고 유지할 것인지에 대한 정책을 의미하며, 데이터가 필요할 때 사용할 수 있도록 하고, 필요하지 않을 경우 적절히 삭제되도록 관리하는 것을 포함합니다.

 

 

---

 

 

 

 

• 교차 검증(Cross-Validation): 데이터를 여러 개의 학습 및 검증 세트로 나누어 모델이 보지 않은 데이터에서도 일반화 성능을 유지하도록 보장
• 정규화(Regularization): L1 및 L2 정규화 기법을 사용하여 복잡한 모델에 패널티를 부과, 과적합을 줄이고 모델을 단순화
• 가지치기(Pruning): 의사 결정 트리에서 중요도가 낮은 가지를 제거하여 모델을 단순화, 과적합을 방지

다음 표는 Responsible AI(책임 있는 AI) 도메인에서 고려해야 할 주요 위험 유형과 그 설명을 정리한 것입니다.

 

위험 유형	설명	예시
1. 데이터 중독 (Poisoning)	악의적인 데이터 또는 편향된 데이터를 학습시켜 모델이 유해한 출력을 생성하도록 유도	AI 모델이 가짜 뉴스 또는 잘못된 의료 정보를 제공
2. 프롬프트 유출 (Prompt Leaking)	AI 모델이 내부적으로 사용된 프롬프트나 이전 대화의 내용을 의도치 않게 노출	AI가 사용자와의 이전 대화 내용을 다른 사용자에게 노출
3. 모델 탈출 (Model Extraction Attack)	공격자가 반복된 질의를 통해 모델의 내부 가중치 또는 학습 데이터를 추출	AI를 반복적으로 질의하여 민감한 기업 데이터 복원
4. 데이터 유출 (Data Leakage)	훈련 데이터에서 개인 정보 또는 민감한 정보가 모델 응답으로 노출되는 현상	챗봇이 사용자 입력과 관계없이 데이터베이스에 저장된 민감한 정보를 제공
5. 편향된 출력 (Bias in AI)	특정 인종, 성별, 지역 등에 대해 편향된 응답을 생성	채용 AI가 특정 성별을 선호하거나, 금융 AI가 특정 인구 집단에 불리한 결정을 내림
6. 환각 (Hallucination)	모델이 존재하지 않는 사실을 생성하여 응답하는 현상	AI가 가짜 연구 논문을 생성하거나, 실존하지 않는 사건을 사실처럼 설명
7. 자동화된 조작 (Automation Manipulation)	AI가 악의적인 방식으로 자동화되어 특정 행동을 유도	AI가 소셜미디어에서 가짜 계정을 이용해 여론 조작
8. 저작권 침해 (Intellectual Property Violation)	AI가 저작권이 있는 콘텐츠를 무단으로 학습하거나 생성	AI가 특정 작가의 글을 무단으로 복사해 생성
9. 프라이버시 침해 (Privacy Violation)	AI가 개인 정보를 저장하거나 무단으로 활용하는 문제	AI가 사용자와의 대화를 학습하여 개인적인 세부 정보를 노출
10. 윤리적 문제 (Ethical Considerations)	AI가 비윤리적인 행동을 유도하거나 불법적 조언을 제공	AI가 사용자의 불법 행위를 도울 방법을 제안
11. 책임성 부족 (Lack of Accountability)	AI의 결정이 불투명하여 책임 소재를 명확히 하기 어려운 문제	AI 기반 대출 심사에서 거절 사유를 설명할 수 없음
12. 지속 가능성 문제 (Environmental Impact)	AI 모델 학습 및 운영에 따른 과도한 에너지 소비 문제	초대형 AI 모델이 막대한 전력을 소비하여 환경에 부정적 영향을 줌

 

 

 

AWS Audit Manager란?

AWS Audit Manager는 AWS 환경에서 자동으로 감사(Audit) 프로세스를 관리하고 규정 준수(Compliance) 평가를 지원하는 서비스입니다.

기능	설명
자동화된 감사 증거 수집	AWS 서비스의 활동 로그를 분석하고, 필요한 감사 데이터를 자동으로 수집
규정 준수 평가(Compliance Assessment)	AWS의 다양한 규정 준수 프레임워크(ISO 27001, SOC 2, HIPAA, NIST 등)에 따라 감사 수행
맞춤형 감사 템플릿	특정 비즈니스 및 보안 요구 사항에 맞는 감사 프레임워크를 직접 생성 및 적용 가능
증거 관리 및 보고서 생성	수집된 증거를 정리하고 감사 보고서 자동 생성
AWS 서비스 통합	AWS Config, AWS CloudTrail, AWS Security Hub 등과 연동하여 보안 및 규정 준수 상태 추적

 

 

파라미터들의 특징과 차이

 

1️⃣ **모델 파라미터(Parameters)**는 학습을 통해 자동으로 최적화되는 값이며, 모델이 학습 데이터에서 패턴을 학습하는 데 사용됩니다.

• 예: 신경망의 **가중치(weights)**와 편향(bias), 의사결정 트리의 분기 조건 등
• 즉, 학습을 거치면서 변화하는 값

2️⃣ **하이퍼파라미터(Hyperparameters)**는 사람이 직접 설정해야 하는 값이며, 모델 학습 과정의 성능을 조정하는 역할을 합니다.

• 예: 학습률(learning rate), 배치 크기(batch size), 은닉층(hidden layers) 개수, 정규화 파라미터 등
• 즉, 학습이 시작되기 전에 미리 결정하는 값

🚀 쉽게 정리하면?

• 파라미터(Parameter) → 모델 내부에서 학습되는 값 (가중치, 편향 등)
• 하이퍼파라미터(Hyperparameter) → 사람이 조정하는 값 (학습률, 배치 크기 등)

✅ 좋은 모델을 만들려면 적절한 하이퍼파라미터를 선택하고, 학습 과정에서 모델 파라미터가 효과적으로 조정되도록 하는 것이 핵심입니다! 😊

 

 

📌 Amazon Q Developer 주요 기능 정리

기능	설명
채팅(Chat)	AWS 서비스 선택, AWS CLI 사용법, 문서, 모범 사례 및 AWS 리소스 관련 질문에 대한 자연어 응답 제공
대화 기억(Conversation Memory)	대화의 맥락을 기억하여 이후 응답에 반영
코드 개선 및 조언(Code Improvements and Advice)	IDE 환경에서 코드 품질을 개선하고, 개발 관련 질문에 대한 조언 및 새로운 코드 생성 지원
코드 자동 완성(Code Completion)	기존 코드와 주석을 분석하여 실시간 코드 자동 완성 제공
문제 해결 및 지원(Troubleshoot and Support)	AWS 관리 콘솔 내 오류 분석을 돕고, 실시간 AWS 지원 에이전트와 연결하여 문제 해결 지원

 

 

**해석 가능성(Interpretability)**은 머신러닝 모델의 내부 동작 원리를 이해하는 것을 의미하는 반면,

**설명 가능성(Explainability)**은 모델의 예측 및 동작에 대한 이해하기 쉬운 이유를 이해관계자에게 제공하는 것을 의미합니다.