AWS 머신러닝

Amazon Rekognition

기계학습을 이용해서 객체, 사람, 텍스트와 이미지와 비디오의 장면을 찾는 서비스이다. 

얼굴을 분석하고 비교하며 사용자 확인을 하며 이미지 내의 인물 수를 셀 수 있다. 

이미지속 어굴을 유명인 얼굴의 데이터베이스와도 비교할 수 있다. 

이미지를 라벨링도 할 수 있다. ( 이름도 적힘 강아지 종류등)

성별, 얼굴속 표정 탐지, 이동 경로를 따라가므로 스포츠 경기 분석에도 사용된다. 

이미지와 비디오용 서비스이다. 

 

시험에 나옴 콘텐츠 조정기능 ( Content Moderation )

이미지나 비디오에서 부적절하거나 원치 않거나 불쾌감을 주는 콘텐츠를 탐지하는 기능이다.

인종차별, 선정적인 콘턴츠를 Rekognition이 분석한 후 플래그를 띄우도록 신뢰도 임곗값을 설정하면 된다.

이 후 A2I라는 걸 사용하여 걸러진 것들을 인적 검토가가능하다.( 이건 옵션 )

 

Transcribe

자동으로 음석을 텍스트로 변환시켜준다.

오디오를 넣으면 자동으로 텍스트로 변환된다. 자동 음성 인식(ASR)이라는 딥러닝 프로세스를 사용한다.

1. Redaction을 사용하여 개인 식별 정보 (PII)를 자동으로 제거할 수 있다. 

(예를들어 누군가의 나이, 이름 사회 보장 번호가 있다면 자동 제거 됨 ) 

2. 다국어 오디오를 자동으로 언어 식별 가능 ( 한 문장에 프랑스어 영어 스페인어가 섞여있어도 인식 가능 )

 

Polly

텍스트를 음성으로 변환한다. Transcribe와는 반대이다. 

발음 어휘 목록을 사용해 (Pronunciation lexicons) 사용자 지정 발음을 생성할 수 있다.

AWS -> Amazon Web Services 이렇게 풀어서 읽도록 하는등이다

 

SSML을 사용하여 특정 단어나 구절을 강조할 수 있다. 숨소리를 넣거나 속삭이듯 말할 수 있다. 뉴스 진행자 스타일로 말하거나..

 

Translate

자연스럽고 정확한 언어 번역 기능을 제공한다.

해외 사용자를 위한 웹사이트와 애플리케이션 등에 적용 가능, 대량의 텍스트에도 적용가능

다양한 언어로 번역이 가능하다.

 

Lex + Connect

 지니야 같은 느낌이다.

지니야 내일 날씨가 어때 ?

지니 기기가 날씨가 ~ 습니다 라고 할 것이다. 

아마존 Lex를 이용하여 자동 음성 인식을 할 수 있다.

우리가 말한 자연어를 텍스트로 바꿔서 인식하는 것이다. 챗봇 구축이나 콜센터 봇 구축에 도움을 준다.

 

aws서비스 중 Connect는 가상 고객센터같은 느낌이다. 비용이 저렴하다

 

먼저 핸드폰으로 connect에서 지정한 번호로 통화를 하면 ->  전화가 연결되고 Lex는 이 통화의 모든 정보를 스트리밍 하여 통화 목적을 이해한다. 그런다음 Lex가 올바른 Lambda를 호출한다, 이 람다는 건화를 건 사람이 내일 오후 3시에 tom과 미팅을 원함을 이해한다.CRM으로 이동하여 코드를 작성하여 미팅을 잡는다.

 

정리하자면 Lex는 ASR이고 Connect는 고객센터이다. 

 

Comprehend

이해하는 서비스이다.자연어를 처리하는 NLP서비스이다 (natural language processing )

시험에서 NLP가 보이면 Comprehend를 생각하자.

완전 관리형 서버리스 서비스이며 텍스트에서 주요 문구 장소 및 사람 브랜드 이벤트를 추출한다. 

긍정적인지 부정적인지 파악할 수도 있다. 

대량의 데이터가 있으면 Comprehend가 그 데이터의 의미를 이해하려고 시도한다 

따라서 텍스트 혹은 구조화 되지 않은 데이터를 이런 기능을 사용해 구조화 한다.

 

 

Comprehend Medical

비정형 의료 텍스트에서 정보를 탐지해 반환해주는 서비스이다.

의사 소견서나 퇴원 요약서 , 검사 결과서, 의료 사례 기록을 발견하면 NLP, 즉 자연어 처리를 사용해 텍스트를 탐지한다.

문서와 문서 속의 보호된 개인 건강 정보 (PHI)를  DetectPHI API로 탐지해낸다. 

 

s3에 문서를 저장하고 comprehend medical api를 실행하여 kinesis data firehose로 실시간으로 데이터를 분석하거나, 

Transcribe를 사용해 음성을 텍스트로 변환후 텍스트 형식의 콘텐츠를 comprehend medical 서비스에 전달한다.

 

즉 comprehend medical로 텍스트에서 정보를 추출해 인사이트를 얻을 수 있다는 것이다.

 

sageMaker

머신러닝 모델을 구축하는 데 있어 전 과정을 관리해주는 기능이다.

시험 번수를 예측하는 머신러닝모델을 구축한다고 해보자 

먼저 모든 학생의 실제 점수에 관한 데이터를 수집해야한다.

만 명의 학생에게 시험을 얼마나 공부했는지, 몇 번 응시했는지 등 가능한 많은 데이터를 수집하고

데이터를 라벨링한다 어떤 열이 무슨 데이터와 대응하는지 정한다.이걸 빌드하여 머신러닝을 학습시키고 조정시킨다.그리고 잘 되면 배포하거나 한다.

 

이 모든 과정, 즉 라벨링과 구축 훈련 및 조정 모두 sagemaker에서 가능하다

 

Forecast 

예측을 도와주는 기능이다. 미래의 비옷 판매를 예측한다.

데이터 자체를 확인하는 것보다 더 정확하다.

제품 수요계획, 재무계획 자원계획등이 쓰인다.

가격정도, 할인, 웹사이트 트래픽, 가게 위치 등의 정보를 s3에 업로드하고 forecase가 forecasting model을 활용하여 에측을 하는 것이다. 

 

시험에서 예측이 나오면 forcast를 생각하자

 

Kendra

완전 관리형 문서 검색 서비스이다.

문서 내에서 답변을 추출할 수 있게 도와준다. 

이 때 문서는 text,pdf,html powerpoint, ms word, faq등이다.

 이런 문서가 존재하는 다양한 데이터 소스 ( s3, rds, google drive, 등등 )에서 

kendra는 문서들을 인덱싱하여 머신러닝으로 작동되는 지식 인덱스(knowledge index)를 내부적으로 구축한다.

 

예를들어 사용자가 it지원 데스크 위치가 어디야 라고 물으면 Kendra는 1층입니다 라고 대답할 수 있다. 

이게 가능한 이유는 kendra가 모든 리소스를 검색하여 it 지원 데스크의 위치가 1층임을 알 수 있기  때문이다. 

 

시험에서 문서 검색 서비스를 보면 Kendra라고 생각하자

 

Personalize

실시간 맞춤화 추천으로 애플리케이션을 구축한다.

예르들어 맞춤화된 제품 추천, 그리고 재 순위화(랭킹)등이다.

예를들어 사용자들이 원예 도구를 많이 구매했다면 다음번 구매 제품을 추천하는 것이다.

 

시험에서 추천 및 맞춤화된 추천을 위한 서비스는 Personalize를 생각하자

 

Textract

이름처럼 텍스트를 추출한다.

즉 텍스트 손글씨 또는 스캔을 한 문서의 데이터를 추출한다

만약 운전면허증이 있고 이걸 textract에 업로드하면 자동으로 분석되여 결과가 데이터 파일로 제공된다.

생일 문서 id등을 추출할 수 있다., 필요한 모든 데이터를 추출할 수 있다.

그리고 PDF와 이미지 등을 읽을 수 있다. 

 

요약

Rekognition으로 얼굴 탐지 및 라벨링 유명인 인식등을 할 수 있다. 

Transcribe를 사용하면 자막을 얻을 수 있다. (음성 -> 텍스트 )

Polly는 텍스트를 음성으로 바꿀 수 있다.

Translate로 다양한 언어로 번역을 할 수 있다.

Lex는 챗봇과 같은 대화형 봇을 구축한다. Connect 서비스 와 묶으면 클라우드 고객 센터를 만들 수 있다.

Comprehend는 자연어 처리를 하는 방법이고 (주요 단어 추출 및 긍정 부정 파악 가능)

sageMaker는 개발자와 데이터 과학자를 위한 머신러닝 전 과정

forcase는 예측을 할 때 사용

Kendra는 머신러닝기반의 문서 검색 엔진이다.

Personalze는 고객을 위한 실시간 맞춤형 추천을 제공한다. 

Textract는 텍스트와 데이터를 탐지하고 다양한 문서에서 이를 추출하는데 사용된다.