AI/데이터 분석의 첫걸음

문제설명) 다음은 식당의 정보를 담은 REST_INFO 테이블입니다. REST_INFO 테이블은 다음과 같으며 REST_ID, REST_NAME, FOOD_TYPE, VIEWS, FAVORITES, PARKING_LOT, ADDRESS, TEL은 식당 ID, 식당 이름, 음식 종류, 조회수, 즐겨찾기수, 주차장 유무, 주소, 전화번호를 의미합니다. 문제) REST_INFO 테이블에서 음식종류별로 즐겨찾기수가 가장 많은 식당의 음식 종류, ID, 식당 이름, 즐겨찾기수를 조회하는 SQL문을 작성해주세요. 이때 결과는 음식 종류를 기준으로 내림차순 정렬해주세요. 풀이) SELECT FOOD_TYPE, REST_ID, REST_NAME, FAVORITES FROM REST_INFO WHERE (FOOD_TYP..

※ 현재 사용한 모델 SentenceTransformer: 문장 단위의 임베딩 벡터를 생성하는 모델. 입력한 문장을 임베딩 벡터로 변환하여 유사도 측정. 문장 내 의미를 보존하면서 벡터 공간에서의 유사도를 보장하는 임베딩을 생성. 한국어 문장 분류, 검색, 클러스터링 등 다양한 자연어처리 테스크에서 성능향상을 기대할 수 있음. 그러나 입력한 정보를 바탕으로 데이터 프레임에서 유사한 데이터를 찾아내는 것은 별도의 코드로 구현. ↓ ※ 유사도 측정 및 가장 유사한 행 선택하기 과정 데이터 전처리 입력한 정보와 데이터 프레임의 정보를 비교하기 위해 필요. ex) 데이터 프레임의 '재료' 컬럼에서 각 요리의 재료정보를 리스트 형태로 추출해야 함. 임베딩 벡터 생성 입력한 정보와 데이터 프레임의 정보를 문장 단위..

GPT 모델 알아보기 GPT 모델은 단방향으로 되어있다. 문장에서 다음 단어 예측을 위하여 이전 단어들만 입력한다. 토크나이저 : Byte Pair Encoding(BPE) Transfer Learning(전이학습) : 주로 언어 생성 태스크에 적용 Fine-Tuning: Generation Few-shot learning Pre-training 데이터셋: WebText 등의 대규모 텍스트 코퍼스 활용분야 : 자연스러운 문장생성 Byte Pair Encoding 하나의 텍스트를 토큰으로 분리하기 위한 subword 기반 알고리즘 텍스트를 일정 크기의 subword 단위로 쪼개서 처리하는 과정에서 OOV(Out-Of-Vocabulary)문제를 해결하고자 개발된 알고리즘. SentencePiece: 구글에서..

1. 트랜스포머 영상 강의 (예습해야 강의 따라갈 수 있음. 필수 !!) 2. VSCode 설치 및 .py 스크립트 실행 확인하기 3. VSCode 터미널에서 아나콘다 가상환경 (base) 문구 확인하기 파이썬 가상환경 만들기 : python -m venv example 파이썬 가상환경 활성화 : . example/bin/activate (동작을 하지 않는다면 검색이나 질문하기) 파이썬 가상환경 비활성화 : example deactivate * example 은 가상환경 이름입니다. 아나콘다 기존 가상환경 비활성화 : conda deactivate 아나콘다 가상환경 만들기 : conda create --name 가상환경이름 아나콘다 가상환경 활성화 : conda activate 가상환경 이름 파이썬 코딩..

CNN이란? CNN은 Convolutional Neural Network의 약자로, 주로 이미지 인식 및 컴퓨터 비전 분야에서 사용되는 딥러닝 알고리즘입니다. CNN은 일반적인 인공신경망과는 달리 입력 데이터에 대한 공간 정보를 보존하면서 처리할 수 있는 구조로 이루어져 있습니다. 이를 위해 CNN은 이미지 등의 입력 데이터에서 특징(feature)을 추출하기 위한 컨볼루션(Convolution) 계층과 추출된 특징을 인식하는 풀링(Pooling) 계층, 그리고 인식된 특징을 기반으로 최종적인 분류를 수행하는 완전 연결 계층으로 구성됩니다. 컨볼루션 계층에서는 입력 이미지를 필터(filter)라는 작은 크기의 윈도우를 이용하여 슬라이딩하면서 특징을 추출합니다. 이를 통해 입력 데이터의 공간 정보를 보존하..

CNN Explainer An interactive visualization system designed to help non-experts learn about Convolutional Neural Networks (CNNs). poloclub.github.io 🤔 Q1. 이미지에서는 주로 CNN 합성곱신경망을 사용하게 되는데, 기존 DNN이 갖고 있는 어떤 문제점 때문에 합성곱 신경망을 이미지에 주로 사용하게 되는 것일까? model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dropout(0...

인공신경망(ANN: Artificial Neural Network) 인공신경망은 생물학의 신경망(뇌)에서 영감을 얻은 정보처리 체계로 단층 퍼셉트론과 다층 퍼셉트론을 포함한다. 시냅스의 결합으로 망을 형성한 인공 뉴런(퍼셉트론)이 학습(시냅스의 결합 세기)을 통해 문제를 해결한다. 인공신경망 분류 지도학습 : 정답의 입력에 의해 문제에 최적화 됨 비지도 학습 : 정답 없음 인공신경망 구성 입력층(Input) : 다수의 입력 데이터를 받는다. 은닉층(HIdden) : 입력층과 출력층 사이에 존재하는 레이어들. (모델구성 : 은닉층의 개수와 노드 개수를 구성) 출력층(Output) : 데이터의 출력을 담당한다. => 과제) : 은닉층으로 모델을 잘 구성하여 원하는 Output 값을 잘 예측하는 것. 인공신경..

미니프로젝트의 목표 - 분류, 회귀일 때 네트워크 구성 방법의 차이를 안다. - 입력층, 출력층, units개수 설정, loss, 데이터 형태 등과 평가지표 등을 이해한다. * 딥러닝은 문자 데이터에 대한 전처리가 필요하고, 스케일링(정규화) 등을 해주면 더 나은 성능을 보인다. [데이콘 Basic 칼로리 소모량 예측 AI 경진대회 - DACON] 데이콘 Basic 칼로리 소모량 예측 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io [스마트 공장 제품 품질 상태 분류 AI 온라인 해커톤 - DACON] 스마트 공장 제품 품질 상태 분류 AI 온라인 해커톤 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표)..