본문 바로가기

전체 글291

[개념 정리] LDA 토픽 모델링 지난 디리클레 분포에 관한 포스팅에을 통해 불확실한 확률 분포를 모델링하는 방법에 대해서 알아보았습니다.[개념 정리] 디리클레 분포(Dirichlet Distribution): 불확실한 확률분포를 모델링하는 방법 [개념 정리] 디리클레 분포(Dirichlet Distribution): 불확실한 확률분포를 모델링하는 방법머신러닝, 특히 베이지안 통계와 토픽 모델링(LDA)을 깊이 있게 공부하다 보면 반드시 마주치는 이름이 있습니다. 바로 디리클레 분포(Dirichlet Distribution)입니다. 단순히 “분포들의 분포”라는 한jaylala.tistory.com 이제 이를 활용해, 텍스트 데이터 속에 숨겨진 '주제(Topic)'를 찾아내는 잠재 디리클레 할당(Latent Dirichlet Alloca.. 2025. 8. 30.

[개념 정리] 디리클레 분포(Dirichlet Distribution): 불확실한 확률분포를 모델링하는 방법 머신러닝, 특히 베이지안 통계와 토픽 모델링(LDA)을 깊이 있게 공부하다 보면 반드시 마주치는 이름이 있습니다. 바로 디리클레 분포(Dirichlet Distribution)입니다. 단순히 “분포들의 분포”라는 한 줄 설명만으로는 그 의미를 이해하기 어려운데요 이 글에서는 디리클레 분포의 직관적인 개념부터 수학적 형태, 그리고 가장 중요한 쓰임새인 켤레 사전 분포(Conjugate Prior)의 역할까지, 쉬운 예시와 함께 전문적으로 파헤쳐 보겠습니다. 1. 동전 던지기와 베타 분포(Beta Distirbution) 디리클레 분포를 이해하는 가장 좋은 방법은 그 특수 케이스인 베타 분포(Beta Distribution)에서 시작하는 것입니다. 베타 분포는 결과가 2가지인 사건(예: 동전의 앞/뒤,.. 2025. 8. 30.

[딥러닝 with Python] CBM이란?(Concept Bottleneck Model) (해석가능한 인공지능) 딥러닝 모델은 이미지 인식, 자연어 처리 등 다양한 분야에서 인간을 뛰어넘는 성능을 보여주고 있습니다. 하지만 이 놀라운 성능 뒤에는 '블랙박스(Black Box)'라는 고질적인 문제가 존재합니다. 모델이 어떻게 그런 결론에 도달했는지 그 이유를 설명하기 어렵다는 것이죠. 만약 AI가 당신의 대출을 거절했거나, 의료 영상에서 암을 진단했다면, 단순히 "AI가 그랬어요"라는 답변에 만족할 수 있을까요? 의료, 금융, 국방, 자율주행처럼 결정 하나하나가 치명적인 결과를 낳을 수 있는 고위험(High-stakes) 영역에서는 설명 책임(Accountability)이 무엇보다 중요합니다. 지금까지의 해석가능성 연구(XAI)는 대부분 이미 학습된 모델의 판단 근거를 사후에 추적하는 '사후 설명(Post-ho.. 2025. 8. 30.

[딥러닝 with Python] OpenAI의 새 오픈소스 모델, GPT-OSS 2025년 8월, AI 업계는 OpenAI가 6년 만에 공개한 오픈 웨이트(Open-Weight) 모델인, GPT-OSS의 등장에 크게 주목했습니다. 이 소식에 샘 알트만은 "정말 놀라운 일"이라며 감탄했고, 허깅페이스 CEO는 "엄청난 반전이자 거대한 시작"이라며 흥분을 감추지 못했죠. GPT-5라는 초대형 모델 출시와 겹쳤음에도, GPT-OSS는 모든 스포트라이트를 가져가며 허깅페이스 트렌딩 1위에 올랐습니다. 지난 1년간 Qwen, DeepSeek 등 중국 모델들이 주도하던 오픈소스 AI 시장에 OpenAI가 직접 뛰어든 것은 그 자체로 엄청난 사건입니다. 과연 OpenAI의 이번 행보는 진정한 '오픈' 정신으로의 회귀일까요, 아니면 시장 주도권을 되찾기 위한 치밀한 전략일까요? 혹은 개발자들을.. 2025. 8. 30.

[딥러닝 with Python] HDF5(h5)란? (시계열 데이터 저장 포맷) 1. HDF5(h5)란?- HDF5(Hierarchical Data Format version 5)는 미국 NCSA(National Center for Supercomputing Applications)에서 개발한 대규모 과학 데이터 저장 포맷입니다. - CSV처럼 단순한 구조가 아니라, 계층적(Hierarchical) 구조를 지원하여 하나의 파일 안에 다수의 데이터셋과 메타데이터를 정리할 수 있습니다.파일 확장자: .h5 또는 .hdf5저장 구조: 파일 → 그룹(Group) → 데이터셋(Dataset)지원 라이브러리: [Python] h5py, PyTables, [Pandas] to_hdf() 2.HDF5의 주요 특징 2-1. 계층적 데이터 구조- 한 파일 안에 다수의 테이블, 배열, 메타데이터를 계층.. 2025. 8. 30.

[개념 정리] Dropout과 Regularization의 차이 1. Regularization의 개념과 필요성- 딥러닝 모델이 충분히 복잡하고 파라미터가 많을 경우, 학습 데이터에 과도하게 맞춰져서 새로운 데이터에서는 성능이 떨어지는 과적합(Overfitting) 문제가 발생합니다. - 이를 방지하기 위해 사용하는 기법이 정규화(Regularization)입니다. - 정규화는 모델의 복잡도를 억제하거나 학습 과정에서 제약을 주어 모델이 더 일반화된 패턴을 학습하게 돕습니다. - 전통적인 정규화 방법으로는 L1 정규화(라쏘, Lasso), L2 정규화(릿지, Ridge)가 있습니다. - 수학적으로 L2 정규화(Weight Decay)는 다음과 같이 손실 함수에 패널티 항을 추가합니다. - 여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터이며, θ는 모델 파라미터.. 2025. 8. 29.

[개념 정리] Parameter, Hyperparameter, Model Capacity 란? 1. Parameter란 무엇인가? 딥러닝에서 파라미터(Parameter) 는 모델이 학습을 통해 스스로 조정하는 값입니다. 대표적으로 가중치(Weight)와 편향(Bias)가 여기에 해당합니다. 파라미터는 손실 함수를 최소화하는 방향으로 역전파(Backpropagation)와 경사 하강법(Gradient Descent)을 통해 자동으로 업데이트됩니다. * 예를 들어, 선형 회귀에서 입력 x와 출력 y의 관계가 다음과 같다고 합시다 여기서 w와 b가 파라미터입니다. 학습 데이터가 주어지면, 모델은 손실 함수 L(y,y^)를 최소화하는 w와 b를 찾아갑니다. 딥러닝 모델에서는 이러한 파라미터가 수십만~수억 개 이상 존재하며, 모델의 표현력과 직접적으로 연결됩니다. 2. Hyperparameter(하이퍼.. 2025. 8. 28.

[딥러닝 with Python] [그래프 신경망] HGT란? (Heterogeneous Graph Transformer) [이번 포스팅은 논문 " Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020, April). Heterogeneous graph transformer. In Proceedings of the web conference 2020 (pp. 2704-2710)." 을 참조했습니다] 1. 이종 그래프의 한계와 Heterogeneous Graph Transformer(HGT)의 등장- 현실 세계의 데이터는 논문, 저자, 기관처럼 다양한 유형의 객체와 그들 사이의 복잡한 관계로 이루어진 이종 그래프(Heterogeneous Graph)입니다. 기존의 그래프 신경망(GNNs)은 대부분 모든 노드와 엣지가 동일한 유형인 동종 그래프용으로 설계되어 이러한 복잡성을 모델링하는 데 한계가 있었습니.. 2025. 8. 27.

이전 1 2 3 4 ··· 37 다음

티스토리툴바