전산쟁이의 기억노트

개인적으로 공부했던 부분이라 사실과 다르게 자의적인 해석이 있을수 있음 왜 옵저빌리티(observability)를 도입해야 하는가?서비스 장애시 기존에는 담당자의 경험으로 처리했으나, 컨테이너화 되면서 내부시스템은 복잡해졌고, 단순 모니터링으로는 이슈대응이 매우 어렵게 되었음목표는 내부시스템에 대한 자세한 정보를 기반으로 미래에 발생할 이벤트를 예측하고, 이런한 예측을 바탕으로 IT운영을 자동화 하는 것.(ef. 장애가 발생할 위험이 있으면 미리 예측하고 운영자에게 통보, 서비스에 필요한 리소스 증감을 미리 예측하는 것)단순 모니터링이 아닌 서비스간의 상관관계를 파악하고 상태 데이터를 기사화 함으로써 개발자, 운영자에게 빠른 의사결정을 할 수 있도록 도와주기 때문에 필요하다.옵저빌리티와 AI를 결합한 A..

발생현상 pod 구동될때 Imageinspecterror 메시지를 출력하면서 구동되지 않는 문제 $> kubectl describe pod {{ pod명 }} ... Events ... Imageinspecterror docker data root가 변경된 경우 일부 pod가 캐싱된 경로를 가지고 있어서 발생하는 것으로 보임 - Docker컨테이너 저장경로 변경방법 조치방법 docker 캐쉬정보 삭제 $> docker system prune -af $> docker volume prune -af pod 삭제 (auto healing 기능에 따라 자동으로 다시 배포됨) $> kubectl delete pod --grace-period=0 --force {{ pod명 }} Reference http://ig..

발생현상 컨테이너 내부에서 통신시 호스트를 못찾는 문제가 있어서(WEB ->DB) 구동실패 원 인 Docker 내부에서 hosts를 찾지 않고 docker-dns.conf를 따라서 외부 DNS를 참조해서 리졸빙하는것으로 보임. 조치방법 docker-dns를 제외하고 구동. $> mv /etc/systemd/system/docker.service.d/docker-dns.conf /etc/systemd/system/docker.service.d/docker-dns.conf_ori $> systemctl daemon-reload $> systemctl restart docker Reference http://igoni.kr/books/linux/page/unknown-server-host 컨테이너 구동시 un..

사전 설명 k8s환경에서 특정 노드 제외할때 그냥 삭제해도 kube scheduling에 의해 재배치가 있긴하지만 계획된 정지 작업같은 작업이 있는경우 보다 안정적으로 노드를 제외하려면 cordon / drain 절차를 거치면 좋습니다. cordon / drain은 약간의 차이가 있는데, cordon의 경우 단순 스케쥴링을 제외하는 절차, drain의 경우 제외할 노드를 모두 제거하는 절차를 수행합니다. (drain은 cordon절차를 포함합니다.) 작업절차 cordon 설정 노드 정보 확인 $> kubectl get no NAME STATUS ROLES AGE VERSION masr1 Ready control-plane,master 37d v1.23.7 work1 Ready 37d v1.23.7 wor..

크롬브라우져에 공룡게임 있다는 사실을 알게되었는데..... 크롬 브라우져에서 chrome://dino를 입력하면 인터넷 연결을 끊지 않아도 할 수 있어요.ㅋㅋ 그리고 이건..ㅋㅋ 내 점수..ㅋㅋ reference http://igoni.kr/books/it/page/352fe 크롬브라우져에서 공룡게임하기 | igoni.kr 크롬브라우져에 공룡게임 있다는 사실을 알게되었는데..... 크롬 브라우져에서 chrome://dino를 입력하... igoni.kr

Jpub에서 발간한 사이트신뢰성 엔지니어링에 대해 읽고, 자체적으로 해석한 결론입니다. (정확하진 않을수 있습니다. 말 그대로 자체 해석...) 구매는 요기 - http://www.yes24.com/Product/Goods/57979286 SRE란? 구글에서 시스템의 안정성을 증가시키기 위해 활동하는 역활로, Devops보다 한단계 더 발전한 모델이라고 합니다. SRE역활 Site Reliability Engineer 의 약자로, 소프트웨어 엔지니어링과 IT인프라 운영 그 중간쯔음에서 일하는 역활로, in-house tool이나 오픈소스를 활용해 시스템의 안정성과 확장성을 유지하고 개선하는 업무 Devops/SRE의 업무 목표는 신속한 서비스 제공을 위해 기업문화, 자동화툴을 이용한 플랫폼 설계/구축 하..

kuebernetes DB격인 etcd의 member리스트를 제외한느 절차를 기술한다. 다중 마스터(3대로 구현)되어 있을때 특정 노드를 제외하는 방법이다. etcd memver list 확인 $> cd /usr/local/bin $> ./etcdctl.sh -w table endpoint status --cluter=true +----------------------+------+---------+----------+-----------+------------+------------+------------+--------------------+--------| | ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT ..

rancher pod 정보 확인 $> kubectl get pod -A | grep rancher cattle-system rancher-c56764479-nt7nb 1/1 Running 3 (3d2h ago) 45d rancher pod가 어느노드에서 떴는지 확인 $> kubectl describe pod rancher-c56764479-nt7nb -n cattle-system Name: rancher-c56764479-nt7nb Namespace: cattle-system Priority: 1000000000 Priority Class Name: rancher-critical Node: test2/192.168.0.25 Start Time: Thu, 21 Sep 2023 00:51:03 +0900 L..

xfs로 만들어진 경로의 데이터 사용량 증가하고 있어 추가로 디스크 장착 ~ 용량 확장하려고 합니다. 사전정보 현재 알람이 발생한 디스크 사용량 정보 $> df -Th /data Filesystem Type Size Used Avail Use% Mounted on /dev/mapper/content_vg-content_lv xfs 3.6T 3.3T 346G 91% /data 흠.. 3.6T 디스크인데 3.3T사용하고 있어서 총 사용율 91%네요. ㅠ^ㅠ 굴러다니는 디스크 500G짜리 를 하나 더 붙였습니다. $> fdisk -l ... Disk /dev/sdc: 500 GiB, 536870912000 bytes, 1048576000 sectors Units: sectors of 1 * 512 = 512 ..

집에서 한동안 안쓰고 굴러다니는 태블릿이 하나 있습니다. 모델명은 바로 "Galaxy Tab A with S Pen 8.0" 게임전용으로 쓰다가 문제가 생겼습니다. 바로... 손터치 불량. ㅠㅠ 희한하게 S펜으로는 인식이 되는데 손 터치만 아주아주아주 높은 확률로 인식이 안되요. 검색해보니 네이버 블로그에도 저랑 같은 증상으로 액정 교체하신 분이 계시네요. 2022년에 삼성서비스에서 10만원 조금 넘게 비용이 들어갔다고 하셨고, 사설업체에 전화해보니 수리비 포함해서 7만원라고 하네요. 잘 쓸일이 없는 태블릿을 고쳐야 하나 고민입니다..😂😂 터치가 불량이라 게임용으로는 못쓰게 되었고, 유툽으로 볼까 했는데 뭐...그것도 잘 안됬어요... (귀찮은게 제일 큰..ㅋㅋ) 다른 부품이 고장난것도 없어서 버리긴 아..