Programming/Python34 [Python] pandas csv 생성 python으로 csv 생성하는 방법을 공유하려고 합니다. csv 생성은 pandas를 사용하면 굉장히 간단하게 생성할 수 있습니다. 반복되는 csv 가 있다면 for문과 if 문을 적절히 섞어서 하나의 탬플릿으로 수십수백 개의 csv 칼럼도 생성 가능합니다. 이번 포스팅은 기본만 설명할 것이기 때문에 한 줄의 csv를 생성하려고 합니다. import pandas as pd test_age = '27' test_company = 'BTC' specialty = 'dev' pcc_daasweb_pccs_data_02c = { 'age' : test_age, 'company' : test_company, 'specialty' : specialty } pccs_daasweb_log_02c = pd.DataFr.. 2022. 12. 15. [Python] 함수와 를 활용한 코드 분석 지난 [Python] 언어는 반복 작업을 하기 위한 도구이다 라는 포스팅을 보면 읽는 시각을 넓혀라 라는 내용이 있다. 그 내용에 대한 방법을 코드로 보면서 이해해보자 함수의 최종 output을 먼저 보고 왜 이런 결과가 나왔는지 분석하는 것이다. 두 개만 알아두자 1. 최종 결과가 중요하지 과정은 중요하지 않다. 2. 결과가 나왔고 과정이 불만족스럽다면 언제든지 수정이 가능하다. 1. 목적 1. 데이터를 명시하고있는 yaml파일에 한국 server와 미국 server라는 이름의 타깃 명이 있는 상태이다. 2. 한국과 미국 server는 다른 서버이지만 서버만 다를뿐 들어오는 데이터가 같다고 가정하자 3. 현재는 1부터 10까지 들어와 있지만 한시간 후 데이터 량이 30까지 늘어날 전망이다. 4. 이때 .. 2022. 12. 14. [Python] 언어는 반복 작업을 하기 위한 도구이다 1. 시작은 어렵기 마련이다. 언어를 학습하면서 어려움을 느끼는 분들이 많을 것입니다. 예시로는 1. 언어에 대한 구조와 문법이 어렵다 2. 목적과 결과적으로 어떤 것을 만들어 낼지 모르겠다. 3. 많은 레퍼런스와 자료들이 있지만 제각기 달라서 너무 난해하다. 4. 업무를 하기 전 학습은 많이 하고 여러 페이지를 제작하였지만 현업에서 내 코드가 쓸만할지 모르겠다. 등등... 1번과 3번은 학습을 많이 해야 하는 케이스이고 2번은 목적을 확고하게 잡고 어떤 output을 도출해 낼지 고민하고 실행하면 되며 4번은 업무 투입하게 되면 좋은 코드가 아닐지라도 output을 낼 수 있으며 수정과 보수 작업으로 더 나은 코드가 탄생할 수 있습니다. 결론적으로 코딩 언어는 지속적으로 반복하거나 또는 라이프 사이클을.. 2022. 12. 13. [Python] yaml 파일을 활용한 python 코딩 yaml파일을 활용한 Python 코딩을 포스팅하려고 합니다. 그냥 코딩을 해도 되는데 yaml파일 활용을 왜 하는건지 궁금하시지 않을 거 같지만 알아 두는 것이 몸에 이로울 수 있습니다. yaml을 사용하지 않는다면 Python으로 DB에 있는 정보나 aws에 있는 리소스 예를 들면 S3버킷에 있는 정보들을 활용하여 Python으로 Output을 도출해 내고 싶으면 Python에 DB정보와 aws Key정보를 하드코딩으로 담아야 합니다. yaml을 알기전 하드코딩의 단점을 먼저 설명해 드리자면 소스코드는 외부에서 확인이 쉽습니다. 예를 들면 web은 개발자 도구에서 소스코드를 취득하기 쉬우며 cicd툴인 Airflow는 실행 중인 code를 직접 볼 수 있도록 하는 페이지가 있어 DB나 aws 정보들이.. 2022. 12. 12. python selenium으로 웹노가다 자동화하기 #1 살다보면 업무든 뭐든 웹을 통한 작업을 할 일이 꽤나 많습니다. 반복적인 작업을 해야 할 때도 많아서, 열심히 작업을 하다보면 가끔 현타가 옵니다. 조금이라도 현타를 줄이고자한다면 python 라이브러리인 selenium을 사용하면 됩니다. 웹 자동화를 위한 라이브러리인데, node.js나 go에서도 구현이 가능하나, python이 아무래도 자료도 많고 다양한 라이브러리들이 제공되어서 python에서 사용하는 것이 좋은 것 같습니다. selenium을 사용해 웹브라우저를 제어하기 위해서는 세가지 필수사항이 있습니다. python 설치 selenium 설치 webdriver 다운로드 python으로 Selenium 사용하기이니만큼, 1,2번은 당연한 거죠. 그러면 3번은 뭘까요? 브라우저를 제어하기 위해서.. 2022. 12. 10. [Pythpn] 3.11.0버전 공개 이슈 dev/ops개발자의 시점 최근 파이썬 3.11.0 버전이 공개됐다. 파이썬 소프트웨어 재단에서 3.11 정식버전을 공식 사이트를 통해 출시하였다. 파이썬은 여태 느린 속도를 보였지만 이번 파이썬 3.11.0 버전을 통해 10~60%가량 속도 향상에 성공하였다고 한다. 높은 수치의 속도를 개선할 수 있었던 이유는 Faster CPython Project 덕분이다. 파이썬 프로그래밍 언어의 실상은 구문이 어떻게 생겼고, 규칙은 무엇인지에 대한 것인데 CPython은 파이썬을 구현하는 C 프로그래밍으로 파이썬 코드를 가져와서 읽고 CPU로 명령을 전송한다. 이미 C로 작성된 Numpy 혹은 Tensor flow를 활용하면 10~60% 의 속도 향상은 크게 체감 못할지도 모르겠다. 추가적으로 역추적, 예외 그룹 및 제외 등 업데이트를 .. 2022. 11. 15. [python]linux log를 활용한 csv생성 https://btcd.tistory.com/776 이전 포스팅과 연결되어 있습니다. [python] linux log를 활용한 문자열 인덱싱 https://btcd.tistory.com/775 [Python]linux log 활용하기 https://btcd.tistory.com/774 [Python] linux grep값 변수로 담기 외부든 외부든 어떠한 통신 값이나 임의로 설정한 데이터 값이 있으면 log가 남기 마련이다. 그 btcd.tistory.com [Python] linux grep값 변수로 담기라는 포스팅을 보셨다면 서론에서도 말했지만. log는 사용자에게 많은 정보를 제공합니다. 그리고 이 정보를 계속해서 모니터링을 해야하는 상황이라면 그 형식이 어떠한 방법이든 모니터링이 가능하게끔 개발.. 2022. 11. 14. [python] linux log를 활용한 문자열 인덱싱 https://btcd.tistory.com/775 [Python]linux log 활용하기 https://btcd.tistory.com/774 [Python] linux grep값 변수로 담기 외부든 외부든 어떠한 통신 값이나 임의로 설정한 데이터 값이 있으면 log가 남기 마련이다. 그리고 개발과 운영을 하는 IT 직군이라면 log를 btcd.tistory.com 이전 포스팅에서 python으로 뽑아낸 log 출력을 필요한 문장만 뽑아내려고 합니다. 이것을 우리는 아주 오래전부터 이렇게 부르기로 했습니다. 문자열 인덱싱... 설명을 쉽게 하려고 했더니 조금 난잡하네요... 그래도 코드 읽을 줄 아시는 분들이라면 아주 바로 이해하실 겁니다. 이번 포스팅은 저 결과 값 중 1101이라는 값만 뽑아낼 겁니.. 2022. 11. 14. 이전 1 2 3 4 5 다음
