파이썬 DataFrame 질문 드립니다.

[ddoongjamba]

해결하고자 하는 문제

파이썬을 이용하여 웹데이터를 엑셀 파일로 저장하는 코딩을 하였습니다.
첫 번째 행에 해당하는 내용 조건을 웹에서 바꾸어도 url 주소가 동일하여 계속 처음 조건으로만 출력이 됩니다.
혹시 조건을 바꾼 상태에서 url 을 별도로 저장해야 되는건지 아니라면 별도로 사용하는 모듈이 있는지 문의 드립니다.

코드 혹은 오류

   여기에 코드를 적어주세요. 
```url = "https://finance.naver.com/sise/field_submit.nhn?menu=market_sum&returnUrl=http%3A%2F%2Ffinance.naver.com%2Fsise%2Fsise_market_sum.nhn%3Fsosok%3D0%26page%3D1&fieldIds=property_total&fieldIds=debt_total&fieldIds=roa&fieldIds=sales&fieldIds=pbr&fieldIds=sales_increasing_rate"

page = 1
url= "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page={page}".format(page=page)
response = requests.get(url)
html = BytesIO(response.content)
df = pd.read_html(html, encoding = 'euc-kr')[1]
cols = df.columns
df=pd.DataFrame(columns=cols)  <<<<<<<<<<<<<<<<<<< 이 부분 출력 되는조건을 바꾸고 싶습니다.


for page in range(1, 32):
    url= "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page={page}".format(page=page)
    response = requests.get(url)
    html = BytesIO(response.content)
    df_single = pd.read_html(html, encoding='euc-kr')[1]
    df=pd.concat([df,df_single])
    df.reset_index(drop=True, inplace=True)

df.to_excel('재무제표.xlsx',sheet_name='sheet1',encoding="euc-kr")


# 환경
사용중인 운영체제, 언어, 라이브러리의 버전을 적어주세요.
Windows 10, 파이썬, Python 3.7

# 시도해본 방법
네이버 로그인 하여 상단 설정을 바꾼 상태로 출력 해 보았습니다.
파이썬 url2개입력, 웹데이터 저장등 여러가지 방법을 찾아 보았습니다.

[chaesang]

일단 위에서 read_html 해서 만들어 놓은 df 를 아예 빈 것으로 <<< 라인에서 덮어 쓰는 모양새이네요.

pandas , dataframe 등을 이것저것 해 보시려면 Notebook 을 쓸 수 있는 환경에서 해 보세요.
개인적으로는 colab 추천드립니다. 이렇게 보이시면 일단 되구요.

https://colab.research.google.com/drive/1ZCGMFYgWY9SZEeN4jfYfnUFWT0oABUTt?usp=sharing

[1] 에서 df 에 저장되었다 싶으면 그 밑에서 코드 셀을 붙여서 이것저것 해 보면서 사용법을 익히시면 도움 되실 거 같습니다.

[chongkong]

url을 3쨰줄에서 재지정하시니까 첫번째 줄에서 설정하시는게 무의미합니다ㅠㅜ

덧붙여 코드도 좀 정리해드릴게요

import pandas as pd
import requests

SISE_URL_FORM = 'https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page={page}'

def fetch_sise(page):
  resp = requests.get(SISE_URL_FORM.format(page=page))
  return pd.read_html(resp.content, encoding='euc-kr')[1]

df = pd.concat([fetch_sise(page) for page in range(1, 33)])  # range는 두 번쨰 값은 exclusive 합니다
df = df[pd.notnull(df['N'])]  # "N"이라는 컬럼 값이 NaN이 아닌 행만 사용합니다
df.reset_index(drop=True, inplace=True)
df.to_excel('MySheet.xlsx', sheet_name='sheet1', encoding='euc-kr')

[ddoongjamba]

감사합니다