전체 글232 [토이프로젝트] KBO 경기 일정 수집하기(3) - 멀티 스레드 기반의 경기 정보 병렬 수집 목차/pages/KBO-경기-일정-수집하기-시리즈병렬 프로세스 생각한 계기KBO 공식 사이트 경기 일정 페이지의 특성 상 한 번에 1개의 시리즈의 한달치 경기 일정만 조회할 수 있습니다. 즉, 1년 전체 일정을 수집하려면 시범경기, 정규시즌, 포스트시즌 각각 1월부터 12월까지 총 36번의 요청이 필요한 것이죠. 이 요청을 동기 방식으로 처리한다면 이전 요청이 끝나야 다음 요청이 실행되기 때문에 36번의 요청을 모두 처리하기 까지 시간이 꽤 많이 걸립니다. 그렇다보니 비동기 요청으로 요청 시간을 줄이면 어떨까 하는 생각이 든거죠. 물론 시범경기는 보통 3월 한달만 진행되고 포스트시즌은 정규시즌이 끝난 후 약 한달 정도만 진행되는 만큼 엄격히 따지면 요청 횟수를 줄일 수 있긴 합니다. 그래도 우선은 코드 .. 2025. 12. 9. [토이프로젝트] KBO 경기 일정 수집하기(2) - Upsert를 통한 중복 데이터 처리 목차/pages/KBO-경기-일정-수집하기-시리즈Upsert의 필요성1편에서 경기 정보를 수집하고 DB에 저장했지만 경기 정보는 매일매일 바뀌게됩니다. 시즌 초에 전체 일정이 나오지만 매일 경기를 진행하면서 경기 정보는 수시로 바뀝니다. 게다가 날씨에 따라 취소 경기가 발생하여 더블헤더 경기가 편성되거나 추후 잔여경기 일정으로 편성될 수도 있죠. 따라서 수집된 경기 목록 중에서 DB에 저장된 경기는 업데이트하고 새로운 경기만 저장하는 Upsert 전략이 필요합니다.Upsert 전략을 구성하자!우선 어떻게 Upsert 전략을 구성할지 생각해봤습니다. KBO 웹사이트에서 경기 정보를 수집하여 파싱하면 경기 정보 엔티티 객체가 모인 리스트가 생성됩니다. 이 경기 정보 객체들과 중복되는 레코드가 DB에 저장되어.. 2025. 12. 1. [토이프로젝트] KBO 경기 일정 수집하기(1) - 데이터 크롤링과 파싱(With 스프링부트 + Playwright) 목차/pages/KBO-경기-일정-수집하기-시리즈계기평소에 야구를 좋아하다 보니 경기 일정이나 결과를 데이터로 뭔가 해보면 어떨까 하는 생각이 들었습니다. 당장 데이터로 뭘 할지는 생각해보지 않았지만 그래도 일단 데이터를 수집해두면 뭐라도 하지 않을까 싶어 내친김에 시도해봤습니다. 처음에는 개발자 센터 같은곳에서 제공하는 API가 있나 찾아봤는데 아무래도 KBO는 개발자 센터나 오픈 API를 제공하지 않는 모양이더라구요. 그래서 KBO 공식 사이트를 크롤링하여 데이터를 수집해봐겠다는 생각을 하게 됐습니다.robots.txt 정책 확인 하기특정 웹사이트를 크롤링하려면 먼저 해당 사이트의 robots.txt 파일을 확인해서 크롤링을 허용하거나 허용하지 않는 경로를 확인해야 한다고 합니다. 물론 robots... 2025. 11. 25. 인텔리제이에서 깃허브 코파일럿이 코드 리뷰를 해준다!! 대략 2년쯤 전부터 코파일럿 프로 버전을 결제해서 사용하고 있었습니다. 평소처럼 코드를 작성하고 커밋을 하려는데 인텔리제이의 커밋창에 못보던 아이콘이 생긴것을 발견했습니다.코파일럿에서 코드의 변경점을 리뷰해주는 아이콘이라고 합니다. 얼마나 잘 리뷰해주는지 궁금해서 사용해봤습니다. 아이콘을 클릭하고 잠시 기다리면 코파일럿이 리뷰를 마쳤다는 알림이 나타나면서 리뷰 내용을 확인할 수 있습니다. 변경점이 얼마나 많은지에 따라 다르겠지만 대략 2분정도 걸린듯 합니다.리뷰가 끝나면 변경된 코드에서 문제가 생길 수 있는 부분을 체크해줍니다. JWT로 액세스 토큰을 생성하는 로직에 대한 테스트 코드인데 테스트용 토큰을 생성하는 createTestToken에 nickname이라는 클레임이 포함되지 않아서 테스트가 실패하.. 2025. 9. 24. solved.ac 새싹 10단계! 어느 순간부터 그냥 매일 숙제하는 느낌(?)으로 풀던 백준 문제. 오늘도 어김없이 문제를 풀었는데 제출하고 솔브닥에 들어가니 갑자기 알림이 떴습니다.별 생각 없이 문제를 풀어오고 있었는데 어느새 1024일 연속으로 스트릭을 달성했더군요.사실 중간에 문제 푸는걸 까먹은 날들이 있긴 하지만 스트릭 프리즈가 살려줬습니다. 2025. 9. 12. [IntelliJ] 인텔리제이 2025.2 이후 Gradle 콘솔로 실행되는 문제 인텔리제이를 2025.2 버전으로 업데이트한 이후로 Gradle 프로젝트의 main()을 실행할 때 Gradle 콘솔로 실행되는 문제가 발생했습니다.기존에는 이렇게 실행되던게 이렇게 바뀌어버린 것이죠. 반면에 스프링부트 프로젝트는 빌드 도구가 Gradle이라도 여전히 인텔리제이 콘솔로 실행되는 것을 확인할 수 있었습니다. 개인적으로 Gradle 콘솔은 소스코드 실행 결과를 보기엔 굉장히 불친절한 콘솔이라고 생각해서 기존 방식을 사용할 수 없는지 YouTrack에서 관련 정보를 찾아보니, 일부 사용자들이 자바/코틀린 프로젝트가 Gradle을 사용하는지 아닌지 구분하기 어렵다는 의견이 있어서 변경되었다는 내용을 찾을 수 있었습니다.이에 대해 기존 방식을 사용하고 싶은 사용자들은 설정이 가능하다고 합니다. [.. 2025. 8. 28. [Kotlin] Kotest를 사용해서 코틀린스러운 테스트 코드를 작성해보자! 목차들어가기 전에보통 자바 + 스프링 환경에서 테스트 코드를 작성할 때는 JUnit을 많이 사용합니다. 스프링부트에서 기본적으로 제공하는 테스트 프레임워크가 JUnit이기도 하고, 오랫동안 사용되다 보니 레퍼런스도 풍부해서 자연스럽게 JUnit을 사용해서 테스트 코드를 작성하는 경우가 많죠. 코틀린을 사용할 때는 코틀린에 특화된 테스트 프레임워크인 Kotest를 사용할 수도 있습니다. Kotest는 더 직관적이고 코틀린스러운 테스트 코드를 작성할 수 있다는 장점이 있죠. 이번 글에서는 Kotest에 대해 정리하겠습니다.Kotest?Kotest는 JUnit을 환경에서 실행되는, 코틀린에 특화된 테스트 프레임워크입니다. 코틀린 전용의 JUnit 확장판이라고도 볼 수 있죠. JUnit과는 달리 어노테이션을 사.. 2025. 7. 7. [REST] 실무에서의 PUT과 PATCH에 대한 개인적인 생각 정리 목차들어가기 전에REST 아키텍처에 대해 처음 공부할 때, 리소스의 수정을 나타내는 HTTP 메소드로 PUT과 PATCH가 언급됩니다. 흔히 PUT은 리소스의 전체 속성을 요청으로 보내진 데이터로 대체하고, 요청으로 전달되지 않은 속성은 null로 대체한다고 합니다. PATCH는 요청으로 전달된 속성만 수정한다고 이야기하죠. 하지만 막상 실무에 들어가보면 실제로 리소스의 일부 속성을 수정하는 API라도 PATCH로 호출하는 모습을 찾아보기 매우 어렵습니다. 오히려 리소스의 일부 속성만 수정하는 API라도 PUT으로 호출하는 경우가 많죠. 실무에서의 PUT과 PATCH에 대해 개인적인 생각을 정리해보려고 합니다.어느 관점에서 볼 것인가?PUT과 PATCH는 사실 관점의 차이로 볼 수 있지 않을까 싶습니다... 2025. 5. 23. 이전 1 2 3 4 ··· 29 다음
