ilen 블로그

NBA 선수급 대우? 저커버그가 직접 관리하는 AI 인재 비밀 명단 '더 리스트'의 정체 🤫요즘 AI 기술이 세상을 바꾸고 있다는 말, 지겹게 들으셨죠? 하지만 그 혁신의 중심에 있는 '사람'들의 이야기는 잘 알려져 있지 않습니다. 메타의 CEO 마크 저커버그가 마치 영화처럼 비밀스러운 '리스트'를 만들어 직접 AI 천재들을 영입하고 있다는 사실, 알고 계셨나요? 오늘은 실리콘 밸리를 뒤흔들고 있는 AI 인재 전쟁의 실체와 저커버그의 비밀 병기, '더 리스트'에 대해 낱낱이 파헤쳐 보겠습니다.실리콘 밸리의 비밀 병기, '더 리스트'란 무엇인가?'더 리스트(The List)'는 마크 저커버그가 직접 작성하고 관리하는 최상급 AI 인재 영입 후보 명단입니다. 월스트리트 저널에 따르면, 이 리스트는 단순히 ..

AI가 우리 삶을 바꾸고 있다는 말, 이제는 너무나 익숙하죠? 그런데 만약 그 AI가 여러분의 주치의를 대체할 수 있다면 어떨까요? 최근 마이크로소프트(MS)가 인간 의사보다 4배나 정확한 의료 진단 AI를 발표하며 전 세계 의료계가 충격에 빠졌습니다. 의사라는 직업의 미래까지 고민하게 만드는 이 놀라운 소식, 지금 바로 알려드릴게요!충격! 인간 의사보다 4배 뛰어난 'AI 의사'의 등장마이크로소프트(MS)가 최근 공개한 의료 진단 AI 모델, 'MAI-DxO'가 바로 오늘의 주인공입니다. 이 AI는 세계적인 의학 저널(NEJM)에 실린 실제 연구 사례를 학습했는데요. 그 결과가 정말 놀랍습니다. 숙련된 인간 의사의 진단 정확도가 약 20%였던 반면, MAI-DxO는 무려 85.5%의 정확도를 기록했다고..

spark.executor.memory는 Apache Spark의 설정 옵션 중 하나로, Spark 애플리케이션의 각 executor 프로세스에 할당되는 메모리를 설정하는 데 사용됩니다. Executor는 Spark 애플리케이션에서 병렬 처리를 수행하는 컴포넌트이며, 데이터와 작업 처리를 담당합니다.spark.executor.memory를 사용하여 적절한 메모리 할당량을 설정하면 Spark 애플리케이션의 성능과 안정성이 향상될 수 있습니다. 설정값이 너무 작으면 실행 중인 작업이 충분한 메모리를 갖지 못해 성능이 저하되거나, executor가 종료되는 등의 문제가 발생할 수 있습니다. 반면, 설정값이 너무 크면 전체 클러스터의 메모리 사용량이 높아져 다른 애플리케이션에 영향을 줄 수 있습니다.spark...

Apache Spark는 빅 데이터 처리에 일반적으로 사용되는 오픈 소스 분산 컴퓨팅 시스템입니다. Spark의 주요 기능 중 하나는 데이터를 RDD(Resilient Distributed Datasets)라는 더 작은 조각으로 분해하여 분산 방식으로 데이터를 처리하는 기능입니다. RDD는 Spark의 기본 데이터 추상화이며 대량의 데이터를 처리하고 시스템 클러스터 전체에서 병렬 처리를 가능하게 하도록 설계되었습니다.주요 기능, 이점 및 사용 사례를 포함하여 RDD에 대해 자세히 살펴보겠습니다.RDD란?병렬 처리할 수 있는 안정적인 분산 데이터셋으로, Hadoop Distributed File System (HDFS), Amazon S3 등의 데이터 소스에서 생성할 수 있습니다. RDD는 immutabl..

메시지 발행과 구독하기아파치 카프카(Apache Kafka)에 대해 알아보기 전 메시지 발행/구독(publish/subscribe)의 개념을 먼저 알아야 한다.메시지 발행/구독 시스템에서는 메시지를(데이터) 발행자(전송자)가 직접 구독자(수신자)에게 보내지 않고 발행자가 메시지를 발행/구독 시스템에 전송하면 구독자가 메시지를 구독할 수 있게 해 준다.이때 발행된 메시지를 저장하고 중계하는 역할을 브로커(borker)가 수행한다.초기의 발행/구독 시스템 대부분의 발행/구독 시스템은 메시지 큐나 프로세스 간 통신 채널을 갖는 형태로 시작.메트릭을 전송하는 애플리케이션 서비스( 프런트엔드서버)를 생성해야 하며, 대시보드 화면에 그 정보를 보여주는 애플리케이션 서비스(메트릭 UI)와 직접 연결하여 사용한다.해당..