spark log 간략하게 보기

Spark를 기본 설정으로 사용하다 보면, 엄청난 로그 때문에 답답할 때가 많다.
아래와 같이 정리하면, 깔끔하게 볼 수 있으니, 참고~

* log4j properties 파일을 변경하는 방법
  1. $SPARK_HOME/conf 에서 "log4j.properties.template" 파일을 "log4j.properties"로 rename
  2. 아래 2줄 추가
      log4j.logger.org=OFF
      log4j.logger.akka=OFF

* logback 사용 시
  1. resources 디렉토리에 logback.xml  생성
  2. 아래 2줄 추가 
     <logger name="org" level="OFF" />
      <logger name="akka" level="OFF" />

* program에서 제어하는 방법
  import org.slf4j.LoggerFactory;
  import ch.qos.logback.classic.Level;
  import ch.qos.logback.classic.Logger;

  ((Logger)LoggerFactory.getLogger("org")).setLevel(Level.OFF);
  ((Logger)LoggerFactory.getLogger("akka")).setLevel(Level.OFF);

program에서 제어할 때, 로그 라이브러리들이 충돌을 일으켜서 제대로 확인하지 못했지만,
옆에 있는 동료는 잘 된다고 하는 군요.. ㅠ_ㅠ

osx에서 for문을 날짜로 돌리기

제목이 정신 없구만요.#!/bin/bashecho $1 $2for ((i=$1; i<=$2; ));do    echo $i    NEXT=`date -j -v +1d -f "%Y%m%d" $i "+%Y%m%d"`    i=$NEXTdone실행 : run.sh 20161101 20161130뭐..... » 내용보기

shell의 alias에 파라메터 넘기기

간혹, alias를 만들어 둔 후, 파라메터를 넘기고 싶을 때가 있다.예로, 특정 서버에 ssh로 접근하는데, 계정별로 alias를 만들려니 좀 귀찮아지는 경우? 랄까..일반적으로 alias에 파라메터를 넘기는 방법은 지원하지 않는다.이런 경우에 function을 활용하여 alias를 만들면 가능하다.예)myfunction() { #do things ... » 내용보기

sublime 단축키 모음

sublime plug-in 마다 단축키가 다르다!! 이런~키매핑을 하면 되겠지만, 일일이 하는 것도 귀찮고, 꼬일것 같기도 하고..아무튼 플러그인 별로 단축키를 외워보자! 머리가 따르는 한까지.. -_-;기본 단축키 : http://mobicon.tistory.com/297 (윈도우는 원문 참조)1. 맥General⌘Tgo to fi... » 내용보기

한눈에 쏙 들어오는 좋은 차트 만들기

시각화를 할 때 어떻게 하면 좀더 설득력있게 만들 수 있을지 기본 개념을 이해하기 좋은 자료. » 내용보기