だいたいはパーミッションがないか,
httpd.confでHandlerにcgiがないか
htaccessにOptionにExecCGIが指定されていないのが原因であることが多いようです.

エラーの原因の確認はエラーログを直接見る方が早い
$ tail /var/log/httpd/error_log

[Thu Oct 27 17:15:38 2016] [error] [client IP] Options ExecCGI is off in this directory: /var/www/html/hogehoge/hoge.cgi referer: http://www.hoge.com

であるならばExecCGIオプションが指定されていない,など