我在R中学习机器学习的初级阶段，我发现难以置信的是，竟然没有专门用于解决不同回归算法成本函数的包。例如，如果我想解决逻辑回归的成本函数，手动实现的方式如下：

https://www.r-bloggers.com/logistic-regression-with-r-step-by-step-implementation-part-2/

# 实现Sigmoid函数
sigmoid <- function(z){
  g <- 1/(1+exp(-z))
  return(g)
}
# 成本函数
cost <- function(theta){
  m <- nrow(X)
  g <- sigmoid(X%*%theta)
  J <- (1/m)*sum((-Y*log(g)) - ((1-Y)*log(1-g)))
  return(J)
}
# 初始化theta
initial_theta <- rep(0,ncol(X))
# 初始theta时的成本
cost(initial_theta)

在glm函数中，有没有一种自动完成这个过程的方法？还是说，对于我应用的每个算法，我都需要像这样手动操作？

回答：

我们可以使用optim进行优化，或者直接使用glm

set.seed(1)
X <- matrix(rnorm(1000), ncol=10) # 一些随机数据
Y <- sample(0:1, 100, replace=TRUE)
# 实现Sigmoid函数
sigmoid <- function(z) {
  g <- 1/(1+exp(-z))
  return(g)
}
cost.glm <- function(theta,X) {
  m <- nrow(X)
  g <- sigmoid(X%*%theta)
  (1/m)*sum((-Y*log(g)) - ((1-Y)*log(1-g)))
}
X1 <- cbind(1, X)
optim(par=rep(0,ncol(X1)), fn = cost.glm, method='CG',      X=X1, control=list(trace=TRUE))
#$par 
#[1] -0.067896075 -0.102393236 -0.295101743  0.616223350  0.124031764  0.126735986 -0.029509039 -0.008790282  0.211808300 -0.038330703 -0.210447146
#$value
#[1] 0.6255513
#$counts
#function gradient 
#      53       28 
glm(Y~X, family=binomial)$coefficients
# (Intercept)           X1           X2           X3           X4           X5           X6           X7           X8           X9          X10 
#-0.067890451 -0.102411613 -0.295104858  0.616228141  0.124017980  0.126737807 -0.029523206 -0.008790988  0.211810613 -0.038319484 -0.210445717 

下图展示了使用optim迭代计算的成本和系数是如何收敛到使用glm计算的结果的。